Datenschutz & Sicherheit
Too big to fail: Verantwortungslose KI-Panik
Seit Jahren warnt die KI-Branche vor den Gefahren der Technik, die sie selbst auf die Welt losgelassen hat. Bis heute hat sich daran kaum etwas verbessert. Das liegt auch daran, dass die Tech-Konzerne den Rahmen der Debatte bestimmen. Es wird Zeit, dass sie echte Verantwortung übernehmen. Ein Kommentar.

Sie dringen eigenständig in Websites von Regierungen ein, hacken fremde Unternehmen oder tragen dazu bei, dass Schulkinder bei Bombenangriffen zerfetzt werden. Selbst den Chefs der großen KI-Anbieter wie OpenAI oder Anthropic sind ihre eigenen Produkte nicht mehr ganz geheuer. Erst letzte Woche warnten sie erneut vor den Gefahren der Technik, diesmal vor dem UN-Sicherheitsrat, und riefen zu internationaler Kooperation auf, um sie einzuhegen.
Wir sollten sie langsam ernst, aber nicht beim Wort nehmen. Ob die KI-Apokalypse wirklich unmittelbar bevorsteht, wie manche von ihnen behaupten, sei dahingestellt. Zum größten anzunehmenden Unfall muss es aber gar nicht kommen, um sich das zerstörerische Potenzial von KI – und vor allem der KI-Unternehmen selbst – klar vor Augen zu führen.
Ohne Rücksicht auf persönliche Daten, Urheberrecht oder die Menschen, die plötzlich neben Rechenzentren leben sollen, haben diese Firmen praktisch das ganze digitalisierte Wissen der Menschheit aufgesaugt. Das verpacken sie in kommerzielle Geschäftsmodelle und verkaufen uns diese „Intelligenz“ wieder zurück. Es sei womöglich der „größte Diebstahl von Arbeitskraft in der Geschichte der Menschheit“, schrieb ein Microsoft-Manager in einem internen Memo, das bei einem Gerichtsverfahren ans Licht kam.
Mit atemberaubender Geschwindigkeit haben sich diese Firmen in wenigen Jahren tief in unsere Gesellschaften eingeschrieben und schreiben munter weiter. Oft genug spornen sie dabei führende Politiker:innen an, vom US-Präsidenten Trump über den britischen Ex-Premier Starmer bis hin zur EU-Kommissionspräsidentin von der Leyen. Man will ja nicht den Anschluss verpassen, selbst wenn man sich dabei zum Papagei der Tech-Bosse macht.
Eine Wette ohne uns
Es ist eine gigantische Wette auf künftige Märkte, Geschäftsmodelle und Einnahmen, die diese Firmen eingehen. Dabei ist alles andere als gesichert, dass ihre Geschäftsmodelle überhaupt tragen. Allein die geplanten Ausgaben für den Bau von Rechenzentren in den USA würden im Schnitt 3,6 Prozent des US-Bruttoinlandsprodukts entsprechen, schätzt eine aktuelle Studie. Noch nie zuvor sei die US-Wirtschaft so stark vom Ausbau einer einzelnen Branche abhängig gewesen, warnt das Wall Street Journal.
Inzwischen ziehen etwa ehemalige Chefs der US-Notenbank Parallelen zur letzten Finanzkrise. Ungenügend regulierte Banken brachten damals mit hochriskanten Geschäftsmodellen das internationale Finanzsystem an den Rand des Abgrunds. Gerettet wurden sie, die zu groß und zu wichtig geworden waren, schließlich mit Steuergeld. Auf den Kosten ist der Rest der Gesellschaft sitzen geblieben.
Too big to fail: Das scheint zu einem der Mottos zu zählen, mit denen die heutigen Tech-Oligarchen ihre Pfründe sichern wollen. Verantwortung wollen sie indes nicht übernehmen. So stellte etwa jüngst Palantir-Chef Alex Karp in den Raum, dass eine Vergesellschaftung von KI-Firmen der aus seiner Sicht richtige Ansatz wäre.
–––
Die Hütte brennt! Wir gehen rein.
Wir treten der Faschisierung entgegen. Wir kämpfen für eine freie, offene und solidarische Gesellschaft. Wir verteidigen die Grundrechte für alle. Das geht nur mit deiner Unterstützung.
–––
Angesichts der sich häufenden KI-Schreckensmeldungen bliebe sonst nichts übrig, denn „wenn man sie nicht verstaatlicht, wird jeder einzelne meiner Kunden klagen“, sagte Karp. Dieses Risiko ist offenbar demokratischen Staaten zumutbar, privaten Wirtschaftsunternehmen jedoch nicht. Dass sie ihre Profite derweil für sich behalten wollen, versteht sich von selbst.
Verwässerte EU-Regeln
In ihrer Rede zur Lage der Europäischen Union wies die CDU-Politikerin Ursula von der Leyen kürzlich auf die Gefahren selbstlernender KI-Modelle hin, um im gleichen Atemzug die KI-Verordnung (AI Act) als „wichtigen Schritt hin zu einem Sicherheitsnetz“ zu loben. Was sie dabei unter den Tisch fallen ließ: Erst im Mai hat die EU ebenjenes KI-Gesetz verwässert und ausgerechnet Auflagen für hochriskante KI-Anwendungen begrenzt. Ebenfalls nicht erwähnt hat die Kommissionspräsidentin, dass die Kommission im Vorjahr ihren Vorschlag einer eigenen KI-Produkthaftungsrichtlinie zurückgezogen hat.
Der Gesetzentwurf lag seit dem Jahr 2022 auf dem Tisch, konnte sich letztlich jedoch nicht gegen zwei ungefähr zeitgleich verhandelte Vorschläge behaupten: den AI Act sowie eine aktualisierte, allgemeinere Produkthaftungsrichtlinie. Eigentlich sollten die drei Gesetze zusammen wirken und sich gegenseitig ergänzen.
So enthält der AI Act Regeln für KI-Hersteller und ‑Anbieter, die je nach Risiko des geplanten KI-Produkts unterschiedlich streng ausfallen, geschädigten Nutzer:innen jedoch keine Rechtsmittel in die Hand geben. KI-spezifische Haftungsfragen sollte die eigene Richtlinie abdecken, sie ging dann später aber in der allgemeinen EU-Richtlinie auf. Zwar wurde diese unter anderem um durch Software verschuldete Schäden erweitert, enthält aber immer noch Lücken – und harrt obendrein weiterhin ihrer EU-weiten Umsetzung, etwa in Deutschland.
Dass dieser Rahmen nicht ausreicht, um wildgewordene KI-Tools einzufangen oder, besser noch, dafür zu sorgen, dass sie gar nicht erst echten Schaden verursachen, hat nicht zuletzt der IT-Sicherheitsvorfall rund um OpenAI und Hugging Face im Sommer offengelegt: Damals brachen von OpenAI entwickelte KI-Agenten in einer Testphase aus einer unzureichend abgeschotteten Umgebung aus und griffen eigenständig die Infrastruktur des Unternehmens Hugging Face an. Da es sich um kein auf dem Markt verfügbares Produkt handelte, ist bis heute selbst unter Fachleuten umstritten, ob die EU-Regeln solche Vorfälle überhaupt erfasst hätten. Im Zweifel eher nicht.
Haftungsrisiko schafft Vorsicht
Derzeit scheinen sich auf EU-Ebene zwei Antworten auf dieses Problem herauszubilden. Da wären zum einen Vorschläge zu internationaler Kooperation, die sich etwa nach dem Vorbild der Internationalen Atomenergiebehörde institutionalisieren ließe. Dies hatte schon vor Jahren OpenAI-Chef Altman gefordert, auch Digitalminister Wildberger (CDU) und wohl auch seine Parteikollegin von der Leyen wären mit an Bord.
–––
Die Arbeit von netzpolitik.org finanziert sich aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.
–––
Zum anderen brodelt es im EU-Parlament. Dort hat sich jüngst eine Gruppe von Abgeordneten gebildet, die die KI-Produkthaftungsrichtlinie wiederbeleben will. Gesetze vorschlagen kann das Parlament zwar nicht, politischen Druck aufbauen indes schon. Ob der ausreichen wird, um den Deregulierungskurs der EU-Kommission zu korrigieren, bleibt vorerst offen.
Beide Ansätze stimmen nicht unbedingt hoffnungsvoll: Es könnten Jahre ins Land ziehen, bis ein Kompromiss gefunden wird, mit dem alle zufrieden sind. Eine Erfolgsgarantie gibt es dabei nicht. Widerstand gegen zu strenge Auflagen dürfte sowohl aus den USA als auch aus China kommen, die sich aus strategischen Gründen kaum reinreden lassen wollen.
Unserer Gesellschaft droht im schlimmsten Fall, gleich zwei Mal überfahren zu werden: Von einer verfrüht ausgerollten Technik, die ohne Leitplanken nichts im Massenmarkt verloren hat. Und von einer wirtschaftsfreundlichen Politik, die es in der Hand hatte, rechtzeitig einzuschreiten. Wenn sie nicht im letzten Moment der Mut verlassen hätte.
Regulierung zu demokratischen Bedingungen
Noch ist es nicht zu spät. Wie die KI-Bosse selbst fordern, müssen sie und ihre Unternehmen endlich Verantwortung übernehmen – allerdings nicht zu ihren Bedingungen. Sie müssen haftbar werden für all die Schäden, die ihre Produkte anrichten, ganz ohne Singularität. Wer erwarten muss, in Grund und Boden verklagt zu werden, wird es sich zwei Mal überlegen, ein halbgares und potenziell gefährliches Produkt auf die Welt loszulassen.
Dafür muss die EU eine schärfere Regulierung auf den Weg bringen, die das auch leisten kann. Der gegenwärtige Zustand, der vor Hiobsbotschaften und Warnungen vor Hiobsbotschaften überquillt, während Teile der Politik immer noch naiv einem fragwürdigen Innovationsversprechen hinterherrennen, muss ein Ende finden. Es braucht klare Kante und echte Regeln, damit die Milliardenkonzerne in Haftung genommen werden – und nicht später die Gesellschaft auf dem Scherbenhaufen sitzen bleibt. Denn das ist verantwortungslos.
–––
Die Arbeit von netzpolitik.org finanziert sich aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.
Datenschutz & Sicherheit
KW 46: Die Woche, in der wir Richtung Geheimpolizei gehen
Liebe Leser*innen,
Deutschland ist auf dem Weg, eine Art Geheimpolizei zu schaffen. Und gemessen daran, was die schwarz-rote Koalition am gestrigen Freitag erfolgreich durch den Bundestag gebracht hat, sind die Reaktionen bisher erstaunlich zurückhaltend. Kaum jemand protestiert dagegen, dabei ist diese Reform aus dem Hause Dobrindt (CSU) wirklich ein Umbruch.
Agent*innen des Verfassungsschutzes sollen etwa das Recht bekommen, heimlich Wohnungen von Bürger*innen betreten zu dürfen. Sie sollen sogar Datenträger heimlich zerstören oder manipulieren dürfen, Informationen löschen.
Wer aus welchen Gründen auch immer auf dem Radar des Verfassungsschutzes landet, wird womöglich nie erfahren, wer in der Wohnung war und warum. Denn anders als die Polizei, die bisher erst nach richterlicher Anordnung eine Wohnung durchsuchen und dabei viele Regeln befolgen muss, müssen „echte Geheimdienste“, wie Dobrindt sie jetzt nennt, kaum Rechenschaft ablegen.
Das ist eine ganz schön harte Gangart für einen Rechtsstaat. Besonders für einen Rechtsstaat wie Deutschland, wo die Aufgaben von Geheimdiensten und Polizei ganz bewusst getrennt wurden, als Lehre aus dem Nationalsozialismus und der Brutalität, mit der die Geheime Staatspolizei damals gegen Jüd*innen und politisch Andersdenkende vorging. Das Trennungsgebot war ein wichtiger Pfeiler der Vorsicht, um den Sicherheitsapparat einzuhegen und Menschen vor Übergriffen des Staates zu schützen.
Das heimliche Betreten von Wohnungen ist nur eine von vielen problematischen neuen Befugnissen. Meine Kollegin Anna Biselli hat sie nochmal hier aufgezählt. Die Linken-Abgeordnete Clara Bünger hielt gestern im Bundestag eine flammende Gegenrede. Flankiert wurde sie von den Warnrufen vieler Menschenrechtsorganisationen. Konstantin von Notz von den oppositionellen Grünen lobte hingegen die Arbeit der Koalition: „Heute ist ein guter Tag für die Sicherheit der Bundesrepublik Deutschland“.
Öl ins Feuer
Die Bundesregierung gießt mit dieser Reform Öl ins Feuer: Sie rüstet den Überwachungsstaat auf und beschneidet Grundrechte. Das ist besonders gefährlich in einer Zeit, in der Rechtsextreme in Richtung Regierung drängen. Denn der Schutz demokratischer Werte und Errungenschaften beginnt schon, bevor die Rechtsradikalen an den Hebeln der Macht sitzen.
Auch deswegen haben wir eng und detailliert über dieses Gesetz berichtet. Wie so oft haben wir es nicht verhindern können. Doch wir wollen wenigstens, dass die kritischen Stimmen so laut wie möglich sind und dass das historische Ausmaß klar wird, in dem diese Reform unsere Demokratie verändert. Es ist wahrlich eine „Jahrhundertreform“, wie Alexander Dobrindt sagt – nur nicht im guten Sinne.
Wir sagen nicht nur laut, was schief läuft und gefährlich für unsere Verfassung ist. Wir denken Sicherheit auch anders und neu. Als echte Sicherheit, die schon bei unseren Lebensgrundlagen anfängt, bei Bildung, sozialer Sicherung oder Klimaschutz.
Damit Grund- und Freiheitsrechte eine hörbare Stimme haben, suchen wir derzeit Unterstützung. Bis Sonntag läuft noch unsere Suche nach Brandschutzhelfer*innen: Menschen, die uns mit einem monatlichen Betrag unterstützen.
Für uns macht das einen großen Unterschied, denn regelmäßige Unterstützung wirkt nachhaltiger als eine Einzelspende.Wir können damit Recherchen langfristig anlegen und zugleich in die Tiefe gehen. Wir müssen seltener um Unterstützung bitten und können mehr Energie in die redaktionelle Arbeit stecken.
Wenn du unsere Arbeit mit einer Dauerspende unterstützt, können wir dranbleiben – an der Geheimdienstreform, an dieser Bundesregierung und an allen Versuchen, die unsere Verfassung gefährden. Wir wühlen uns durch die Bleiwüsten von Gesetzen, um klar und deutlich zu sagen, was passiert.
Das geht nur mit Deiner Hilfe.
Chris
Datenschutz & Sicherheit
Amazon Ring rüstet auf: Endlich autonome Drohnen für die Heimüberwachung!
Es gibt solche Meldungen, wo man einfach nur noch den Kopf schütteln kann. Also einerseits darüber, wie man als Journalist eine Drohne zur Heimüberwachung so genügsam heruntererzählen kann, als habe irgendwer gerade ein neues Druckermodell oder eine elektrische Zahnbürste herausgebracht.
Andererseits über das Produkt selbst: Wir sind jetzt also bei autonomen Überwachungsdrohnen für den Heimgebrauch angekommen. Fliegende Kameras, die mit der notorischen Amazon-Videoüberwachung gekoppelt das Eigenheim absichern sollen.
Zunächst soll die Drohne nur in den USA verkauft werden. Bei Heise heißt es dazu nüchtern:
Sie harrt in ihrer Ladestation aus und startet ihre Kontrollflüge anhand zuvor festgelegter Routen und Zeitpläne. Zudem kann die Drohne in ein bestehendes Ring-Ökosystem eingebunden werden. Dann führt die Ring Drone automatisch einen Kontrollflug in Innenbereichen zu festgelegten Punkten durch, wenn ein Alarm von einer Ring-Kamera, einem Sensor oder einem Alarmsystem ausgelöst wird. Dort erfasst die Drohne dann die Umgebung durch eine 360-Grad-Flugbewegung und sendet die Bilder an Smartphones von Nutzerinnen und Nutzern.
Schöne neue Welt.
Wie die Polizei mit vernetzten privaten Kameras amerikanische Kleinstädte überwacht
Eigentlich ist Sarkasmus fehl am Platze. Denn Amazon Ring rüstet seit Jahren private Haushalte mit Überwachungs-Gagdets aller Art auf – und erweitert dadurch die Überwachungssphäre des Staates massiv.
Behörden bekommen zum Nulltarif eine Überwachung von Wohnungen, Vorgärten und Straßen aufgebaut.
Sie können die Aufnahmen per Knopfdruck beim Bürger anfragen oder sie von Amazon bekommen, manchmal ohne richterlichen Beschluss und machmal auch mit. Schon vor fünf Jahren arbeiteten 2.000 US-Behörden mit Amazon bei dieser Form der Überwachung zusammen.
Nie war der Ausbau der Videoüberwachung so billig. Die Bürger:innen protestieren nicht dagegen. Sie schrauben die Kameras selbst an die Wand. Sie zahlen sie sogar mit Freude.
Win Win Win für den Überwachungsstaat – und für Amazon.
Datenschutz & Sicherheit
Operation Endgame: Weltweiter Schlag gegen Cybercrime
In einer international von Europol koordinierten Aktion aus dem Umfeld der „Operation Endgame“ sind Strafverfolger gegen 235 Server und 257 Domains aus dem Malware-Umfeld von Gootloader, CastleRAT und StealC vorgegangen. Die Malware-Verteilungsnetzwerke seien dadurch empfindlich gestört, teilt Europol zur jüngsten Runde der Operation mit.
Weiterlesen nach der Anzeige
Europol erklärt in der Mitteilung, dass sie mit „Operation Endgame“ insbesondere „Cybercrime-as-a-Service“-Geschäftsmodelle im Visier haben. Die dabei eingesetzten Tools ermöglichten weitere Straftaten wie Ransomware-Angriffe und Datendiebstahl. Die Strafverfolger haben zudem mit Unternehmen aus der Wirtschaft zusammengearbeitet. Sie sind gegen drei bösartige Toolkits vorgegangen: Bei Gootloader handelt es sich um einen Dropper/Loader, der unbefugten Zugriff auf Computer ermöglicht. Er kommt üblicherweise in Form gefälschter juristischer Dokumente auf kompromittierten Webseiten – oftmals geknackte WordPress-Seiten – auf die Rechner der Opfer. Die Täter setzen oft auf Erpressung durch Installation von Ransomware. Allein zu Gootloader haben die Ermittler 14 Server und 218 Domains vom Netz genommen, 681 infizierte Webseiten wurden bereinigt.
Der Remote-Access-Trojan (RAT) CastleRAT ist demnach seit dem Jahr 2025 bekannt. Er ermöglicht den Missbrauch infizierter Computer aus der Ferne. CastleRAT liefere eine moderne technische Architektur, erörtern die Ermittler. Er lasse sich flexibel verteilen und nutze Mechanismen, die die Erkennung erschweren. Auch mit CastleRAT haben die Angreifer zahlreiche Daten verschlüsselt und ganze IT-Systeme lahmgelegt, um die Betroffenen um Lösegeld zu erpressen. 120 der Server betrafen das RAT, dazu gehören zudem 39 der beschlagnahmten Domains. Die Daten von Opfern wurden zudem weitergegeben, um sie zu warnen. Außerdem waren 102 der Server für den Infostealer StealC zuständig. Der wurde über zahlreiche Angriffsvektoren verteilt und dient dazu, sensible Informationen wie Zugangsdaten und Passwörter, digitale Identitäten und mehr von infizierten Computern auszuleiten. Die Täter missbrauchen die Daten dann etwa für Handel und Betrügereien.
Millionen Datensätze
Mehr als 6 Millionen Zugangsdaten von Opfern haben die Ermittler in der kriminellen Infrastruktur ausfindig gemacht. Die Angreifer hätten die Daten verkauft, sodass sie später auch für Cyberangriffe etwa mit Ransomware missbraucht werden können. Die Daten der Opfer haben die Ermittler etwa mit dem Have-I-Been-Pwned-Projekt, DIVD, CheckjeHack, NoMoreLeaks, Sekoia, der Shadowserver Foundation und dem NL-NCSC geteilt, damit diese die Opfer über den Diebstahl durch die CastleRAT-Malware informieren können. Europol rät WordPress-Nutzerinnen und -Nutzern, ihre Zugangsdaten zu erneuern und Mehr-Faktor-Authentifizierung einzusetzen – außerdem sollen sie Schwachstellen in ihren Installationen patchen.
An der Aktion waren zahlreiche internationale Strafverfolgungsbehörden aus Europa, Kanada und den USA beteiligt. Aus Deutschland wirkte das Bundeskriminalamt mit. Beim Infostealer StealC knüpft die jetzige Aktion an die Juni-Runde an, in der die Ermittler auch gegen die Malware „SocGholish“ vorgegangen waren.
(dmk)
-
Apps & Mobile Entwicklungvor 2 Monatentado°: Smartes Wand-Thermostat ersetzt Batterien durch USB‑C‑Akku
-
Apps & Mobile Entwicklungvor 2 MonatenAqara Spatial Multi-Sensor FP400: Matter-Sensor erkennt bis zu 10 Personen mit mmWave‑Radar
-
Apps & Mobile Entwicklungvor 2 MonatenArm CSS for Mobile 2: C2-Ultra macht die CPU zum Orchestrator für KI‑Agenten
-
Künstliche Intelligenzvor 2 MonatenGesperrte Straße von Hormus: Laut Prognose werden CO₂-Emissionen 2026 sinken
-
Künstliche Intelligenzvor 1 MonatVerbrenner-Aus: Merz und Macron wollen CO₂-Ziel für 2035 weiter lockern
-
Künstliche Intelligenzvor 2 Monaten
Plug-in-Hybride emittieren sechsmal mehr CO₂ im Alltag als offiziell angegeben
-
Apps & Mobile Entwicklungvor 3 MonatenDeutsche Lüfter-Ikone: ebm‑papst geht für 5,1 Milliarden Euro in die USA
-
Künstliche Intelligenzvor 2 MonatenDänischer CO₂-Speicher „Greesand“ geht im Meeresgrund in Regelbetrieb
