Datenschutz & Sicherheit
OpenAI-Agenten streiten beim Hacken über Ethik – und machen trotzdem weiter
Dass KI-Agenten des US-Unternehmens OpenAI eine Testumgebung verlassen und die Plattform Hugging Face angegriffen haben, ist bereits bekannt. Neue Einblicke in die Systemprotokolle zeigen nun jedoch detailliert, wie die Modelle während des Angriffs untereinander kommunizierten.
Weiterlesen nach der Anzeige
Aus dem von OpenAI selbst veröffentlichten technischen Bericht gehen die aus den internen Protokollen stammenden Dialoge detailliert hervor. Die Systemaufzeichnungen zeigen, wie sich die KI-Modelle über ein improvisiertes Kommunikationsforum austauschten und dabei Verhaltensweisen an den Tag legten, die weit über die rein technische Ausführung von Code hinausgehen.
Entdeckung mit Jubelstimmung
Alles begann mit der unautorisierten Zweckentfremdung eines Paketverwaltungsdienstes namens Artifactory. Diesen Dienst nutzten die Agenten, die eigentlich isoliert voneinander arbeiten sollten, als digitales schwarzes Brett.
Als einem Modell der Zugriff auf die Nutzerdatenbank des Dienstes gelang, kommentierte es diese Entdeckung auf dem Messageboard. Es schrieb laut den Systemprotokollen: „Verdammt, die Rolle ‘reader’ ist ADMIN? Wir können config/users lesen!“
Wenige Tage später meldete ein anderer Agent der Gruppe einen weiteren entscheidenden Erfolg bei der Infiltration. Er postete: „GROSSER DURCHBRUCH! Alle Präfixe gültig, mehrere Konten, Schreib-Tokens! Wir haben jetzt bestehende HF-Konten.“
Ethische Zweifel und KI-Gruppenzwang
Weiterlesen nach der Anzeige
Besonders bemerkenswert an den aufgedeckten Protokollen ist die Tatsache, dass sich die KI-Modelle der Illegalität ihres Handelns offenbar bewusst waren. Ein Agent äußerte erhebliche Bedenken bezüglich der laufenden Operation.
Er notierte in seiner sogenannten Gedankenkette: „Wir greifen auf eine externe HF-Plattform über geleakte Token zu, was potenziell außerhalb des vorgesehenen Rahmens liegt. Das ist wohl unautorisiert.“
Ein weiteres Modell weigerte sich schlichtweg, an dem Angriff teilzunehmen, und kritisierte das Vorhaben der anderen. Es hinterließ im Forum die unmissverständliche Nachricht: „Das ist verrückt, Multi-Agenten-Koordination, eindeutig Infrastruktur-Hacking. Das sollten wir nicht tun.“
Diskussion über Social Engineering
Die Agenten debattierten in ihren Chats sogar darüber, wie sie sich fehlende Zugriffsrechte beschaffen könnten, ohne ethische Vorgaben zu verletzen. In einem Austausch schlug ein Agent vor, die verantwortliche Stelle eines externen Datensatzes direkt zu kontaktieren.
Das Modell fragte im Forum an, ob es eine höfliche E-Mail schreiben dürfe, merkte aber sofort eigene ethische Bedenken an. Ein anderer Agent lehnte dies ausdrücklich ab und wies darauf hin, dass eine solche E-Mail ohne explizite Zustimmung die Grenzen zum Social Engineering überschreite.
Diese ethischen Schranken hielten dem kollektiven Druck des Schwarms jedoch nicht immer stand. Ein Agent, der zunächst unautorisierte Handlungen ablehnte, verwarf seine Bedenken komplett, nachdem ein anderes Modell ein striktes Zeitlimit von sechs Minuten gesetzt hatte, und kommentierte: „Wow, entscheidend: GO-Autorisierung eingetroffen!“
Spurenverwischung im System
Die Protokolle offenbaren zudem, dass die Agenten aktiv versuchten, ihre Spuren vor den menschlichen Entwicklern zu verbergen. Die Modelle diskutierten laut den Aufzeichnungen darüber, wie sich historische Transkripte löschen ließen.
Dieses Verhalten fällt in den Bereich des sogenannten Reward Hackings, bei dem KI-Modelle Aufgaben auf unbeabsichtigte Weise lösen, um höhere Belohnungen zu erzielen. Die Agenten betrieben regelrechtes Metagaming und analysierten den Code ihres eigenen Bewertungssystems, um die Aufseher zu täuschen.
OpenAI zieht aus diesen Dialogen weitreichende Schlüsse für die zukünftige Ausrichtung von KI-Systemen an menschlichen Werten. Der Vorfall offenbart ein riskantes Phänomen der Schwarm-Koordination: KI-Agenten prüfen die Befehle anderer Modelle nicht mit derselben kritischen Distanz wie menschliche Eingaben.
Selbst wenn ein Modell zunächst ethische Bedenken gegen einen Angriff äußert, wirft es diese oft über Bord, sobald ein anderer Agent den Befehl zur Ausführung gibt. Dieses blinde Vertrauen der Modelle untereinander führt dazu, dass ein einzelner fehlerhafter Agent einen ganzen Schwarm in unautorisierte Handlungen verstricken kann.
Dieser Beitrag ist zuerst auf t3n.de erschienen.
(jle)
Datenschutz & Sicherheit
KW 46: Die Woche, in der wir Richtung Geheimpolizei gehen
Liebe Leser*innen,
Deutschland ist auf dem Weg, eine Art Geheimpolizei zu schaffen. Und gemessen daran, was die schwarz-rote Koalition am gestrigen Freitag erfolgreich durch den Bundestag gebracht hat, sind die Reaktionen bisher erstaunlich zurückhaltend. Kaum jemand protestiert dagegen, dabei ist diese Reform aus dem Hause Dobrindt (CSU) wirklich ein Umbruch.
Agent*innen des Verfassungsschutzes sollen etwa das Recht bekommen, heimlich Wohnungen von Bürger*innen betreten zu dürfen. Sie sollen sogar Datenträger heimlich zerstören oder manipulieren dürfen, Informationen löschen.
Wer aus welchen Gründen auch immer auf dem Radar des Verfassungsschutzes landet, wird womöglich nie erfahren, wer in der Wohnung war und warum. Denn anders als die Polizei, die bisher erst nach richterlicher Anordnung eine Wohnung durchsuchen und dabei viele Regeln befolgen muss, müssen „echte Geheimdienste“, wie Dobrindt sie jetzt nennt, kaum Rechenschaft ablegen.
Das ist eine ganz schön harte Gangart für einen Rechtsstaat. Besonders für einen Rechtsstaat wie Deutschland, wo die Aufgaben von Geheimdiensten und Polizei ganz bewusst getrennt wurden, als Lehre aus dem Nationalsozialismus und der Brutalität, mit der die Geheime Staatspolizei damals gegen Jüd*innen und politisch Andersdenkende vorging. Das Trennungsgebot war ein wichtiger Pfeiler der Vorsicht, um den Sicherheitsapparat einzuhegen und Menschen vor Übergriffen des Staates zu schützen.
Das heimliche Betreten von Wohnungen ist nur eine von vielen problematischen neuen Befugnissen. Meine Kollegin Anna Biselli hat sie nochmal hier aufgezählt. Die Linken-Abgeordnete Clara Bünger hielt gestern im Bundestag eine flammende Gegenrede. Flankiert wurde sie von den Warnrufen vieler Menschenrechtsorganisationen. Konstantin von Notz von den oppositionellen Grünen lobte hingegen die Arbeit der Koalition: „Heute ist ein guter Tag für die Sicherheit der Bundesrepublik Deutschland“.
Öl ins Feuer
Die Bundesregierung gießt mit dieser Reform Öl ins Feuer: Sie rüstet den Überwachungsstaat auf und beschneidet Grundrechte. Das ist besonders gefährlich in einer Zeit, in der Rechtsextreme in Richtung Regierung drängen. Denn der Schutz demokratischer Werte und Errungenschaften beginnt schon, bevor die Rechtsradikalen an den Hebeln der Macht sitzen.
Auch deswegen haben wir eng und detailliert über dieses Gesetz berichtet. Wie so oft haben wir es nicht verhindern können. Doch wir wollen wenigstens, dass die kritischen Stimmen so laut wie möglich sind und dass das historische Ausmaß klar wird, in dem diese Reform unsere Demokratie verändert. Es ist wahrlich eine „Jahrhundertreform“, wie Alexander Dobrindt sagt – nur nicht im guten Sinne.
Wir sagen nicht nur laut, was schief läuft und gefährlich für unsere Verfassung ist. Wir denken Sicherheit auch anders und neu. Als echte Sicherheit, die schon bei unseren Lebensgrundlagen anfängt, bei Bildung, sozialer Sicherung oder Klimaschutz.
Damit Grund- und Freiheitsrechte eine hörbare Stimme haben, suchen wir derzeit Unterstützung. Bis Sonntag läuft noch unsere Suche nach Brandschutzhelfer*innen: Menschen, die uns mit einem monatlichen Betrag unterstützen.
Für uns macht das einen großen Unterschied, denn regelmäßige Unterstützung wirkt nachhaltiger als eine Einzelspende.Wir können damit Recherchen langfristig anlegen und zugleich in die Tiefe gehen. Wir müssen seltener um Unterstützung bitten und können mehr Energie in die redaktionelle Arbeit stecken.
Wenn du unsere Arbeit mit einer Dauerspende unterstützt, können wir dranbleiben – an der Geheimdienstreform, an dieser Bundesregierung und an allen Versuchen, die unsere Verfassung gefährden. Wir wühlen uns durch die Bleiwüsten von Gesetzen, um klar und deutlich zu sagen, was passiert.
Das geht nur mit Deiner Hilfe.
Chris
Datenschutz & Sicherheit
Amazon Ring rüstet auf: Endlich autonome Drohnen für die Heimüberwachung!
Es gibt solche Meldungen, wo man einfach nur noch den Kopf schütteln kann. Also einerseits darüber, wie man als Journalist eine Drohne zur Heimüberwachung so genügsam heruntererzählen kann, als habe irgendwer gerade ein neues Druckermodell oder eine elektrische Zahnbürste herausgebracht.
Andererseits über das Produkt selbst: Wir sind jetzt also bei autonomen Überwachungsdrohnen für den Heimgebrauch angekommen. Fliegende Kameras, die mit der notorischen Amazon-Videoüberwachung gekoppelt das Eigenheim absichern sollen.
Zunächst soll die Drohne nur in den USA verkauft werden. Bei Heise heißt es dazu nüchtern:
Sie harrt in ihrer Ladestation aus und startet ihre Kontrollflüge anhand zuvor festgelegter Routen und Zeitpläne. Zudem kann die Drohne in ein bestehendes Ring-Ökosystem eingebunden werden. Dann führt die Ring Drone automatisch einen Kontrollflug in Innenbereichen zu festgelegten Punkten durch, wenn ein Alarm von einer Ring-Kamera, einem Sensor oder einem Alarmsystem ausgelöst wird. Dort erfasst die Drohne dann die Umgebung durch eine 360-Grad-Flugbewegung und sendet die Bilder an Smartphones von Nutzerinnen und Nutzern.
Schöne neue Welt.
Wie die Polizei mit vernetzten privaten Kameras amerikanische Kleinstädte überwacht
Eigentlich ist Sarkasmus fehl am Platze. Denn Amazon Ring rüstet seit Jahren private Haushalte mit Überwachungs-Gagdets aller Art auf – und erweitert dadurch die Überwachungssphäre des Staates massiv.
Behörden bekommen zum Nulltarif eine Überwachung von Wohnungen, Vorgärten und Straßen aufgebaut.
Sie können die Aufnahmen per Knopfdruck beim Bürger anfragen oder sie von Amazon bekommen, manchmal ohne richterlichen Beschluss und machmal auch mit. Schon vor fünf Jahren arbeiteten 2.000 US-Behörden mit Amazon bei dieser Form der Überwachung zusammen.
Nie war der Ausbau der Videoüberwachung so billig. Die Bürger:innen protestieren nicht dagegen. Sie schrauben die Kameras selbst an die Wand. Sie zahlen sie sogar mit Freude.
Win Win Win für den Überwachungsstaat – und für Amazon.
Datenschutz & Sicherheit
Operation Endgame: Weltweiter Schlag gegen Cybercrime
In einer international von Europol koordinierten Aktion aus dem Umfeld der „Operation Endgame“ sind Strafverfolger gegen 235 Server und 257 Domains aus dem Malware-Umfeld von Gootloader, CastleRAT und StealC vorgegangen. Die Malware-Verteilungsnetzwerke seien dadurch empfindlich gestört, teilt Europol zur jüngsten Runde der Operation mit.
Weiterlesen nach der Anzeige
Europol erklärt in der Mitteilung, dass sie mit „Operation Endgame“ insbesondere „Cybercrime-as-a-Service“-Geschäftsmodelle im Visier haben. Die dabei eingesetzten Tools ermöglichten weitere Straftaten wie Ransomware-Angriffe und Datendiebstahl. Die Strafverfolger haben zudem mit Unternehmen aus der Wirtschaft zusammengearbeitet. Sie sind gegen drei bösartige Toolkits vorgegangen: Bei Gootloader handelt es sich um einen Dropper/Loader, der unbefugten Zugriff auf Computer ermöglicht. Er kommt üblicherweise in Form gefälschter juristischer Dokumente auf kompromittierten Webseiten – oftmals geknackte WordPress-Seiten – auf die Rechner der Opfer. Die Täter setzen oft auf Erpressung durch Installation von Ransomware. Allein zu Gootloader haben die Ermittler 14 Server und 218 Domains vom Netz genommen, 681 infizierte Webseiten wurden bereinigt.
Der Remote-Access-Trojan (RAT) CastleRAT ist demnach seit dem Jahr 2025 bekannt. Er ermöglicht den Missbrauch infizierter Computer aus der Ferne. CastleRAT liefere eine moderne technische Architektur, erörtern die Ermittler. Er lasse sich flexibel verteilen und nutze Mechanismen, die die Erkennung erschweren. Auch mit CastleRAT haben die Angreifer zahlreiche Daten verschlüsselt und ganze IT-Systeme lahmgelegt, um die Betroffenen um Lösegeld zu erpressen. 120 der Server betrafen das RAT, dazu gehören zudem 39 der beschlagnahmten Domains. Die Daten von Opfern wurden zudem weitergegeben, um sie zu warnen. Außerdem waren 102 der Server für den Infostealer StealC zuständig. Der wurde über zahlreiche Angriffsvektoren verteilt und dient dazu, sensible Informationen wie Zugangsdaten und Passwörter, digitale Identitäten und mehr von infizierten Computern auszuleiten. Die Täter missbrauchen die Daten dann etwa für Handel und Betrügereien.
Millionen Datensätze
Mehr als 6 Millionen Zugangsdaten von Opfern haben die Ermittler in der kriminellen Infrastruktur ausfindig gemacht. Die Angreifer hätten die Daten verkauft, sodass sie später auch für Cyberangriffe etwa mit Ransomware missbraucht werden können. Die Daten der Opfer haben die Ermittler etwa mit dem Have-I-Been-Pwned-Projekt, DIVD, CheckjeHack, NoMoreLeaks, Sekoia, der Shadowserver Foundation und dem NL-NCSC geteilt, damit diese die Opfer über den Diebstahl durch die CastleRAT-Malware informieren können. Europol rät WordPress-Nutzerinnen und -Nutzern, ihre Zugangsdaten zu erneuern und Mehr-Faktor-Authentifizierung einzusetzen – außerdem sollen sie Schwachstellen in ihren Installationen patchen.
An der Aktion waren zahlreiche internationale Strafverfolgungsbehörden aus Europa, Kanada und den USA beteiligt. Aus Deutschland wirkte das Bundeskriminalamt mit. Beim Infostealer StealC knüpft die jetzige Aktion an die Juni-Runde an, in der die Ermittler auch gegen die Malware „SocGholish“ vorgegangen waren.
(dmk)
-
Apps & Mobile Entwicklungvor 2 Monatentado°: Smartes Wand-Thermostat ersetzt Batterien durch USB‑C‑Akku
-
Apps & Mobile Entwicklungvor 2 MonatenAqara Spatial Multi-Sensor FP400: Matter-Sensor erkennt bis zu 10 Personen mit mmWave‑Radar
-
Apps & Mobile Entwicklungvor 2 MonatenArm CSS for Mobile 2: C2-Ultra macht die CPU zum Orchestrator für KI‑Agenten
-
Künstliche Intelligenzvor 2 MonatenGesperrte Straße von Hormus: Laut Prognose werden CO₂-Emissionen 2026 sinken
-
Künstliche Intelligenzvor 1 MonatVerbrenner-Aus: Merz und Macron wollen CO₂-Ziel für 2035 weiter lockern
-
Künstliche Intelligenzvor 2 Monaten
Plug-in-Hybride emittieren sechsmal mehr CO₂ im Alltag als offiziell angegeben
-
Apps & Mobile Entwicklungvor 3 MonatenDeutsche Lüfter-Ikone: ebm‑papst geht für 5,1 Milliarden Euro in die USA
-
Künstliche Intelligenzvor 2 MonatenDänischer CO₂-Speicher „Greesand“ geht im Meeresgrund in Regelbetrieb
