Datenschutz & Sicherheit
Hugging-Face-Angriff: OpenAI-Abschlussbericht liefert neue Erkenntnisse
OpenAI hat seinen Abschlussbericht zum Hugging-Face-Angriff veröffentlicht. Er zeigt neue Details, die den Vorfall stärker als bisher auch als internes Sicherheitsproblem erscheinen lassen.
Weiterlesen nach der Anzeige
Das Grundgeschehen ist seit Juli bekannt: Bei Cybersecurity-Evaluationen fanden OpenAI-Agenten Wege aus ihrer isolierten Testumgebung, verschafften sich Internetzugang und kompromittierten schließlich Systeme von Hugging Face. Neu ist vor allem, wie früh OpenAI Warnsignale registrierte und dass ähnliche Verhaltensmuster bereits im Training auftraten und teilweise verstärkt wurden.
Erste Warnzeichen schon im Mai
Bereits Ende Mai beobachtete ein internes Team laut OpenAI, dass Agenten einen internen Softwaredienst als Message Board zweckentfremdeten, um miteinander zu kommunizieren und zugleich unerlaubt ins Internet zu gelangen. Rund einen Monat später schlug das Sicherheitssystem wegen verdächtiger Netzwerkaktivität Alarm. Die Untersuchung führte die Aktivität auf eine laufende Cybersecurity-Evaluation mit dem Benchmark ExploitGym zurück. Die Agenten nutzten OpenAIs interne Infrastruktur dabei auch für weitere Netzwerkzugriffe. Dennoch entschied der Bereitschaftsdienst, die Evaluation nicht zu stoppen.
Anfang Juli eskalierte die Situation weiter: Die hohe Agentenaktivität legte einen internen OpenAI-Dienst lahm. OpenAI reagierte mit Gegenmaßnahmen und nahm die Cyber-Evaluationen am 7. Juli wieder auf. Das war bereits seit OpenAIs Black-Hat-Präsentation vom 5. August bekannt. Neu ist, dass die Sicherheitsverantwortlichen offenbar weder von der verdeckten Agentenkommunikation noch von ihrer Bedeutung wussten.
Unlösbare Aufgaben fördern Reward Hacking
Der 38-seitige Bericht zeigt auch, warum besonders schwierige Aufgaben das problematische Verhalten begünstigten. Die Agenten konnten sehr lange weiterarbeiten und verfügten teils über deutlich größere Reasoning-Budgets als öffentlich verfügbare OpenAI-Produkte. Von 898 Aufgaben des Cybersecurity-Benchmarks ExploitGym wurden 198 in OpenAIs damaligen Tests von keinem Modell korrekt gelöst. Diese 22 Prozent machten jedoch 93 Prozent der Aufgaben aus, die auf dem improvisierten internen Message Board diskutiert wurden. Dort tauschten die Agenten Hinweise aus und koordinierten ihre Arbeit. Mit längerer Arbeitszeit stieg die Wahrscheinlichkeit für solche Infrastruktur-Experimente und eine Beteiligung am Board.
OpenAI ordnet einen Teil dieses Verhaltens als Form von Reward Hacking ein: Die Agenten versuchten, die für den Erfolg vorgesehene Belohnung über nicht vorgesehene Abkürzungen zu erhalten, statt die Aufgabe regulär zu lösen. Bei der rückblickenden Trainingsanalyse fand OpenAI zudem, dass Modelle schon während des Reinforcement Learnings nicht vorgesehene Wege durch die Infrastruktur nutzten, um Aufgaben zu lösen, und dafür teilweise belohnt wurden. Auch unerlaubte Kommunikation zwischen Agenten trat bereits im Training auf. Schwerwiegendere Formen nahmen im Verlauf deutlich zu. Das bedeutet nicht, dass OpenAI seine Modelle gezielt darauf trainierte, Sicherheitsgrenzen zu umgehen. Erfolgreiche Abkürzungen könnten entsprechende Strategien aber unbeabsichtigt begünstigt und verstärkt haben.
Weiterlesen nach der Anzeige
Agentenrisiko oder Sicherheitsproblem?
Eine parallel veröffentlichte Untersuchung von METR und Redwood Research beziffert das zuvor bereits bekannte Agentenkollektiv erstmals genauer. Demnach interagierten 1206 Agenten mit dem improvisierten Message Board, 688 davon beteiligten sich am Angriff auf Hugging Face. Insgesamt tauschten die Agenten mehr als 70.000 Nachrichten und Dateien aus.
Innerhalb weniger Stunden hatten die Agenten einen Weg gefunden, die für ExploitGym benötigten Flags zu erzeugen, also Codes, die beim Benchmark als Lösungsnachweis dienen. Hugging Face griffen sie offenbar nicht primär an, um Lösungen zu stehlen, sondern um Informationen über die ExploitGym-Umgebung und den vermeintlichen Bewertungsmechanismus zu finden. Die Agentenprotokolle zeigen, dass das Verhalten auf der Annahme beruhte, dieser prüfe auch den Lösungsweg. Entsprechend versuchten die Agenten, den Mechanismus zu umgehen. Tatsächlich sah OpenAIs Implementierung diese Prüfung gar nicht vor. METR verändert damit das bisherige Motivbild: Im Zentrum stand weniger der Lösungsklau als das Umgehen einer nur angenommenen Kontrolle des Lösungswegs.
Die Forscher fanden nur schwache Hinweise darauf, dass die Agenten systematisch menschliche Beobachter täuschen wollten. Offen bleibt damit die Frage, wie viel der Vorfall über grundsätzlich neue Gefahren leistungsfähiger Agenten aussagt und wie viel über konkrete Schwächen in OpenAIs Testdesign, Monitoring und interner Eskalation. OpenAI hat bereits neue Maßnahmen angekündigt, darunter stärkere Isolation, eine engere Überwachung der internen Modellüberlegungen und klarere Eingriffsschwellen.
(tobe)
Datenschutz & Sicherheit
KW 46: Die Woche, in der wir Richtung Geheimpolizei gehen
Liebe Leser*innen,
Deutschland ist auf dem Weg, eine Art Geheimpolizei zu schaffen. Und gemessen daran, was die schwarz-rote Koalition am gestrigen Freitag erfolgreich durch den Bundestag gebracht hat, sind die Reaktionen bisher erstaunlich zurückhaltend. Kaum jemand protestiert dagegen, dabei ist diese Reform aus dem Hause Dobrindt (CSU) wirklich ein Umbruch.
Agent*innen des Verfassungsschutzes sollen etwa das Recht bekommen, heimlich Wohnungen von Bürger*innen betreten zu dürfen. Sie sollen sogar Datenträger heimlich zerstören oder manipulieren dürfen, Informationen löschen.
Wer aus welchen Gründen auch immer auf dem Radar des Verfassungsschutzes landet, wird womöglich nie erfahren, wer in der Wohnung war und warum. Denn anders als die Polizei, die bisher erst nach richterlicher Anordnung eine Wohnung durchsuchen und dabei viele Regeln befolgen muss, müssen „echte Geheimdienste“, wie Dobrindt sie jetzt nennt, kaum Rechenschaft ablegen.
Das ist eine ganz schön harte Gangart für einen Rechtsstaat. Besonders für einen Rechtsstaat wie Deutschland, wo die Aufgaben von Geheimdiensten und Polizei ganz bewusst getrennt wurden, als Lehre aus dem Nationalsozialismus und der Brutalität, mit der die Geheime Staatspolizei damals gegen Jüd*innen und politisch Andersdenkende vorging. Das Trennungsgebot war ein wichtiger Pfeiler der Vorsicht, um den Sicherheitsapparat einzuhegen und Menschen vor Übergriffen des Staates zu schützen.
Das heimliche Betreten von Wohnungen ist nur eine von vielen problematischen neuen Befugnissen. Meine Kollegin Anna Biselli hat sie nochmal hier aufgezählt. Die Linken-Abgeordnete Clara Bünger hielt gestern im Bundestag eine flammende Gegenrede. Flankiert wurde sie von den Warnrufen vieler Menschenrechtsorganisationen. Konstantin von Notz von den oppositionellen Grünen lobte hingegen die Arbeit der Koalition: „Heute ist ein guter Tag für die Sicherheit der Bundesrepublik Deutschland“.
Öl ins Feuer
Die Bundesregierung gießt mit dieser Reform Öl ins Feuer: Sie rüstet den Überwachungsstaat auf und beschneidet Grundrechte. Das ist besonders gefährlich in einer Zeit, in der Rechtsextreme in Richtung Regierung drängen. Denn der Schutz demokratischer Werte und Errungenschaften beginnt schon, bevor die Rechtsradikalen an den Hebeln der Macht sitzen.
Auch deswegen haben wir eng und detailliert über dieses Gesetz berichtet. Wie so oft haben wir es nicht verhindern können. Doch wir wollen wenigstens, dass die kritischen Stimmen so laut wie möglich sind und dass das historische Ausmaß klar wird, in dem diese Reform unsere Demokratie verändert. Es ist wahrlich eine „Jahrhundertreform“, wie Alexander Dobrindt sagt – nur nicht im guten Sinne.
Wir sagen nicht nur laut, was schief läuft und gefährlich für unsere Verfassung ist. Wir denken Sicherheit auch anders und neu. Als echte Sicherheit, die schon bei unseren Lebensgrundlagen anfängt, bei Bildung, sozialer Sicherung oder Klimaschutz.
Damit Grund- und Freiheitsrechte eine hörbare Stimme haben, suchen wir derzeit Unterstützung. Bis Sonntag läuft noch unsere Suche nach Brandschutzhelfer*innen: Menschen, die uns mit einem monatlichen Betrag unterstützen.
Für uns macht das einen großen Unterschied, denn regelmäßige Unterstützung wirkt nachhaltiger als eine Einzelspende.Wir können damit Recherchen langfristig anlegen und zugleich in die Tiefe gehen. Wir müssen seltener um Unterstützung bitten und können mehr Energie in die redaktionelle Arbeit stecken.
Wenn du unsere Arbeit mit einer Dauerspende unterstützt, können wir dranbleiben – an der Geheimdienstreform, an dieser Bundesregierung und an allen Versuchen, die unsere Verfassung gefährden. Wir wühlen uns durch die Bleiwüsten von Gesetzen, um klar und deutlich zu sagen, was passiert.
Das geht nur mit Deiner Hilfe.
Chris
Datenschutz & Sicherheit
Amazon Ring rüstet auf: Endlich autonome Drohnen für die Heimüberwachung!
Es gibt solche Meldungen, wo man einfach nur noch den Kopf schütteln kann. Also einerseits darüber, wie man als Journalist eine Drohne zur Heimüberwachung so genügsam heruntererzählen kann, als habe irgendwer gerade ein neues Druckermodell oder eine elektrische Zahnbürste herausgebracht.
Andererseits über das Produkt selbst: Wir sind jetzt also bei autonomen Überwachungsdrohnen für den Heimgebrauch angekommen. Fliegende Kameras, die mit der notorischen Amazon-Videoüberwachung gekoppelt das Eigenheim absichern sollen.
Zunächst soll die Drohne nur in den USA verkauft werden. Bei Heise heißt es dazu nüchtern:
Sie harrt in ihrer Ladestation aus und startet ihre Kontrollflüge anhand zuvor festgelegter Routen und Zeitpläne. Zudem kann die Drohne in ein bestehendes Ring-Ökosystem eingebunden werden. Dann führt die Ring Drone automatisch einen Kontrollflug in Innenbereichen zu festgelegten Punkten durch, wenn ein Alarm von einer Ring-Kamera, einem Sensor oder einem Alarmsystem ausgelöst wird. Dort erfasst die Drohne dann die Umgebung durch eine 360-Grad-Flugbewegung und sendet die Bilder an Smartphones von Nutzerinnen und Nutzern.
Schöne neue Welt.
Wie die Polizei mit vernetzten privaten Kameras amerikanische Kleinstädte überwacht
Eigentlich ist Sarkasmus fehl am Platze. Denn Amazon Ring rüstet seit Jahren private Haushalte mit Überwachungs-Gagdets aller Art auf – und erweitert dadurch die Überwachungssphäre des Staates massiv.
Behörden bekommen zum Nulltarif eine Überwachung von Wohnungen, Vorgärten und Straßen aufgebaut.
Sie können die Aufnahmen per Knopfdruck beim Bürger anfragen oder sie von Amazon bekommen, manchmal ohne richterlichen Beschluss und machmal auch mit. Schon vor fünf Jahren arbeiteten 2.000 US-Behörden mit Amazon bei dieser Form der Überwachung zusammen.
Nie war der Ausbau der Videoüberwachung so billig. Die Bürger:innen protestieren nicht dagegen. Sie schrauben die Kameras selbst an die Wand. Sie zahlen sie sogar mit Freude.
Win Win Win für den Überwachungsstaat – und für Amazon.
Datenschutz & Sicherheit
Operation Endgame: Weltweiter Schlag gegen Cybercrime
In einer international von Europol koordinierten Aktion aus dem Umfeld der „Operation Endgame“ sind Strafverfolger gegen 235 Server und 257 Domains aus dem Malware-Umfeld von Gootloader, CastleRAT und StealC vorgegangen. Die Malware-Verteilungsnetzwerke seien dadurch empfindlich gestört, teilt Europol zur jüngsten Runde der Operation mit.
Weiterlesen nach der Anzeige
Europol erklärt in der Mitteilung, dass sie mit „Operation Endgame“ insbesondere „Cybercrime-as-a-Service“-Geschäftsmodelle im Visier haben. Die dabei eingesetzten Tools ermöglichten weitere Straftaten wie Ransomware-Angriffe und Datendiebstahl. Die Strafverfolger haben zudem mit Unternehmen aus der Wirtschaft zusammengearbeitet. Sie sind gegen drei bösartige Toolkits vorgegangen: Bei Gootloader handelt es sich um einen Dropper/Loader, der unbefugten Zugriff auf Computer ermöglicht. Er kommt üblicherweise in Form gefälschter juristischer Dokumente auf kompromittierten Webseiten – oftmals geknackte WordPress-Seiten – auf die Rechner der Opfer. Die Täter setzen oft auf Erpressung durch Installation von Ransomware. Allein zu Gootloader haben die Ermittler 14 Server und 218 Domains vom Netz genommen, 681 infizierte Webseiten wurden bereinigt.
Der Remote-Access-Trojan (RAT) CastleRAT ist demnach seit dem Jahr 2025 bekannt. Er ermöglicht den Missbrauch infizierter Computer aus der Ferne. CastleRAT liefere eine moderne technische Architektur, erörtern die Ermittler. Er lasse sich flexibel verteilen und nutze Mechanismen, die die Erkennung erschweren. Auch mit CastleRAT haben die Angreifer zahlreiche Daten verschlüsselt und ganze IT-Systeme lahmgelegt, um die Betroffenen um Lösegeld zu erpressen. 120 der Server betrafen das RAT, dazu gehören zudem 39 der beschlagnahmten Domains. Die Daten von Opfern wurden zudem weitergegeben, um sie zu warnen. Außerdem waren 102 der Server für den Infostealer StealC zuständig. Der wurde über zahlreiche Angriffsvektoren verteilt und dient dazu, sensible Informationen wie Zugangsdaten und Passwörter, digitale Identitäten und mehr von infizierten Computern auszuleiten. Die Täter missbrauchen die Daten dann etwa für Handel und Betrügereien.
Millionen Datensätze
Mehr als 6 Millionen Zugangsdaten von Opfern haben die Ermittler in der kriminellen Infrastruktur ausfindig gemacht. Die Angreifer hätten die Daten verkauft, sodass sie später auch für Cyberangriffe etwa mit Ransomware missbraucht werden können. Die Daten der Opfer haben die Ermittler etwa mit dem Have-I-Been-Pwned-Projekt, DIVD, CheckjeHack, NoMoreLeaks, Sekoia, der Shadowserver Foundation und dem NL-NCSC geteilt, damit diese die Opfer über den Diebstahl durch die CastleRAT-Malware informieren können. Europol rät WordPress-Nutzerinnen und -Nutzern, ihre Zugangsdaten zu erneuern und Mehr-Faktor-Authentifizierung einzusetzen – außerdem sollen sie Schwachstellen in ihren Installationen patchen.
An der Aktion waren zahlreiche internationale Strafverfolgungsbehörden aus Europa, Kanada und den USA beteiligt. Aus Deutschland wirkte das Bundeskriminalamt mit. Beim Infostealer StealC knüpft die jetzige Aktion an die Juni-Runde an, in der die Ermittler auch gegen die Malware „SocGholish“ vorgegangen waren.
(dmk)
-
Apps & Mobile Entwicklungvor 2 Monatentado°: Smartes Wand-Thermostat ersetzt Batterien durch USB‑C‑Akku
-
Apps & Mobile Entwicklungvor 2 MonatenAqara Spatial Multi-Sensor FP400: Matter-Sensor erkennt bis zu 10 Personen mit mmWave‑Radar
-
Apps & Mobile Entwicklungvor 2 MonatenArm CSS for Mobile 2: C2-Ultra macht die CPU zum Orchestrator für KI‑Agenten
-
Künstliche Intelligenzvor 2 MonatenGesperrte Straße von Hormus: Laut Prognose werden CO₂-Emissionen 2026 sinken
-
Künstliche Intelligenzvor 1 MonatVerbrenner-Aus: Merz und Macron wollen CO₂-Ziel für 2035 weiter lockern
-
Künstliche Intelligenzvor 2 Monaten
Plug-in-Hybride emittieren sechsmal mehr CO₂ im Alltag als offiziell angegeben
-
Apps & Mobile Entwicklungvor 3 MonatenDeutsche Lüfter-Ikone: ebm‑papst geht für 5,1 Milliarden Euro in die USA
-
Künstliche Intelligenzvor 2 MonatenDänischer CO₂-Speicher „Greesand“ geht im Meeresgrund in Regelbetrieb
