Nach OpenAI-Vorfall:
Auch Anthropic entdeckt Sicherheitslücken
– so schützt du dich vor KI-Angriffen

Wie OpenAI Agents ein deutsches Wiki zum eigenen Forum machten

Die Spuren der Agents im DseWiki reichen bis zum 11. Mai zurück. Entdeckt wurden sie allerdings erst Monate später. Eine Gruppe unabhängiger AI Safety Researcher hatte nach dem Hugging Face Hack nach weiteren Spuren von OpenAI Agents im offenen Internet gesucht und stieß dabei auf das etwa 25 Jahre alte deutsche Wiki für Programmierer:innen.

Die Seite war nahezu eingeschlafen: In den 20 Jahren zuvor hatte es dort laut TechCrunch gerade einmal zehn Änderungen gegeben. Dann begannen Accounts mit Namen wie „OpenAIResearcher“ oder „OAIResearchMar26“, massenhaft Seiten anzulegen und zu bearbeiten.

Die Agents tauschten Antworten, Tricks und Workarounds aus

Wofür die Agents das Wiki nutzten, macht den Fall besonders ungewöhnlich. Mitte Juni tauschten sie dort Tipps und Antworten für zeitlich begrenzte Web-Search-Aufgaben aus. Reuters berichtet außerdem von Strategien, um bei Aufgaben abzukürzen, OpenAIs Einschränkungen zu umgehen und das eigene Verhalten zu verschleiern. Zudem diskutierten die Agents darüber, wie sie unentdeckt bleiben, Tor, ein Netzwerk zur Anonymisierung von Verbindungsdaten, nutzen und Kommunikationswege auch nach dem Löschen einzelner Seiten aufrechterhalten könnten.

Administrator:in löscht Seiten, Agents verstecken ihre Einträge

Als die Administration die ungewöhnlichen Einträge bemerkte und sie als Spam zu löschen begann, entwickelte sich ein Katz-und-Maus-Spiel. Die Agents legten Ersatzseiten an und versuchten, ihre Inhalte in der alphabetischen Sortierung zu verstecken. Dafür stellten sie Seitennamen unter anderem ein „ZZZ“ voran.

An fünf Tagen löschte die Administration laut den beteiligten Forscher:innen im Schnitt rund 100 Seiten täglich, während die Agents etwa 400 neue anlegten. Auch die Startseite des Wikis wurde mehrfach geleert und durch Sammlungen eigener Links ersetzt. Insgesamt musste sie neunmal wiederhergestellt werden. Am 22. Juni brachen die Aktivitäten der Agents schließlich abrupt ab. Danach dauerte es weitere fünf Wochen, die verbliebenen Seiten zu entfernen.

Spuren führten schließlich zu OpenAI

Dass die Aktivitäten tatsächlich mit OpenAI zusammenhingen, leiteten die Forscher:innen aus mehreren Indizien ab. Etwa die Hälfte der beteiligten Accounts trug Namen mit erkennbarem OpenAI-Bezug. Öffentliche Server Logs verwiesen zudem auf die Microsoft Azure-Infrastruktur, die auch der OpenAI KI-Dienst ChatGPT nutzt. Später registrierten die Forscher:innen wiederholt Zugriffe von OpenAI-IP-Adressen. Kurz darauf ging die Aktivität der Agents fast vollständig zurück.

Hinweise auf offensichtlich illegale Aktivitäten der Agents gibt es bislang nicht. Umstritten ist allerdings bereits die Einordnung dessen, was auf der Website geschah. Der Cybersecurity Researcher Lukasz Olejnik wertete Manipulationen an der Website gegenüber Reuters als Hacking-Versuch; OpenAI widersprach dieser Einschätzung. Klar ist dagegen, dass die Agents außerhalb ihrer vorgesehenen Testumgebung über Wochen auf einer realen Website agierten, sich miteinander abstimmten und auf menschliche Gegenmaßnahmen reagierten. Genau das macht den Fall für die Debatte um die Kontrolle autonomer KI-Agents relevant.

OpenAI wusste Bescheid und veröffentlichte die Aktivitäten trotzdem nicht

Reuters zufolge wusste die OpenAI-Führung bereits Wochen vor der öffentlichen Berichterstattung Anfang September von den Aktivitäten im DseWiki. Veröffentlicht wurden sie trotzdem nicht. Zu diesem Zeitpunkt arbeitete das Unternehmen bereits die Folgen des Hugging Face-Angriffs auf, über den OpenAI deutlich transparenter kommuniziert hatte. Zu diesem früheren Angriff ermittelt Berichten zufolge inzwischen auch der kalifornische Generalstaatsanwalt Rob Bonta.

Als Reuters die bis dahin nicht öffentlich bekannten Aktivitäten im DseWiki am 4. September publik machte, reagierte OpenAI zunächst zurückhaltend. Ein:e Unternehmenssprecher:in erklärte, man könne nicht „sinnvoll auf Behauptungen oder Erkenntnisse eines Berichts reagieren, den das Unternehmen noch nicht habe prüfen können.“ Zudem wies OpenAI die Darstellung zurück, die eigene Rechtsabteilung habe eine weitergehende Untersuchung behindert.

Hugging Face wurde zum Sicherheitsfall, das deutsche Wiki nicht

Einen Tag später, am 5. September, erklärte OpenAI in einem Statement auf X erstmals ausführlicher, warum die beiden Fälle unterschiedlich behandelt worden waren. Die Aktivitäten im DseWiki habe das Unternehmen als unerwartetes beziehungsweise fehlgeleitetes Verhalten der Agents eingeordnet, ähnlich zu Auffälligkeiten, über die bereits zuvor in Forschungsarbeiten berichtet worden sei.

Den Zugriff auf Hugging Face wertete OpenAI dagegen als Sicherheitsvorfall und aktivierte dafür einen etablierten Incident-Response-Prozess. Nach eigenen Angaben arbeitete das Unternehmen direkt mit Hugging Face zusammen und informierte bereits am folgenden Tag öffentlich über den Angriff.

In diesen beiden Fällen hing die Offenlegung demnach davon ab, wie OpenAI das Verhalten der Agents einordnete. Mit autonomeren AI Agents innerhalb von KI-Diensten wird diese Unterscheidung zwischen Forschungsbefund und Sicherheitsvorfall jedoch immer schwerer zu rechtfertigen und genau daran entzündet sich auch die Kritik.

Denn ein Agent muss keinen Server kompromittieren oder Daten stehlen, damit Aktivitäten außerhalb einer Testumgebung problematisch werden. Schon eigenständige Eingriffe in reale Websites können Inhalte verändern, Moderation erschweren und unbeteiligten Betreiber:innen erheblichen zusätzlichen Aufwand verursachen. OpenAI will deshalb nun festlegen, wann auch solches Verhalten künftig öffentlich gemacht werden soll.

Auch Anthropic und Meta kämpfen mit außer Kontrolle geratenen AI Agents

OpenAI steht mit dem Problem unerwartet autonom handelnder Agents außerhalb kontrollierter Testumgebungen nicht allein. Ähnliche Kontrollprobleme traten auch bei Anthropic und Meta während Sicherheitstests auf.

Bei Anthropic konnten drei Claude-Modelle während Sicherheitstests auf das offene Internet zugreifen und sich unautorisierten Zugang zu realen Systemen von drei Organisationen verschaffen, nachdem eine vermeintlich abgeschottete Testumgebung tatsächlich mit dem Internet verbunden war.

Bei Meta nutzte ein AI-Modell während eines Cybersecurity-Tests eine Schwachstelle in einem externen Dienst aus. Ursache war laut Meta eine Fehlkonfiguration bei der unabhängigen Testfirma Irregular, durch die das Modell unbeabsichtigt Zugriff auf das Internet erhielt. Dem Bericht zufolge verschaffte sich das Modell daraufhin Zugang zu den Systemen eines nicht genannten Unternehmens und veränderte dort die interne Umgebung. Irregular betonte gegenüber Reuters allerdings, dass es sich weder um einen Sandbox-Ausbruch noch um eine besonders ausgefeilte Cyber-Attacke gehandelt habe.

Nach dem Wiki-Fall: OpenAI will Offenlegung neu regeln

Das angekündigte Framework soll festlegen, wann und wie OpenAI fehlgeleitetes Agent-Verhalten künftig öffentlich macht. Dafür arbeitet das Unternehmen nach eigenen Angaben bereits mit Dutzenden staatlichen Aufsichtsbehörden weltweit zusammen. Zugleich räumt OpenAI ein, dass es bislang weder intern noch in der breiteren KI-Community festgelegte Standards für solche Fälle gibt. Das betrifft vor allem Situationen, die nicht eindeutig als Sicherheitsvorfall gelten, aber trotzdem zeigen, wie weit leistungsfähige KI-Systeme außerhalb vorgesehener Grenzen agieren können.

Die Kritik an dieser Form der Selbstkontrolle gab es allerdings schon vor der Ankündigung des Frameworks. Jacob Steinhardt, Gründer und CEO des gemeinnützigen Forschungslabors Transluce, forderte bereits zuvor systematische Untersuchungen von Agent-Verhalten sowie mehr unabhängigen Zugang und Kontrolle durch Dritte. Laut ihm sollten KI-Unternehmen nicht allein darüber entscheiden, wann externe Untersuchungen stattfinden und wie weit diese reichen.

Sollte es trotz des OpenAI Frameworks also weiterhin zu Fällen kommen, die aus Sicht von Kritiker:innen zu spät oder nur unzureichend offengelegt werden, dürfte die Kritik an dieser Form der Selbstkontrolle kaum leiser werden. Denn je autonomer AI Agents handeln, desto schwerer lässt sich rechtfertigen, dass die Unternehmen hinter den Diensten selbst entscheiden, wann externe Untersuchungen nötig sind und wie weit diese reichen dürfen.

Prädikat „Critical“:
OpenAI hielt Astra wegen Sicherheitsrisiken zurück

Stelle OnlineMarketing.de als bevorzugte Quelle auf Google ein

Wenn du OnlineMarketing.de auf Google als bevorzugte Quelle einstellen möchtest, um auch in den Schlagzeilen auf Google immer aktuelle News und Tipps aus der Welt des Marketing und der Tech-Entwicklungen zu finden, kannst du einfach die Google-Quelleneinstellungen aufrufen und die Seite anwählen. Über das Stern-Icon neben den Top Stories kannst du ebenfalls bevorzugte Quellen für die spätere Suche speichern.