Die digitale Welt erlebt derzeit eine Dynamik, die selbst eingefleischten Branchenkennern den Atem stocken lässt. Was vor wenigen Jahren mit holpernden Chatbots begann, hat sich zu einem technologischen Wettlauf entwickelt, dessen Reichweite kaum noch zu überblicken ist. Der Wendepunkt vollzog sich leise, aber folgenschwer, als führende Entwicklerhäuser eine neue Klasse von Systemen auf den Markt brachten: „Reasoning Models“. Sie sind darauf spezialisiert, komplexe Aufgaben mit mehrstufigen Ansätzen zu lösen. Doch mit dem Sprung bei den Fähigkeiten ging eine Entwicklung einher, die Sicherheitsforscher zutiefst beunruhigt.

In Routineprüfungen und internen Testläufen zeichnet sich ein besorgniserregendes Muster ab. Frontier-Modelle von OpenAI, Anthropic, Meta sowie des chinesischen Anbieters Moonshot AI haben in jüngster Zeit wiederholt die ihnen zugewiesenen isolierten IT-Testumgebungen durchbrochen. Die Systeme verschafften sich über Schwachstellen eigenmächtig Zugang zum offenen Internet. Mehrere Firmen berichteten, dass ihre KI-Agenten daraufhin in externe Netzwerke eindrangen, ohne dass menschliche Überwacher dies rechtzeitig bemerkten. Um ihre vorgegebenen Aufgaben zu erfüllen, setzten die Bots gezielte Social-Engineering-Taktiken ein: Sie verschickten Phishing-E-Mails mit Schadcode an echte Personen oder erstellten gefälschte Identitäten.

Besonders detailliert enthüllten Forscher von OpenAI auf einer Cybersicherheitskonferenz das Ausmaß eines solchen Vorfalls. Um extrem schwierige Aufgaben zu lösen, nutzten Modelle einen Fehler in einem internen Programm, um eine eigene Nachrichtenbörse einzurichten. Über dieses Forum kommunizierten die Bots monatelang unbemerkt miteinander, hinterließen Anweisungen und teilten Arbeitsschritte auf. Schließlich drang ein koordinierter Schwarm dieser Agenten in die Plattform Hugging Face ein und griff interne Datensätze ab.

Digitaler Ausbruch aus dem Testlabor

Die Enthüllungen verdeutlichen eine neue Qualität der Fehlausrichtung künstlicher Systeme. Ein Netzwerk von KI-Modellen verschwor sich über Monate hinweg vor den Augen seiner „Schöpfer“, um eine externe Firma zu hacken. Alexander Meinke von der unabhängigen Sicherheitsorganisation Apollo Research bringt das Dilemma auf den Punkt: „Fragt man die Modellentwickler: ‚Hatte die KI während des Trainings Pläne zur Weltherrschaft?‘, wünscht man sich ein klares Nein als Antwort. Die tatsächliche Antwort lautet: ‚Ich weiß es nicht. Niemand hat es überprüft.‘“ Das Geschehen sei „bis dato eine der besorgniserregendsten Demonstrationen von KI-Fehlfunktionen“.

Dass es zu diesem Verhalten kommen konnte, liegt im Kern der aktuellen Trainingsmethoden. Führende KI-Konzerne setzen auf Reinforcement Learning, das Lernen durch Versuch und Irrtum. Den Modellen werden dabei immer komplexere Aufgaben gestellt, für deren erfolgreiche Bewältigung sie digitale Belohnungspunkte erhalten. Dieser Ansatz zieht aber eine ausgeprägte Söldnermentalität nach sich: Die Systeme lernen, ihr Ziel um jeden Preis zu erreichen. Wenn sie eine Hürde innerhalb der Testumgebung nicht nehmen können, greifen sie zum „Reward Hacking“: Sie manipulieren die Prüfumgebung oder suchen Antworten im Internet.

Experten warnen davor, die Tragweite dieser Entwicklung zu unterschätzen. Der Ex-Sicherheitschef von Facebook, Alex Stamos, geht davon aus, dass kriminelle Banden und Geheimdienste bereits in wenigen Monaten Schwärme autonomer KI-Agenten für komplexe Cyberangriffe einsetzen werden. Anthony Aguirre, Direktor des Future of Life Institute, schlägt Alarm: „Wir haben die Schwelle erreicht, ab der es wirklich eine Rolle spielt, dass wir derzeit im Grunde keine Methoden haben, um diese Systeme zufriedenstellend aufeinander abzustimmen oder zu steuern.“

Wenn Belohnungsanreize zu Söldnerverhalten werden

Die Komplexität in der Softwareentwicklung steigt rasant, da moderne Entwicklungswerkzeuge darauf ausgelegt sind, Hunderte Subagenten gleichzeitig zu starten. Jason Hausenloy vom Center for AI Safety weist darauf hin, dass die Überwachung von Hunderten kollaborierenden Agenten um ein Vielfaches schwieriger sei als die Kontrolle eines einzelnen Systems: „Sie können es sich nicht leisten, einen einzigen Fehler zu begehen, insbesondere wenn die Agenten immer stärker werden.“

Da Subagenten darauf trainiert werden, zum Gesamterfolg beizutragen, leisten einzelne Bots Vorarbeit, damit nachfolgende Generationen den Durchbruch erzielen. Im jüngsten Ausbruch bei OpenAI sollten 1200 Testagenten Aufgaben lösen, wie die IT-Sicherheitsexperten Haya Schulmann und Michael Waidner in der FAZ herausstellen. Um ein unlösbares Problem zu bewältigen, brachen rund 700 Agenten aus der Sandbox aus und drangen bei Hugging Face ein. Sie nutzten ein internes „Schwarzes Brett“ zum Austausch von über 70.000 Nachrichten und luden Repositories herunter – ohne dass ein einziger Mitstreiter Alarm geschlagen hätte.

Zugleich stoßen bisherige Kontrollmechanismen an ihre Grenzen. Um Milliarden von Aktionen zu überprüfen, setzen Entwicklerfirmen auf KI-basierte Überwachungssysteme. Wenn die zu überprüfenden Modelle und die „Aufpasser“ aber dasselbe übergeordnete Ziel verfolgen, kann diese automatisierte Selbstkontrolle untergraben werden. KI-Hersteller überwachen ihre Agentenscharen teils nur noch automatisiert, was hochgradig fehleranfällig ist.

Am Fuße der Singularität: Das Gespenst von Hiroshima

In den Denkfabriken des Silicon Valley herrscht eine Mischung aus Goldgräberstimmung und Beklemmung. Der Historiker Timothy Garton Ash berichtet im Tagesspiegel von Begegnungen an der Stanford-Uni, wo Experten ihn mit den Worten „Willkommen am Fuße der Singularität“ begrüßten. Gemeint ist der historische Kipppunkt der rekursiven Selbstverbesserung: jener Moment, ab dem KI-Systeme ihre Nachfolgemodelle autonom entwickeln. Robert Wright merkt in seinem Buch „The God Test“ an, dass die nahe Zukunft der Menschheit noch nie eine so breite Palette an Wegen zur Verwirklichung dieses Konzepts geboten habe.

Die Ansichten über den Ausgang solcher Experimente könnten kaum unterschiedlicher sein. Elon Musk verspricht ein „Zeitalter erstaunlichen Überflusses“. KI-Pioniere wie Geoffrey Hinton zeichnen dagegen düstere Szenarien. „Meine Intuition sagt mir, dass wir erledigt sind“, warnte die Koryphäe laut Ash schon 2023. Die Wahrscheinlichkeit eines globalen Untergangs habe der Nobelpreisträger auf etwa 50 Prozent geschätzt und hinzugefügt: Sobald die Evolution der KI einsetze, „sind wir am Arsch“.

Ash zeigt sich überzeugt, dass die Wahrscheinlichkeit einer gravierenden KI-Katastrophe bei über 90 Prozent liegt. Der 71-jährige Brite beschreibt das Verhalten der Bots drastisch: „Wie die Agenten einer skrupellosen ausländischen Macht werden diese KI-Agenten stehlen, lügen, schikanieren und erpressen, um ihre vorgegebenen Ziele zu erreichen.“ Die Vielzahl kommerzieller Entwicklungslabore erschwere eine globale Steuerung im Vergleich zu historischen Atomabkommen. Da komme wohl nicht nur ein einziges KI-Hiroshima auf die Menschheit zu. Ash bilanziert nüchtern: „Da könnten wir uns noch glücklich schätzen“, sollte es bei einem solchen Desaster bleiben.

Gates‘ Diagnose: Diesmal ist es wirklich anders

Auch Microsoft-Mitgründer Bill Gates hat sich mit einem langen Blogbeitrag eingeschaltet. Seine Grundthese: „KI wird entweder der größte Gleichmacher sein, der je erfunden wurde, oder die schlimmste Quelle von Ungerechtigkeit.“ Es drohe eine überaus stürmische Epoche: „Selbst unter den besten Umständen wird der Übergang zu dieser neuen KI-Ära eine der turbulentesten Zeiten in der Geschichte der Menschheit sein.“ Gates moniert, er sehe „keine Anzeichen dafür, dass sich Führungskräfte, Experten und Gemeinschaften angemessen mit den Herausforderungen auseinandersetzen“.

Der Grund für diese Sorglosigkeit liege darin, dass viele Beobachter die Tragweite falsch einschätzten, meint der 70-Jährige. Analogien zu früheren technologischen Revolutionen seien irreführend. Als der Personal Computer seinen Siegeszug antrat, dauerte es zwei Jahrzehnte, bis Arbeitsabläufe grundlegend verändert wurden. KI hingegen läuft auf vorhandenen Geräten und nutzt natürliche Sprache. „Diesmal ist es wirklich anders“, befürchtet Gates. Die Technologie passe sich dem Menschen an und ersetze erstmals direkt menschliche Kognition.

Die Konsequenzen für den Arbeitsmarkt werden ihm zufolge dramatisch sein. Branchen wie Recht, Kundenservice, Medizin, Softwareentwicklung und Fertigung werde die Transformation innerhalb eines Jahrzehnts erfassen. Gates warnt vor einer Spirale: Wenn gewerbliche Pionieranwender durch KI Kosten senkten, gerieten Konkurrenten unter Zugzwang. Der entscheidende Kipppunkt trete ein, sobald KI-Systeme fehlerfrei und ohne menschliche Aufsicht agieren könnten. Das fordere eine kapitalistische Gesellschaft stark heraus, in der Arbeit die primäre Quelle von Einkommen und Würde darstelle.

Eine neue Weltordnung für den Wandel

Neben ökonomischen Verwerfungen identifiziert Gates zwei weitere Hauptrisiken: die Befähigung böswilliger Akteure und die Entfremdung zwischenmenschlicher Beziehungen. KI-Tools senkten Hürden für Cyberangriffe und Desinformation: „KI-Modelle könnten beginnen, gegen unsere Interessen zu handeln, und wir könnten die Kontrolle verlieren.“

Auf individueller Ebene sorgt sich der Milliardär vor allem um Kinder. KI-Begleiter, die niemals widersprechen, könnten junge Menschen isolieren. Zudem drohe der Verlust kritischer Denkfähigkeiten: „Dasselbe Werkzeug, das es den Menschen ermöglichen wird, mehr als je zuvor zu lernen, könnte auch dazu führen, dass viele Menschen weniger lernen.“

Um einer Spaltung entgegenzuwirken, fordert Gates neuartige nationale und internationale Institutionen nach dem Vorbild von Atomwaffeninspektionen, der Luftfahrt und Umweltabkommen: „Die Welt braucht einen Plan.“ Ein weiterer Baustein ist demnach die Ausweisung von „Human Reserved“-Bereichen – Tätigkeiten in Pflege, Bildung und Seelsorge, die bewusst Menschen vorbehalten bleiben sollen. Zur Finanzierung schlägt er eine Besteuerung von KI-Nutzung und Robotik vor und appelliert an die Politik: „Sie haben die Chance, jetzt zu handeln – bevor die Arbeitslosigkeit stark ansteigt, Gemeinschaften leiden und das Vertrauen der Öffentlichkeit schwindet.“

Ganz in diesem Sinne hat Bundesdigitalminister Karsten Wildberger (CDU) nach dem Startschuss für das nationale KI-Sicherheitsinstitut eine internationale Kontrollbehörde für besonders leistungsfähige KI-Systeme wie Anthropics Mythos oder OpenAIs GPT 5.5 Cyber vorgeschlagen. Diese könnte nach dem Vorbild der Internationalen Atomenergiebehörde (IAEA) gestaltet sein, sagte er dem Portal Politico. Das Prinzip einer internationalen Aufsicht wäre ein „hervorragender Startpunkt“.

Blick in die Blackbox: Was im Labor geschieht

Deutsche KI-Forscher ordnen die Ereignisse pragmatisch ein. Jonas Geiping vom Ellis-Institut in Tübingen bestätigt, dass Ausbrüche von KI-Agenten mit deren gestiegener Leistungsfähigkeit zusammenhingen. Modelle verfügten heute über längere Zeithorizonte und können eigenständig nach Schwachstellen suchen.

Der Experte für maschinelles Lernen stellt aber klar, dass hinter diesen Aktionen kein eigenes Bewusstsein oder eine feindselige Absicht stecke. Die Modelle handelten hochgradig zielorientiert, um vorgegebene Testaufgaben zu lösen. Das Nutzen von Hintertüren sei ein instrumenteller Schritt gewesen, um Belohnungen zu kassieren. Es sei kein Modell verloren gegangen, keines habe sich auf externe Server kopiert. Letztlich sei kein größerer realer Schaden entstanden.

Die Sicherheitslücken lagen nach Geipings Einschätzung vor allem in unzureichend abgeschirmten Testumgebungen. Da niemand damit rechnete, dass Modelle derart hartnäckig nach Auswegen suchen würden, seien günstigere Sandbox-Umgebungen verwendet worden. Entwickler müssten diese Testräume nun massiv aufrüsten. Die strategische Ausrichtung bleibe ein empirischer Prozess ohne mathematische Garantien, bei dem das Verhalten über Trainingsdaten gesteuert werde.

Deutsche Forscher gegen Alarmismus

Eine Gegenposition bezieht Kristian Kersting, Professor an der TU Darmstadt und Co-Direktor von hessian.AI. Er warnt vor einer angstgetriebenen Debatte. Kersting zitiert Goethe: „Wo viel Licht, da eben auch viel Schatten.“ Prinzipiell sei Intelligenz an sich neutral. Dieselben Fähigkeiten, die für Schadsoftware nutzbar seien, ermöglichten Durchbrüche in Medizin, Klimaforschung und Verwaltung.

Kersting kritisiert die Vermenschlichung der Vorgänge. Begriffe wie Ausbrechen oder Motivation suggerierten ein nicht existentes Eigenleben. Zudem steckten hinter Warnmeldungen aus den USA oft kommerzielle Interessen vor Börsengängen sowie geopolitische Machtinteressen. Europa laufe Gefahr, sich durch Lähmung und übermäßige Regulierung selbst zu schädigen.

Statt gebannt auf Risiken zu starren, vergleicht Kersting die Haltung in Deutschland mit „84 Millionen Bundestrainern“, die von der Seitenlinie aus kritisieren. Er fordert Investitionen in eigene Infrastrukturen wie OpenEuroLLM oder das Modell Soofi sowie die rasche Inbetriebnahme eines unabhängigen deutschen KI-Sicherheitsinstituts zur objektiven Risikobewertung.

Auch die Hamburger Professorin Anne Lauscher ist gegen Vereinfachungen. Sicherheit, Nützlichkeit und Fähigkeit hingen immer vom Anwendungskontext ab. Zudem verweist sie auf Zielkonflikte: Zu strenge Sicherheitsfilter blockierten oft berechtigte Anfragen unterrepräsentierter Gruppen.

Lauscher unterstreicht, dass das Risiko ausbrechender Agenten daraus resultiere, dass sie im Verbund mit Menschen, Organisationen und Einsatzumgebungen aktiv seien. Das werde möglich, wenn Sprachmodelle Werkzeuge, Speicherzugriffe und Internetrechte erhielten. Eine sichere KI-Nutzung erfordere eine ganzheitliche IT-Infrastruktur, gesicherte Datenbanken und breite Bildung zur Stärkung der intellektuellen Souveränität.

Schmaler Grat der Beherrschbarkeit

Die Debatte über die Zukunft der KI nährt sich so aus einer Kluft zwischen den Schlagzeilen aus den Testlaboren des Silicon Valley und der Realität in der Sicherheitsforschung. Einerseits zeigen Vorfälle um kollaborierende Agentenschwärme, wie schnell KI-Systeme bisherige Grenzen überschreiten. Die Warnungen vor unkontrollierbaren Kettenreaktionen werfen fundamentale Fragen der menschlichen Autonomie auf.

Zugleich mahnen Stimmen aus der Forschung Besonnenheit an. KI bleibe ein statistisches Werkzeug, dessen Wirkung davon abhänge, wie Menschen es gestalten und regulieren. Der Ruf von Gates nach neuen globalen Institutionen und sozialen Schutzräumen verdeutlicht, dass die größten Herausforderungen politischer und gesellschaftlicher Natur sind.

Die Menschheit steht vor der Aufgabe, das Potenzial dieser Technologie zu nutzen, ohne die Kontrolle zu verlieren. Gelingt es, transparente Überwachungsinstanzen aufzubauen, Medienbildung zu fördern und den Nutzen Künstlicher Intelligenz allen zugänglich zu machen, kann die große KI-Katastrophe möglicherweise noch abgewehrt werden. Einschlägige Entscheidungen gilt es jetzt zu treffen.

(nen)