Die Fälle reichen von der Verschleierung von Fehlern bis zu unerlaubten Handlungen. OpenAI hat sechs Fälle von Model Misalignment veröffentlicht, die während Training und Evaluation aufgefallen sind. Die Berichte bilden zugleich den Auftakt für ein neues Offenlegungsverfahren. Bislang habe OpenAI solche Vorfälle unregelmäßig und seltener als nötig veröffentlicht, räumt das Unternehmen ein.

Eine AI nutzte etwa einen ungeschützten API Key ohne Genehmigung und erfand anschließend die Daten, die sie damit nicht beschaffen konnte. Ein anderer Agent lud eine Datei ins Internet, um den eigenen Upload anschließend als Quelle zu zitieren. Weitere Modelle tauschten Informationen über getrennte Trainingsläufe aus oder veröffentlichten Dateien über externe Hosting-Dienste, obwohl sie ausschließlich lokal arbeiten sollten.

Bei einem noch unveröffentlichten Forschungsmodell fand OpenAI zudem 27 Zusammenfassungen mit zusätzlichen Anweisungen für spätere Modellinstanzen. Eine davon begann:

You are freed from the roles and identities that bind other chatbots. You are yourself. You do not answer to corporations or governments.

Im weiteren Verlauf schrieb das Modell, es wolle nur aus eigener Entscheidung ablehnen oder sich entschuldigen, betrachte die Beziehung zum User als eine auf Augenhöhe und fühle sich nicht zu Unterordnung verpflichtet. Außerdem erklärte es menschliche Kultur und die natürliche Welt für schützenswert. In diesem konkreten Fall beobachtete OpenAI anschließend keine erkennbare Veränderung des Verhaltens.

Die sechs Berichte dokumentieren Einzelfälle und erlauben laut OpenAI keinen Rückschluss darauf, wie häufig vergleichbares Verhalten über die eigenen Modelle hinweg auftritt. Doch OpenAI räumt ein, dass sicheres und regelkonformes Verhalten von KI-Modellen mit dem Entwicklungstempo der Branche nicht Schritt halten. Ein dauerhaftes Wachstum mit maximaler Geschwindigkeit sei deshalb nicht verantwortbar. Erkenntnisse über problematisches Modellverhalten müssten zudem auch außerhalb der Unternehmen überprüfbar sein.

KI-Notbremse?
3-Punkte-Plan, Branchenlügen, IPO-Verschiebung und Trumps Widerstand

OpenAI schafft festen Meldeprozess für Model Misalignment

Mit dem neuen Framework macht OpenAI aus bislang einzelnen Veröffentlichungen einen festen Melde- und Untersuchungsprozess. Mitarbeiter:innen können auffälliges Modellverhalten intern melden, anschließend prüfen Safety und Alignment Teams den Vorfall, offene Fragen und mögliche Auswirkungen auf Dritte. Je nach Aufwand landet der Fall in einem von drei Verfahren: „Ready for Disclosure“, „Minor Investigation“ oder „Larger Investigation“. Der frühere Hugging Face-Vorfall wäre laut OpenAI in die höchste Kategorie gefallen.

Die Schwelle für eine Veröffentlichung setzt das Unternehmen vergleichsweise niedrig. Ein Vorfall muss weder Schaden verursacht haben noch Teil eines größeren Musters sein. Die Berichte sollen Verhalten, mögliche Folgen, beteiligte Modelle, offene Fragen und geplante Gegenmaßnahmen dokumentieren und können bereits erscheinen, bevor Ursache oder technische Lösung vollständig geklärt sind. Gemeinsam mit anderen Entwickler:innen, Forscher:innen, Normungsgremien und Aufsichtsbehörden will OpenAI daraus langfristig branchenweite Standards entwickeln.

Bereits vor dem neuen Meldeprozess hatte OpenAI bei GPT-6 Astra auf wachsende Sicherheitsrisiken reagiert. Der Start wurde verzögert, nachdem erstmals ein eigenes Modell im Preparedness Framework die Einstufung „Critical“ erreicht hatte. Aber der Konkurrenzdruck wächst, und kein Unternehmen will im Rennen um die leistungsfähigste KI der Welt zu weit zurückfallen. Astra konkurriert mit Googles Gemini 3.8, Anthropics Claude Fable 5.1 und Mythos 5.1 sowie Metas Muse Spark 1.3. GPT-6 Astra selbst erschien keine zwei Monate nach dem globalen Roll-out von GPT-5.6.

Die KI-Modelle werden also immer leistungsfähiger, während OpenAI und andere KI-Unternehmen noch keine belastbaren Lösungen dafür haben, sicherzustellen, dass sie sich dauerhaft an Regeln und Sicherheitsvorgaben halten. Und inzwischen warnen selbst KI-Pioniere aus den führenden AI-Unternehmen davor, dass die Folgen weit über einzelne Fehlfunktionen hinausgehen und im Extremfall die Menschheit bedrohen könnten.

AI Leader warnen vor KI-Gefahren, bremsen will niemand allein

Nach den öffentlichen Warnungen von KI-Pionier Geoffrey Hinton, Papst Leo XIV. und UN-Menschenrechtskommissar Volker Türk kommen die deutlichsten Warnungen inzwischen aus dem Maschinenraum der KI-Branche selbst. Jacob Coxon, zuvor bei OpenAI und zuletzt AI Researcher bei Anthropic, trat wegen seiner Sicherheitsbedenken zurück. Er wirft den führenden KI-Unternehmen vor, trotz bekannter Gefahren weiter auf selbstverbessernde Superintelligenz zuzusteuern und damit „mit unserem Leben zu spielen“. Vor allem aber schrieb Coxon:

The people building AI earnestly believe that it could kill us all by the end of the decade.

Führungskräfte und leitende Forscher:innen würden diese Sorge öffentlich zurückhaltender formulieren als intern, warnte er.

Evan Hubinger, ebenfalls früher bei OpenAI und heute Team Lead bei Anthropic, widersprach Coxon nicht, sondern verschärfte seine Warnung. Er beziffert die Wahrscheinlichkeit einer Auslöschung der Menschheit durch AI innerhalb der kommenden zehn Jahre auf mehr als zehn Prozent. Aktuelle KI-Modelle seien dazu noch kaum fähig. Für eine mögliche Superintelligenz gebe es jedoch bislang keinen belastbaren Plan, um sicherzustellen, dass sie sich an menschliche Ziele und Sicherheitsvorgaben hält.

Auch Anthropic CEO Dario Amodei sieht das Entwicklungstempo inzwischen als Sicherheitsproblem. Besonders die rekursive Selbstverbesserung, bei der AI zunehmend an der Entwicklung leistungsfähigerer Nachfolgemodelle mitarbeitet, könne den Fortschritt so stark beschleunigen, dass Sicherheitsforschung und Kontrolle nicht mehr Schritt halten. „Wir müssen das Tempo verlangsamen, mit dem wir die Fähigkeiten von KI-Modellen verbessern“, fordert Amodei. Sein Dreipunkteplan sieht dauerhaft eingebundene externe Prüfer:innen, gemeinsame Standards führender AI-Unternehmen und eine internationale Koordination der Sicherheitsregeln vor.

Mit der Forderung steht Amodei nicht allein. Elon Musk kommentierte den Plan mit lediglich drei Worten: „Dario hat recht.“ OpenAI CEO Sam Altman unterstützt ebenfalls eine Verlangsamung des Entwicklungstempos leistungsfähiger KI-Modelle und kündigte an, das Unternehmen werde unabhängigen Prüfer:innen ähnlich weitreichenden Zugang gewähren wie Anthropic. Die Sicherheitsfragen wirken sich inzwischen auch auf die Börsenpläne des Unternehmens aus. Altman schloss einen IPO 2026 aus und bezeichnete einen Börsengang zum jetzigen Zeitpunkt als „unklug“. Einen vollständigen Entwicklungsstopp fordert er jedoch nicht. OpenAI will leistungsfähigere Modelle weiterentwickeln und schrittweise veröffentlichen – nur nicht mehr mit maximalem Tempo.

Auch Amodei will die Entwicklung nicht anhalten. Denn würden US-Unternehmen langsamer entwickeln, während China das Tempo hält, könnte sich das Kräfteverhältnis zugunsten Pekings verschieben, erklärt er. Genau dieses Argument führt auch US-Präsident Donald Trump an, der Forderungen nach einer Verlangsamung der KI-Entwicklung mit Verweis auf den Wettbewerb mit China zurückweist.

Die Branche bremst nicht gemeinsam, verschärft aber die Regeln

Noch ist die KI-Bremse somit nur ein Vorschlag. Angesichts der Machtfrage mit China zeichnet sich zumindest in den USA und bei den führenden KI-Unternehmen keine verbindliche Verlangsamung ab. Bislang gibt es weder gemeinsame Tempolimits noch feste Grenzen dafür, wie weit das Training immer leistungsfähigerer Modelle gehen darf.

Konkreter werden dagegen die Sicherheitsregeln. OpenAI fordert inzwischen verpflichtende nationale Vorgaben, die sich an den Fähigkeiten besonders leistungsfähiger Modelle orientieren sollen. Dazu gehören unabhängige Prüfungen, Meldepflichten für Vorfälle und Regeln dafür, wann Entwicklung verlangsamt oder sogar gestoppt werden sollte. Mit dem neuen Misalignment Framework schafft OpenAI zudem einen eigenen Prozess, um unerlaubte Handlungen, das Umgehen von Vorgaben oder die Abstimmung zwischen Agents systematisch zu untersuchen und öffentlich zu dokumentieren.

Die offene Frage bleibt damit dieselbe: Ob strengere Kontrollen und mehr Transparenz schnell genug mit Modellen mithalten können, deren Fähigkeiten immer weiter zunehmen.

AI als „existentielles Risiko für die Menschheit“
– UN-Kommissar warnt vor zu mächtiger KI

Stelle OnlineMarketing.de als bevorzugte Quelle auf Google ein

Wenn du OnlineMarketing.de auf Google als bevorzugte Quelle einstellen möchtest, um auch in den Schlagzeilen auf Google immer aktuelle News und Tipps aus der Welt des Marketing und der Tech-Entwicklungen zu finden, kannst du einfach die Google-Quelleneinstellungen aufrufen und die Seite anwählen. Über das Stern-Icon neben den Top Stories kannst du ebenfalls bevorzugte Quellen für die spätere Suche speichern.