Noch ist es nur ein Plan, den der Anthropic-Chef Dario Amodei, einst Mitglied von OpenAI, der Branche präsentiert. Noch gibt es keine Verpflichtung zu einer konkreten Eindämmung des Entwicklungstempos von KI – weder in seinem Unternehmen noch bei OpenAI oder anderen Konkurrenzunternehmen. Doch die Rufe nach mehr Regulierung werden lauter. Sogar OpenAI hat jüngst Sicherheitsmaßnahmen auf nationalem Level für die KI-Entwicklung gefordert.

Solche öffentlichen Annäherungen an Vereinbarungen, die eine Art KI-Bremse bedeuten könnten, haben ihre Gründe. Zuletzt gab es sowohl bei Anthropic und OpenAI als auch bei anderen Konzernen wie Meta Einzelfälle von AI Hacks, die das Gefahrenpotential der neueren State-of-the-Art-KI-Modelle demonstrierten. Vor diesem hatten die Unternehmen im Rahmen der Vorstellung ihrer umfassenden Fähigkeiten bereits selbst gewarnt. Nun warnt Dario Amodei in einem Essay vor den aktuellen und kommenden Gefahren der KI. Besonders die enorme Entwicklung der KI-Fähigkeiten, die mit neuen Modellen wie Claude Fable 5.1 oder GPT-6 Astra schon offenbar wird, kann bei künftigen Modellen und einer weiterhin rasanten Entwicklung Risiken bergen, die mehr Probleme als Hacks hervorrufen. So schreibt Amodei:

My first concern is that, since roughly this summer, AI has been advancing drastically faster, driven primarily by AI’s growing ability to build the next generation of AI. This dynamic is called recursive self-improvement, and it is starting to happen across the industry, including at Anthropic, as we and others have described. Left unchecked, it could outrun our ability to understand and control these systems, and so must be pursued very carefully, if at all.

Er ruft zu einer Verlangsamung der Entwicklung auf, bietet einen Dreipunkteplan und hat bereits einige in der Branche bekannte Fürsprecher gefunden. Seine Aussagen gewinnen angesichts der Äußerungen von aktuellen und ehemaligen KI-Forschern von Anthropic an Gewicht, nach denen es sogar ein existentielles Risiko für die Menschheit gebe, wenn AI im aktuellen Tempo weiterentwickelt würde.

KI als Killer der Menschheit?

Anthropic Lead warnt nach jüngstem AI Hack

Was Dario Amodei für die KI-Branche vor hat: 3 Punkte im Plan und das große Aber

Gegenüber CBS erklärte Dario Amodei kurz nach der Veröffentlichung seines Essays, dass die KI-Branche lange Zeit darüber gelogen habe, dass es große Risiken bei der KI-Entwicklung gebe und wie gravierend diese Risiken sein könnten. Mit Jo Ling Kent diskutiert er in einem Interview die Entwicklung der KI. Letztlich ruft er die Kolleg:innen der Branche, darunter OpenAI CEO Sam Altman und SpaceXAI-Chef Elon Musk, dazu auf, gemeinsam an einer Lösung zu arbeiten, die die Verlangsamung der KI-Entwicklung vorsieht, dieser aber keinen Einhalt gebietet.

Das ist ganz im Sinne seiner Aussagen aus dem Essay, nach denen eine Verlangsamung der Entwicklung zwar einen Fokus auf die Risikoevaluation und operative Exzellenz erlaubt, allerdings kein unmittelbarer Wettbewerbsnachteil gegenüber anderen Nationen entsteht. Die USA müssten ihren „kommerziellen Vorteil“ wahren. Und so gehört zu Amodeis Dreipunkteplan nicht nur die Integration von externen Prüfstellen, die bei Anthropic, OpenAI und Co. die Sicherheitsmaßnahmen evaluieren, sondern auch eine Koordination von Sicherheitsstandards in demokratischen Ländern und weltweit.

Punkt eins, die Integration von Third-Party-Evaluationsunternehmen wie METR (Model Evaluation & Threat Research), soll die ohnehin von den Unternehmen angestoßenen Sicherheitsprüfungen auch auf externe Ebenen erweitern. Das könnte für mehr Vertrauen sorgen. Anthropic verschreibt sich laut Amodei uneingeschränkt diesem Schritt.

Punkt zwei sieht eine Koordination führender KI-Unternehmen in demokratisch regierten Staaten vor. Dabei brauchen die Unternehmen indes Unterstützung der Regierung(en).

Punkt drei wäre eine globale Koordination von Sicherheitsstandards, die die USA und andere demokratisch regierte Staaten anführen.

An diesem Punkt gerät Amodeis Vorhaben jedoch trotz der Zustimmung aus der Branche an seine Grenzen.

We Must Pace the Frontier: I’ve written a new essay on why the AI industry should slow down, with a three-part plan for doing so.

Anthropic is unilaterally committing to the first of these steps. We’ll provide third-party evaluators with permanent, employee-level access to our…

— Dario Amodei (@DarioAmodei) September 12, 2026

Kommerz und KI-Wettbewerb stoppen den Stopp

Amodeis „We Must Pace the Frontier“ hat sofort positive Reaktionen hervorgerufen. Nobelpreisträger und Google DeepMind-Mitgründer Demis Hassabis stimmt Amodei zu und sieht darin den „richtigen Weg“.

Dario’s essay points towards the right path forward. The details need working through, but the direction is correct for meeting this critical moment.

This is also why we recently put out our proposal for an industry-wide standards body for frontier AI. https://t.co/sESEDGELmj

— Demis Hassabis (@demishassabis) September 12, 2026

Sogar OpenAI CEO Sam Altman, der sich öffentlich schon des Öfteren mit Amodei auseinandergesetzt hat, stimmt diesem auf X ebenfalls zu. Auch OpenAI werde externe Prüfunternehmen zur KI-Sicherheit zulassen und sei in Diskussionen rund um eine neue Tempovorgabe zur KI-Entwicklung. Das Unternehmen möchte sogar den geplanten IPO auf 2027 verschieben. Der Börsengang käme sonst in einer ungünstigen Zeit, erklärte Altman im Interview mit Fortune.

I agree with Dario that we need to pace the frontier. This has been a primary topic of discussions we’ve had at OpenAI in recent weeks.

Committing to having independent evaluators with employee-like access is a great idea, and we will do the same. We’ll have more to share soon. https://t.co/1YhhIybZX7

— Sam Altman (@sama) September 12, 2026

Die Stimmen, die Dario Amodei zustimmen, teilen aber auch seine Bedenken. So schreibt Sam Altman in einem weiteren X Post, man dürfe die KI-Entwicklung nur drosseln, nicht stoppen. Zwar sollten KI-Risiken durch ein weniger rasantes Wachstum besser in Zaum gehalten werden. Man könne sich aber keine echte AI-Pause erlauben. Das würde der Konkurrenz, mit der in diesem Fall andere Staaten wie China gemeint sind, einen zu großen Wettbewerbsvorteil verschaffen. Das sieht Amodei in seinem Essay ähnlich und schlägt eine Einschränkung etwa der technischen Kooperation mit dem Staat sowie eine politische Annäherung für eine KI-Bremse vor:

[…] Global pacing will require cooperation with China, the autocratic country with by far the most advanced AI capabilities. We must not be naïve here: the geopolitical stakes are so high that there will likely be stark limits on what can be achieved, especially at first. If we greatly restrain our AI capabilities in the belief that China will do the same, and then China defects, AI could be so powerful that such a defection could lead to their geopolitical dominance […].

Das große Problem: Die US-Regierung hält nicht viel von einer KI-Bremse. Präsident Donald Trump erklärte gegenüber der Financial Times, die USA führe im KI-Wettbewerb mit China. Eine Verlangsamung der Entwicklung könne das ändern. Er lehnt sie daher ab. Der Sprecher des Weißen Hauses, Mike Johnson, sieht die Verantwortung nicht bei der Regierung, sondern bei den Plattformen. Deren Führungsetagen sollten sich jedoch mit der Regierung treffen, um neue Lösungen zu diskutieren. Auch Johnson befürchtet aber, China könne die USA überholen, wenn man zu stark in die KI-Entwicklung eingreife. Dafür sei der Kongress ohnehin nicht zuständig, meint er.

Diverse KI-Konzerne haben unterdessen an den Börsen in verschiedenen Regionen große Kurseinbrüche erlebt, die eine Reaktion auf die Diskussion um die Verlangsamung der Entwicklung sind. Zum Beispiel fiel die SoftBank-Aktie in Japan zeitweise um zehn Prozent; SoftBank investiert massiv in OpenAI.

Zwischen zu viel Macht und zu viel Risiko

Die großen Vorteile der KI können nur langfristig ihre Wirkung entfalten, wenn die KI-Unternehmen hinter der Entwicklung den richtigen Weg bei der Arbeit an der KI einschlagen, meint Dario Amodei. Sein Gegenüber Sam Altman schreibt auf X, dass der KI-Fortschritt auch zwei falsche Wege einschlagen könnte. Einer davon sieht vor, dass zu viel KI-Macht bei einer Person, einem Unternehmen oder einem Staat konzentriert ist. Das sei „dystopisch“, so Altman. Davor warnte kürzlich auch der UN-Menschenrechtskommissar Volker Türk und nahm dabei nicht zuletzt die aktuellen AI Leader in die Pflicht:

A handful of men has almost unlimited power over AI, which we are repeatedly told has unimaginable computing capacity. They talk about freedom, but on closer inspection, this turns out to be little more than the freedom to exploit our data.

Der andere Weg, den Altman skizziert, sieht einen Kontrollverlust über die KI vor. Die Angst vor diesem hat die Warnungen vieler KI-Forscher:innen befeuert. Gerade dieser Weg sei nicht zu akzeptieren, meint Altman.

There are two ways AI progress could go very badly and that we must avoid.

First, we could lose control of the future to AI. This is unacceptable; we are unapologetically on Team Humanity, and AI must always serve people. To ensure that, we need ways to ensure that alignment and… https://t.co/GK7XcoOh3v

— Sam Altman (@sama) September 14, 2026

Und Dario Amodei sieht es ebenso, wenn er sein Essay schließt:

[…] The measures I propose to advance the frontier at a safe pace will not be easy. But I believe we owe it to humanity to try.

Nur sind diese Versuche bislang nichts weiter als das: Versuche, auf einen gemeinsamen Nenner zu kommen, der kommerziellen Erfolg, wissenschaftliche KI-Fortschritte, eine geopolitische Balance und die Sicherheit aller User in einer Lösung vereint. Dabei gibt es aber so viele Variablen – man denke nur an Trumps öffentliche Weigerung zur KI-Bremse –, dass es womöglich beim Versuch einer Lösungsfindung bleiben muss, bei der fortwährenden Diskussion, während die Risiken größer werden. Es gibt so viele Variablen und facettenreiche Sicherheitsbedenken, dass wohl selbst eine hochleistungsfähige KI dafür keine One-fits-all-Lösung generieren könnte. Und könnte sie es, gäbe es wohl ein neues Problem.

---

AI als „existentielles Risiko für die Menschheit“

– UN-Kommissar warnt vor zu mächtiger KI

---

Stelle OnlineMarketing.de als bevorzugte Quelle auf Google ein

Wenn du OnlineMarketing.de auf Google als bevorzugte Quelle einstellen möchtest, um auch in den Schlagzeilen auf Google immer aktuelle News und Tipps aus der Welt des Marketing und der Tech-Entwicklungen zu finden, kannst du einfach die Google-Quelleneinstellungen aufrufen und die Seite anwählen. Über das Stern-Icon neben den Top Stories kannst du ebenfalls bevorzugte Quellen für die spätere Suche speichern.