Nachdem sich führende KI-Unternehmen aus den USA am Wochenende dafür ausgesprochen haben, das Entwicklungstempo bei besonders leistungsfähigen KI-Modellen zu drosseln, haben die ersten Börsen in Asien mit Kursverlusten reagiert. Gleichzeitig gibt es aus der Wissenschaft Zustimmung für das Ansinnen – und Kritik von US-Präsident Donald Trump. Derweil ist weiterhin vollkommen unklar, ob dem Plädoyer konkrete Maßnahmen folgen. Anthropic-Chef Dario Amodei hatte zuvor eine koordinierte Pause vorgeschlagen, die der Branche ein bis zwei Jahre Zeit verschaffen soll, um Sicherheitsrisiken besser zu verstehen und einzudämmen. Binnen Stunden bekam er dafür Zuspruch von Rivalen wie OpenAI-Chef Sam Altman und Tech-Milliardär Elon Musk.

Ganz unterschiedliche Reaktionen

Am Montag reagierten Aktien von Unternehmen mit Bezug zur KI-Industrie mit teils deutlichen Verlusten, berichtet die Nachrichtenagentur Reuters. So ging es für den OpenAI-Investor SoftBank um zwischenzeitlich mehr als 13 Prozent nach unten, der Kurs des Speicherherstellers Kioxia sackte vorübergehend um fast 10 Prozent ab. SK Hynix, Samsung und andere Konzerne verloren jeweils mehrere Prozent. Vor dem Verkaufsdruck war als Reaktion auf die Kommentare vom Wochenende von mindestens einem einflussreichen Analysten gewarnt worden, schreibt die Nachrichtenagentur noch. Sie verweist aber auch darauf, dass auch Entwicklungen im Nahen Osten die Kurse drücken dürften. Dort gibt es Sorgen um die nächste wichtige Handelsroute im Roten Meer.

Vorher hatte US-Präsident Donald Trump die Sorgen aus der Branche heruntergespielt. Die USA seien China bei KI weit voraus und führend in der Welt, weil der Erfolg bei KI essenziell für die Zukunft sei, sagte Trump laut der Nachrichtenagentur dpa am Rande seines Besuchs in Irland. Man könne die Technologie mit Leitplanken versehen. Zugleich sprach Trump von „negativen Kräften“, die sich zu dem Thema äußerten. Trumps Wirtschaftsberater Kevin Hassett nannte KI-Sicherheit demnach ein „lösbares Problem“ – bewertete die Vorschläge von Amodei aber positiv. Sie seien „ein guter Schritt vorwärts“, sagte er beim Sender Fox News. Die oppositionellen Demokraten rief Ex-Präsident Barack Obama auf, politische Strategien zu entwickeln, um diesem Thema Priorität einzuräumen.

KI-Forscher aus Deutschland haben den Vorstoß von Amodei gegenüber dem Science Media Center begrüßt. „Besonders die Konstruktion von unabhängigen Kontrollinstanzen und externen Prüfstellen finde ich sinnvoll“, meint Jonas Geiping vom Max-Planck-Institut für Intelligente Systeme. „Die Richtung stimmt“, aber an der Umsetzung habe er Zweifel, ergänzt Thilo Hagendorff von der Universität Stuttgart.

Immerhin knüpfe Amodei sein Konzept an die Bedingung, dass die USA ihren Vorsprung vor China ausbauen: „Ein nationales KI-Wettrüsten und eine koordinierte Verlangsamung passen aber schlecht zusammen.“ Zudem gebe es viel zu wenig KI-Sicherheitsforschung. Kritik übt Philipp Hennig von der Eberhard Karls Universität Tübingen an der Geheimniskrämerei: „Wenn Amodei […] wirklich Sorgen um die Sicherheit des Internets, der globalen Wirtschaft oder gar des Menschheitsüberlebens hat, dann stehen ihm konkretere Optionen offen als die nebulöse Bitte um ‚demokratische und globale Koordination‘“, meint er.

Die Behauptung, dass es eine zehnprozentige Wahrscheinlichkeit gebe, dass KI die Menschheit auslöschen könnte, sehen die Forscher skeptisch. Geiping rät aber dazu, überzeugte Aussagen dazu aus beiden Richtungen mit Vorsicht zu genießen. Damit meint er Einschätzungen, dass es sich um pure Marketingtaktik der Firmen handelt und die Gefahr bei null Prozent liege, aber auch solche, die besagen, dass leistungsfähige KI zwangsläufig zur Apokalypse führt. Hagendorff ergänzt, dass die Prozentzahl scheinpräzise sei. Es gebe kein Verfahren, diese Wahrscheinlichkeit zu ermitteln, „die Zahl klingt nach Messung, ist aber ein spekulatives Bauchgefühl“. Sie war von dem Anthropic-Forscher Evan Hubinger in die Welt gesetzt worden.

(mho)

Nach mehreren aufsehenerregenden Hacking-Vorfällen mit KI-Systemen sprechen sich die führenden US-KI-Unternehmen dafür aus, das Entwicklungstempo besonders leistungsfähiger Modelle zu drosseln. Anthropic-Chef Dario Amodei etwa schlug eine koordinierte Pause vor, die der Branche ein bis zwei Jahre Zeit verschaffen soll, um Sicherheitsrisiken besser zu verstehen und einzudämmen. Binnen weniger Stunden bekam er dafür Zuspruch von Rivalen wie OpenAI-Chef Sam Altman und Tech-Milliardär Elon Musk, der mit seinem KI-Unternehmen xAI und dem Chatbot Grok zu den Konkurrenten zählt.

Amodei warnte konkret, dass KI-Agenten bereits innerhalb von sechs bis zwölf Monaten in der Lage sein könnten, große Teile der Internet-Infrastruktur anzugreifen und Schäden in dreistelliger Milliardenhöhe zu verursachen. Neben der von ihm angeregten, branchenweiten Pause der KI-Entwicklung kündigte Amodei auch konkrete Schritte bei Anthropic an. So will man in einem ersten Schritt dauerhaft unabhängige Beobachter ins Unternehmen lassen, die schon in der Trainingsphase die Sicherheit von KI-Modellen begutachten sollen.

OpenAI-Mann Altman nannte das eine gute Idee und kündigte an, dass OpenAI das ebenso machen werde. Tech-Milliardär Elon Musk, lange ein Kritiker Amodeis, schrieb auf X: „Dario hat recht.“

Kein OpenAI-Börsengang in diesem Jahr mehr

Die aktuelle Sicherheitsdebatte hat dabei offenbar bereits auch Folgen für die strategischen Entscheidungen der Unternehmen. Sam Altman sagte etwa dem Magazin „Fortune“, dass der mit Spannung erwartete Börsengang von OpenAI in diesem Jahr wohl nicht mehr stattfinden werde. Auch im Hinblick auf die aktuellen Entwicklungen sagte er: „Man wäre schlecht beraten, genau jetzt an die Börse zu gehen.“ Als offene Aufgaben nannte Altman insbesondere die „Sicherheit und Ausrichtung“ der Modelle.

Bei der jüngst bekannt gewordenen aufsehenerregenden Hacking-Attacke war Software von OpenAI in einem Testlauf eigenständig aus einer abgesicherten Umgebung ausgebrochen und drang auf eigene Faust in Systeme der KI-Firma HuggingFace ein. Für die Attacke nutzten die KI-Agenten unter anderem Sicherheitsschwachstellen aus und tauschten Informationen über einen selbst aufgebauten Kommunikationskanal aus. Zeitweise arbeiteten nach Angaben der beteiligten Unternehmen Hunderte Agenten koordiniert zusammen und teilten sich Aufgaben bei der Suche nach Schwachstellen und Zugangsdaten auf.

Warnung von „katastrophalem Schaden“

Für Anthropic-Chef Amodei zeigt der Vorfall, welches Schadenspotenzial solche Systeme im Schwarm künftig entwickeln könnten. Als besonders riskant stuft er die Fähigkeit der Software ein, sich selbst weiterzuentwickeln. Seit diesem Sommer sei Künstliche Intelligenz besser darin – und dies erhöhe das Tempo weiter. Er warnte davor, dass Menschen die Systeme künftig nicht mehr verstehen und damit die Kontrolle über sie verlieren könnten.

Amodei hatte schon in den vergangenen Jahren immer wieder vor Risiken bei der Entwicklung Künstlicher Intelligenz gewarnt – und war dafür aus Teilen der KI-Branche teils heftig kritisiert worden. Befürworter eines hohen Entwicklungstempos verweisen dabei auf den Wettbewerb mit China. Dieses Argument vertritt das Weiße Haus beziehungsweise Präsident Donald Trump.

Anthropic entwickelte zuletzt das KI-Modell Mythos, das besonders gut darin ist, bislang unentdeckte Software-Schwachstellen aufzuspüren. Die vollständige Version stellt das Unternehmen nur ausgewählten Behörden und Unternehmen zur Verfügung, damit diese ihre Computersysteme absichern können.

Drastische Warnung

Zusätzlichen Schub erhielt die Debatte durch den Rücktritt des Anthropic-Forschers Jacob Coxon, der zuvor für OpenAI gearbeitet hatte. Er warf beiden Unternehmen vor, bei der Entwicklung leistungsfähiger KI nicht verantwortungsvoll zu handeln. Allerdings differenzierte er dabei auch: OpenAI habe die Tragweite der Risiken womöglich nicht erkannt, während Anthropic sich der Gefahren bewusst sei.

Das Unternehmen sehe sich jedoch zu einem Wettlauf gezwungen, weil es seinen Konkurrenten nicht zutraue, verantwortungsvoll zu handeln. Die großen KI-Entwickler „spielen mit unseren Leben“, schrieb Coxon auf X.

Unterstützung erhielt Coxon wenig später von seinem Anthropic-Kollegen Evan Hubinger, der daran arbeitet, KI-Systeme an menschlichen Interessen auszurichten. Er teile Coxons Sorgen und schätze die Wahrscheinlichkeit, dass KI im kommenden Jahrzehnt die Menschheit auslöschen könnte, auf mehr als zehn Prozent, schrieb Hubinger auf X.

(ssi)

Es war einmal ein Bär und ein Hobbygärtner in seinem Altenteil.
Beide waren einsam gar und wurden Freunde fortan.
Nun lebte der Bär im Gärtlein und verdingte sich hier und dort.
Eines Tages schlief der Gärtner friedlich vor sich hin.
Es begab sich, dass eine Fliege dem Freund in die Nase kroch.
Versucht zu verscheuchen das lästige Insekt der Bär.
Nimmt einen Pflasterstein der Bär und wirft ihn voller Kraft.
Seinen Freund dabei voller Wucht mit erschlagen hat.

Zum Einstieg in die heutige Degitalisierung soll uns eine leicht poetische Kurzfassung der Fabel „Der Bär und der Gartenfreund“ von Jean de La Fontaine dienen. Die Fabel ist der Ursprung des Sprichworts „jemandem einen Bärendienst erweisen“. Es beschreibt den Versuch, in vermeintlich guter Absicht durch eigenes Handeln eine Situation letztlich noch wesentlich schlimmer zu machen.

In den vergangenen Wochen sind immer wieder Situationen aufgetreten, in denen speziell der Informationssicherheit der sprichwörtliche Bärendienst erwiesen wurde. Es scheint geradezu, als wäre eine ganze Herde von Bären unterwegs gewesen, dabei sind Bären doch eher Einzelgänger, auch die besonders berüchtigten Problembären. Ein Versuch, die Bärendienste der letzten Wochen zusammenzufassen.

Das Bärlein

Trotz phonetischer Ähnlichkeit ist der Name der Stadt Berlin nicht direkt mit Bären verwandt. Berlin kommt eher aus einem Sumpf, von der Wortherkunft her. Abgesehen davon ist der Bär das Berliner Wappentier und angesichts aktueller Ereignisse führt uns das zu einem ersten Anschauungsbeispiel für Bärendienste.

Nun ist der Cyberangriff mit anschließendem Leak von etwa einer Million Daten aus zwei Berliner Senatsverwaltungen ein Thema, das in seinen tieferen Ursachen nicht so ganz einfach zu erklären ist, zumal die Situation geradezu von einer gewissen Berlinigkeit strotzt.

Was ist eigentlich passiert? Ein Angreifer bewegt sich mindestens seit Anfang August in den Netzen zweier Senatsverwaltungen in Berlin und zieht munter Daten ab. Mitte August etwa wird der Angriff schließlich bemerkt. Dabei stellt sich heraus, dass dieser wohl schon etwas länger andauerte.

Die betroffenen Senatsverwaltungen sind wegen des Angriffs erst mal kurzzeitig nicht handlungsfähig, weil sie vom Landesnetz getrennt werden. Die Auszahlung des Wohngeldes für etwa 50.000 berechtigte Haushalte ist nicht im normalen Zeitraum möglich. Nach ein paar Tagen gehen die betroffenen Behörden wieder ans Netz. Ein sehr großes Netz, von dessen Größe man selbst überrascht war, wie Interims-CDO Hauer dann feststellen musste. Zwischendrin versucht die Senatsverwaltung zu beschwichtigen, es seien bei einem „sehr professionellen Angriff“ nur ohnehin öffentlich einsehbare Daten abgeflossen. Keine Bange, alles unter Kontrolle.

Auftritt des Problembären

Kurz darauf folgt dann der Kontrollverlust. Ein erstes Eingeständnis, dass vielleicht doch mehr Daten abgeflossen sein könnten. Im Darknet taucht bei Rhysida, einer international aktiven Ransomware-Gruppe, die eher finanziell motiviert ist und deren Herkunft nicht vollständig geklärt werden kann, ein dezenter Hinweis auf. Dieser besagt, dass die Daten aus Berlin gegen Zahlung von 30 Bitcoin „exklusiv erworben“ werden können, bevor diese veröffentlicht werden. Gefunden hatte das zuerst der Spiegel [€].

In der Folge verhält sich das Land Berlin zumindest in Hinblick auf die Lösegeldforderung konsequent richtig: Es will sich nicht erpressen lassen. In Folge kommt es am Freitag, den 4. September, zur Veröffentlichung aller Daten im Darknet.

Die Hackergruppe ist etwas schlampig beim Upload der Daten und ein drittes Datenpaket taucht erst in der Nacht vom 5. auf den 6. September auf. Mit Veröffentlichung aller Daten im Darknet beginnt jetzt eine mühsame Spurensuche, welche Daten eigentlich genau abgeflossen sind. Diese mühsame Spurensuche kann noch Wochen andauern. Obwohl das genaue Ausmaß des Datenabflusses noch nicht ganz klar ist, wird bereits wieder Entwarnung gegeben: Es seien keine militärischen Daten abgeflossen und nur Daten der niedrigsten Geheimhaltungsstufe. Derweil unterstützen bereits diverse Bundesbehörden bei der Aufarbeitung.

Jahrelange Bärendienste

Inmitten dieser Berlinigkeit haben sich ganz, ganz viele Bärendienste eingeschlichen. Sei es bei der vorschnellen Kommunikation, dass das alles ja nicht so gefährlich sei, die dann bereits mehrfach zurückgenommen werden musste. Sei es bei der Auswahl des Dienstleisters, der bei der digitalen Forensik unterstützen soll und selbst eine weitere Gefahr für die digitale Souveränität darstellen kann.

Durchaus interessant bei der Aufarbeitung kann da insbesondere die Sitzung des Ausschusses für Digitalisierung und Datenschutz vom 7. September sein.

Vonseiten des Senats wird da natürlich beteuert, nichts falsch gemacht zu haben. Der Mitarbeiter, der auf den Link in der Phishing-Mail geklickt hat, sei eben ein Teil der Sicherheitsarchitektur, auf den man angewiesen sei. Eine Aussage, die einen Bärendienst an allen Mitarbeitenden der Verwaltung darstellt. Nein, Mitarbeitende, die auf eine ausgefuchste Phishing-Kampagne mit einer über mehrere Ebenen laufenden Angriffskette wie TerminalFix hereinfallen, als Schuldige hinzustellen, erschlägt jegliches Engagement für die Digitalisierung der Verwaltung. Einem Menschen ist nicht das Fehlen von eigentlich selbstverständlicher Sicherheitsplanken anzulasten.

In Berlin sind über die Jahre Investitionen in Informationssicherheit verschleppt worden. Lücken wurden ignoriert und über Jahrzehnte ist ein Zoo an nicht mehr zeitgemäß zu handhabenden Anwendungen entstanden, die allesamt das Informationssicherheitsniveau derart gesenkt haben, dass ein derart großer Schaden wie der jetzige überhaupt erst eintreten konnte.

Kürzungen an den Mitteln für Informationssicherheit? Im Haushalt 2025 jüngst. Waren Mängel bekannt? Ja klar, besonders schwerwiegende Mängel etwa im Kontext der Justizverwaltung, wie der Rechnungshof im Jahresbericht 2024 feststellte. Sicherheit von Fachverfahren, also den spezialisierten Anwendungen, die einen Großteil der Verwaltungsvorgänge beherbergen? „Sie wissen selbst, wie alt manche Fachverfahren sind“, war in der Sitzung des Abgeordnetenhauses zu hören. Bei 21 Fachverfahren im Kontext Berlin lassen sich inzwischen kompromittierte Passwörter gar nicht ändern, weil diese fest im Quelltext hinterlegt sind.

Alles jeweils Bärendienste im Sinne der Informationssicherheit. Sei es aus Knausrigkeit, Unkenntnis, fehlender Priorisierung oder „haben wir schon immer so gemacht“. Dazu kommt eine chronische Unterfinanzierung des Berliner Kommunaldienstleisters ITDZ, der zwar nicht für die Überwachung der betroffenen Senatsverwaltungen zuständig war, aber dennoch die auffälligen Netzwerkverbindungen bei der Exfiltration der Daten gemerkt und gemeldet hat – im Verwaltungssinne quasi fast schon illegalerweise ohne direkte Zuständigkeit. Dazu kommt eine „vollständig zerstörte Kommunikation“ zwischen dem ITDZ und der Senatsverwaltung seit Mitte des Jahres [€].

Bei all diesem Wirrwarr in Berlin ist gar nicht mehr so klar trennbar, wer hier wem welchen Dienst erweist, aber in Summe handelt es sich um eine jahrelang anhaltende Kette an Bärendiensten im Sinne der Informationssicherheit. Tragen müssen die Konsequenzen des Leaks in Berlin viele Menschen, Behörden und Organisationen auch außerhalb Berlins über die nächsten Jahre hinweg.

Hoffnung verbreitet in dieser Berlinigkeit ausgerechnet Falk Steiner in einem Kommentar, der noch Schlimmeres befürchtete:

Auf der Habenseite der Berlin-Rhysida-Debatte steht lediglich, dass angesichts der geplanten Reform des Nachrichtendienstrechts noch niemand einen „Hackback“ des Bundesnachrichtendienstes auf Rhysida-Infrastruktur gefordert hat – selbst wenn die Novelle des Bundesnachrichtendienstgesetzes genau das im Prinzip ermöglichen könnte. Mitunter ist es dann eben schon ein Fortschritt, wenn nicht die allerabsurdesten Ideen ventiliert werden.

Bärenfallen

Eigentlich sollte es in dieser Kolumne um diesen anderen Bärendienst gehen. Die Novelle des Bundesnachrichtendienstgesetzes. Den Versuch, Sicherheitslücken für deutsche Geheimdienste „in Wert bringen zu wollen“. Den politischen Versuch, Sicherheitslücken, die an das Bundesamt für Sicherheit in der Informationstechnik (BSI) gemeldet werden, auch an Geheimdienste auszuleiten. Sicherheitslücken, welche inzwischen auch im Kontext des Cyber Resilience Act von Herstellern von Produkten mit digitalen Elementen an das BSI als Zentralstelle gemeldet werden müssen.

Aber das scheint erst mal abgewendet: Nein, jetzt wieder doch keine Ausleitung an Nachrichtendienste. Versprochen. Oder?

Als die Themensetzung für diese Kolumne stattfand, waren in zwei Berliner Senatsverwaltungen Angreifer so tief im System, dass sie in aller Ruhe über Tage mehrere Terabyte an Daten ausleiten konnten. Daten fast aller Vertraulichkeitsarten, Daten von Bürger*innen, Unternehmen, kritischen Infrastrukturen, der Wasserversorgung in Berlin, Informationen über geplanten polizeilichen Objektschutz, kopierte MP3s auf Verwaltungsverzeichnissen und so weiter.

Das Bild der Informationssicherheit in Deutschland ist grotesk. Auf der einen Seite werden immer mehr politische Befugnisse zur Überwachung, aber auch für offensive Cyberangriffe ersonnen, zumindest in den Entwürfen von Referaten in Ministerien. Dies könne die Grundlage für die Auftragserfüllung darstellen, so hieß es da zu Beginn. Das zeugt von einem veralteten und grotesk verzerrten Bild von Informationssicherheit, bei dem sich Sicherheitslücken nur von den „Guten“ nutzen lassen und professionelle Cyberkriminelle durch Strafandrohung abgeschreckt werden.

Auf der anderen Seite öffentliche Einrichtungen, die ein adäquates Informationssicherheitsniveau kaum alleine halten können. Die Senatsverwaltungen in Berlin sind kein Einzelfall, sie sind nur der Teil der Verwaltung, der gerade im Fokus steht. Der Cyberangriff auf Anhalt-Bitterfeld war 2021, Südwestfalen 2023. Berlin, 2026. In der Folge wird der nächste größere Vorfall kommen – wann genau, ist ungewiss.

Um es grotesk zu halten, schließt diese Kolumne mit einem Zitat von Sinan Selen, Präsident des Bundesamts für Verfassungsschutz, der den Auftrag in Hinblick auf den Schutz der Gesellschaft zumindest klar umreißt:

Der Auftrag ist ein eindeutiger: Schutz der Wirtschaft und der Gesellschaft. Und das wird nicht gelingen, wenn wir vorne so tun, als hätten wir die Hauseingangstür gesichert, und hinten dann bewusst die Terrassentür offenlassen.

Hoffen wir mal, dass sie in Berlin auch alle Terrassentüren schon gefunden haben.