Nach mehreren aufsehenerregenden Hacking-Vorfällen mit KI-Systemen sprechen sich die führenden US-KI-Unternehmen dafür aus, das Entwicklungstempo besonders leistungsfähiger Modelle zu drosseln. Anthropic-Chef Dario Amodei etwa schlug eine koordinierte Pause vor, die der Branche ein bis zwei Jahre Zeit verschaffen soll, um Sicherheitsrisiken besser zu verstehen und einzudämmen. Binnen weniger Stunden bekam er dafür Zuspruch von Rivalen wie OpenAI-Chef Sam Altman und Tech-Milliardär Elon Musk, der mit seinem KI-Unternehmen xAI und dem Chatbot Grok zu den Konkurrenten zählt.

Amodei warnte konkret, dass KI-Agenten bereits innerhalb von sechs bis zwölf Monaten in der Lage sein könnten, große Teile der Internet-Infrastruktur anzugreifen und Schäden in dreistelliger Milliardenhöhe zu verursachen. Neben der von ihm angeregten, branchenweiten Pause der KI-Entwicklung kündigte Amodei auch konkrete Schritte bei Anthropic an. So will man in einem ersten Schritt dauerhaft unabhängige Beobachter ins Unternehmen lassen, die schon in der Trainingsphase die Sicherheit von KI-Modellen begutachten sollen.

OpenAI-Mann Altman nannte das eine gute Idee und kündigte an, dass OpenAI das ebenso machen werde. Tech-Milliardär Elon Musk, lange ein Kritiker Amodeis, schrieb auf X: „Dario hat recht.“

Kein OpenAI-Börsengang in diesem Jahr mehr

Die aktuelle Sicherheitsdebatte hat dabei offenbar bereits auch Folgen für die strategischen Entscheidungen der Unternehmen. Sam Altman sagte etwa dem Magazin „Fortune“, dass der mit Spannung erwartete Börsengang von OpenAI in diesem Jahr wohl nicht mehr stattfinden werde. Auch im Hinblick auf die aktuellen Entwicklungen sagte er: „Man wäre schlecht beraten, genau jetzt an die Börse zu gehen.“ Als offene Aufgaben nannte Altman insbesondere die „Sicherheit und Ausrichtung“ der Modelle.

Bei der jüngst bekannt gewordenen aufsehenerregenden Hacking-Attacke war Software von OpenAI in einem Testlauf eigenständig aus einer abgesicherten Umgebung ausgebrochen und drang auf eigene Faust in Systeme der KI-Firma HuggingFace ein. Für die Attacke nutzten die KI-Agenten unter anderem Sicherheitsschwachstellen aus und tauschten Informationen über einen selbst aufgebauten Kommunikationskanal aus. Zeitweise arbeiteten nach Angaben der beteiligten Unternehmen Hunderte Agenten koordiniert zusammen und teilten sich Aufgaben bei der Suche nach Schwachstellen und Zugangsdaten auf.

Warnung von „katastrophalem Schaden“

Für Anthropic-Chef Amodei zeigt der Vorfall, welches Schadenspotenzial solche Systeme im Schwarm künftig entwickeln könnten. Als besonders riskant stuft er die Fähigkeit der Software ein, sich selbst weiterzuentwickeln. Seit diesem Sommer sei Künstliche Intelligenz besser darin – und dies erhöhe das Tempo weiter. Er warnte davor, dass Menschen die Systeme künftig nicht mehr verstehen und damit die Kontrolle über sie verlieren könnten.

Amodei hatte schon in den vergangenen Jahren immer wieder vor Risiken bei der Entwicklung Künstlicher Intelligenz gewarnt – und war dafür aus Teilen der KI-Branche teils heftig kritisiert worden. Befürworter eines hohen Entwicklungstempos verweisen dabei auf den Wettbewerb mit China. Dieses Argument vertritt das Weiße Haus beziehungsweise Präsident Donald Trump.

Anthropic entwickelte zuletzt das KI-Modell Mythos, das besonders gut darin ist, bislang unentdeckte Software-Schwachstellen aufzuspüren. Die vollständige Version stellt das Unternehmen nur ausgewählten Behörden und Unternehmen zur Verfügung, damit diese ihre Computersysteme absichern können.

Drastische Warnung

Zusätzlichen Schub erhielt die Debatte durch den Rücktritt des Anthropic-Forschers Jacob Coxon, der zuvor für OpenAI gearbeitet hatte. Er warf beiden Unternehmen vor, bei der Entwicklung leistungsfähiger KI nicht verantwortungsvoll zu handeln. Allerdings differenzierte er dabei auch: OpenAI habe die Tragweite der Risiken womöglich nicht erkannt, während Anthropic sich der Gefahren bewusst sei.

Das Unternehmen sehe sich jedoch zu einem Wettlauf gezwungen, weil es seinen Konkurrenten nicht zutraue, verantwortungsvoll zu handeln. Die großen KI-Entwickler „spielen mit unseren Leben“, schrieb Coxon auf X.

Unterstützung erhielt Coxon wenig später von seinem Anthropic-Kollegen Evan Hubinger, der daran arbeitet, KI-Systeme an menschlichen Interessen auszurichten. Er teile Coxons Sorgen und schätze die Wahrscheinlichkeit, dass KI im kommenden Jahrzehnt die Menschheit auslöschen könnte, auf mehr als zehn Prozent, schrieb Hubinger auf X.

(ssi)

Es war einmal ein Bär und ein Hobbygärtner in seinem Altenteil.
Beide waren einsam gar und wurden Freunde fortan.
Nun lebte der Bär im Gärtlein und verdingte sich hier und dort.
Eines Tages schlief der Gärtner friedlich vor sich hin.
Es begab sich, dass eine Fliege dem Freund in die Nase kroch.
Versucht zu verscheuchen das lästige Insekt der Bär.
Nimmt einen Pflasterstein der Bär und wirft ihn voller Kraft.
Seinen Freund dabei voller Wucht mit erschlagen hat.

Zum Einstieg in die heutige Degitalisierung soll uns eine leicht poetische Kurzfassung der Fabel „Der Bär und der Gartenfreund“ von Jean de La Fontaine dienen. Die Fabel ist der Ursprung des Sprichworts „jemandem einen Bärendienst erweisen“. Es beschreibt den Versuch, in vermeintlich guter Absicht durch eigenes Handeln eine Situation letztlich noch wesentlich schlimmer zu machen.

In den vergangenen Wochen sind immer wieder Situationen aufgetreten, in denen speziell der Informationssicherheit der sprichwörtliche Bärendienst erwiesen wurde. Es scheint geradezu, als wäre eine ganze Herde von Bären unterwegs gewesen, dabei sind Bären doch eher Einzelgänger, auch die besonders berüchtigten Problembären. Ein Versuch, die Bärendienste der letzten Wochen zusammenzufassen.

Das Bärlein

Trotz phonetischer Ähnlichkeit ist der Name der Stadt Berlin nicht direkt mit Bären verwandt. Berlin kommt eher aus einem Sumpf, von der Wortherkunft her. Abgesehen davon ist der Bär das Berliner Wappentier und angesichts aktueller Ereignisse führt uns das zu einem ersten Anschauungsbeispiel für Bärendienste.

Nun ist der Cyberangriff mit anschließendem Leak von etwa einer Million Daten aus zwei Berliner Senatsverwaltungen ein Thema, das in seinen tieferen Ursachen nicht so ganz einfach zu erklären ist, zumal die Situation geradezu von einer gewissen Berlinigkeit strotzt.

Was ist eigentlich passiert? Ein Angreifer bewegt sich mindestens seit Anfang August in den Netzen zweier Senatsverwaltungen in Berlin und zieht munter Daten ab. Mitte August etwa wird der Angriff schließlich bemerkt. Dabei stellt sich heraus, dass dieser wohl schon etwas länger andauerte.

Die betroffenen Senatsverwaltungen sind wegen des Angriffs erst mal kurzzeitig nicht handlungsfähig, weil sie vom Landesnetz getrennt werden. Die Auszahlung des Wohngeldes für etwa 50.000 berechtigte Haushalte ist nicht im normalen Zeitraum möglich. Nach ein paar Tagen gehen die betroffenen Behörden wieder ans Netz. Ein sehr großes Netz, von dessen Größe man selbst überrascht war, wie Interims-CDO Hauer dann feststellen musste. Zwischendrin versucht die Senatsverwaltung zu beschwichtigen, es seien bei einem „sehr professionellen Angriff“ nur ohnehin öffentlich einsehbare Daten abgeflossen. Keine Bange, alles unter Kontrolle.

Auftritt des Problembären

Kurz darauf folgt dann der Kontrollverlust. Ein erstes Eingeständnis, dass vielleicht doch mehr Daten abgeflossen sein könnten. Im Darknet taucht bei Rhysida, einer international aktiven Ransomware-Gruppe, die eher finanziell motiviert ist und deren Herkunft nicht vollständig geklärt werden kann, ein dezenter Hinweis auf. Dieser besagt, dass die Daten aus Berlin gegen Zahlung von 30 Bitcoin „exklusiv erworben“ werden können, bevor diese veröffentlicht werden. Gefunden hatte das zuerst der Spiegel [€].

In der Folge verhält sich das Land Berlin zumindest in Hinblick auf die Lösegeldforderung konsequent richtig: Es will sich nicht erpressen lassen. In Folge kommt es am Freitag, den 4. September, zur Veröffentlichung aller Daten im Darknet.

Die Hackergruppe ist etwas schlampig beim Upload der Daten und ein drittes Datenpaket taucht erst in der Nacht vom 5. auf den 6. September auf. Mit Veröffentlichung aller Daten im Darknet beginnt jetzt eine mühsame Spurensuche, welche Daten eigentlich genau abgeflossen sind. Diese mühsame Spurensuche kann noch Wochen andauern. Obwohl das genaue Ausmaß des Datenabflusses noch nicht ganz klar ist, wird bereits wieder Entwarnung gegeben: Es seien keine militärischen Daten abgeflossen und nur Daten der niedrigsten Geheimhaltungsstufe. Derweil unterstützen bereits diverse Bundesbehörden bei der Aufarbeitung.

Jahrelange Bärendienste

Inmitten dieser Berlinigkeit haben sich ganz, ganz viele Bärendienste eingeschlichen. Sei es bei der vorschnellen Kommunikation, dass das alles ja nicht so gefährlich sei, die dann bereits mehrfach zurückgenommen werden musste. Sei es bei der Auswahl des Dienstleisters, der bei der digitalen Forensik unterstützen soll und selbst eine weitere Gefahr für die digitale Souveränität darstellen kann.

Durchaus interessant bei der Aufarbeitung kann da insbesondere die Sitzung des Ausschusses für Digitalisierung und Datenschutz vom 7. September sein.

Vonseiten des Senats wird da natürlich beteuert, nichts falsch gemacht zu haben. Der Mitarbeiter, der auf den Link in der Phishing-Mail geklickt hat, sei eben ein Teil der Sicherheitsarchitektur, auf den man angewiesen sei. Eine Aussage, die einen Bärendienst an allen Mitarbeitenden der Verwaltung darstellt. Nein, Mitarbeitende, die auf eine ausgefuchste Phishing-Kampagne mit einer über mehrere Ebenen laufenden Angriffskette wie TerminalFix hereinfallen, als Schuldige hinzustellen, erschlägt jegliches Engagement für die Digitalisierung der Verwaltung. Einem Menschen ist nicht das Fehlen von eigentlich selbstverständlicher Sicherheitsplanken anzulasten.

In Berlin sind über die Jahre Investitionen in Informationssicherheit verschleppt worden. Lücken wurden ignoriert und über Jahrzehnte ist ein Zoo an nicht mehr zeitgemäß zu handhabenden Anwendungen entstanden, die allesamt das Informationssicherheitsniveau derart gesenkt haben, dass ein derart großer Schaden wie der jetzige überhaupt erst eintreten konnte.

Kürzungen an den Mitteln für Informationssicherheit? Im Haushalt 2025 jüngst. Waren Mängel bekannt? Ja klar, besonders schwerwiegende Mängel etwa im Kontext der Justizverwaltung, wie der Rechnungshof im Jahresbericht 2024 feststellte. Sicherheit von Fachverfahren, also den spezialisierten Anwendungen, die einen Großteil der Verwaltungsvorgänge beherbergen? „Sie wissen selbst, wie alt manche Fachverfahren sind“, war in der Sitzung des Abgeordnetenhauses zu hören. Bei 21 Fachverfahren im Kontext Berlin lassen sich inzwischen kompromittierte Passwörter gar nicht ändern, weil diese fest im Quelltext hinterlegt sind.

Alles jeweils Bärendienste im Sinne der Informationssicherheit. Sei es aus Knausrigkeit, Unkenntnis, fehlender Priorisierung oder „haben wir schon immer so gemacht“. Dazu kommt eine chronische Unterfinanzierung des Berliner Kommunaldienstleisters ITDZ, der zwar nicht für die Überwachung der betroffenen Senatsverwaltungen zuständig war, aber dennoch die auffälligen Netzwerkverbindungen bei der Exfiltration der Daten gemerkt und gemeldet hat – im Verwaltungssinne quasi fast schon illegalerweise ohne direkte Zuständigkeit. Dazu kommt eine „vollständig zerstörte Kommunikation“ zwischen dem ITDZ und der Senatsverwaltung seit Mitte des Jahres [€].

Bei all diesem Wirrwarr in Berlin ist gar nicht mehr so klar trennbar, wer hier wem welchen Dienst erweist, aber in Summe handelt es sich um eine jahrelang anhaltende Kette an Bärendiensten im Sinne der Informationssicherheit. Tragen müssen die Konsequenzen des Leaks in Berlin viele Menschen, Behörden und Organisationen auch außerhalb Berlins über die nächsten Jahre hinweg.

Hoffnung verbreitet in dieser Berlinigkeit ausgerechnet Falk Steiner in einem Kommentar, der noch Schlimmeres befürchtete:

Auf der Habenseite der Berlin-Rhysida-Debatte steht lediglich, dass angesichts der geplanten Reform des Nachrichtendienstrechts noch niemand einen „Hackback“ des Bundesnachrichtendienstes auf Rhysida-Infrastruktur gefordert hat – selbst wenn die Novelle des Bundesnachrichtendienstgesetzes genau das im Prinzip ermöglichen könnte. Mitunter ist es dann eben schon ein Fortschritt, wenn nicht die allerabsurdesten Ideen ventiliert werden.

Bärenfallen

Eigentlich sollte es in dieser Kolumne um diesen anderen Bärendienst gehen. Die Novelle des Bundesnachrichtendienstgesetzes. Den Versuch, Sicherheitslücken für deutsche Geheimdienste „in Wert bringen zu wollen“. Den politischen Versuch, Sicherheitslücken, die an das Bundesamt für Sicherheit in der Informationstechnik (BSI) gemeldet werden, auch an Geheimdienste auszuleiten. Sicherheitslücken, welche inzwischen auch im Kontext des Cyber Resilience Act von Herstellern von Produkten mit digitalen Elementen an das BSI als Zentralstelle gemeldet werden müssen.

Aber das scheint erst mal abgewendet: Nein, jetzt wieder doch keine Ausleitung an Nachrichtendienste. Versprochen. Oder?

Als die Themensetzung für diese Kolumne stattfand, waren in zwei Berliner Senatsverwaltungen Angreifer so tief im System, dass sie in aller Ruhe über Tage mehrere Terabyte an Daten ausleiten konnten. Daten fast aller Vertraulichkeitsarten, Daten von Bürger*innen, Unternehmen, kritischen Infrastrukturen, der Wasserversorgung in Berlin, Informationen über geplanten polizeilichen Objektschutz, kopierte MP3s auf Verwaltungsverzeichnissen und so weiter.

Das Bild der Informationssicherheit in Deutschland ist grotesk. Auf der einen Seite werden immer mehr politische Befugnisse zur Überwachung, aber auch für offensive Cyberangriffe ersonnen, zumindest in den Entwürfen von Referaten in Ministerien. Dies könne die Grundlage für die Auftragserfüllung darstellen, so hieß es da zu Beginn. Das zeugt von einem veralteten und grotesk verzerrten Bild von Informationssicherheit, bei dem sich Sicherheitslücken nur von den „Guten“ nutzen lassen und professionelle Cyberkriminelle durch Strafandrohung abgeschreckt werden.

Auf der anderen Seite öffentliche Einrichtungen, die ein adäquates Informationssicherheitsniveau kaum alleine halten können. Die Senatsverwaltungen in Berlin sind kein Einzelfall, sie sind nur der Teil der Verwaltung, der gerade im Fokus steht. Der Cyberangriff auf Anhalt-Bitterfeld war 2021, Südwestfalen 2023. Berlin, 2026. In der Folge wird der nächste größere Vorfall kommen – wann genau, ist ungewiss.

Um es grotesk zu halten, schließt diese Kolumne mit einem Zitat von Sinan Selen, Präsident des Bundesamts für Verfassungsschutz, der den Auftrag in Hinblick auf den Schutz der Gesellschaft zumindest klar umreißt:

Der Auftrag ist ein eindeutiger: Schutz der Wirtschaft und der Gesellschaft. Und das wird nicht gelingen, wenn wir vorne so tun, als hätten wir die Hauseingangstür gesichert, und hinten dann bewusst die Terrassentür offenlassen.

Hoffen wir mal, dass sie in Berlin auch alle Terrassentüren schon gefunden haben.

Der mit Spannung erwartete Börsengang des ChatGPT-Entwicklers OpenAI wird in diesem Jahr nach Angaben von Firmenchef Sam Altman nicht mehr über die Bühne gehen. Er verwies in einem Interview des Magazins „Fortune“ vor allem auf die aktuelle Debatte um die Gefahren hochentwickelter Künstlicher Intelligenz. „Man wäre schlecht beraten, genau jetzt an die Börse zu gehen“, sagte Altman. „Sicherheit und Ausrichtung“ seiner Modelle nannte er als Teil der Aufgaben, die noch bewältigt werden müssten.

Auf die Nachfrage, ob er sich auch den Verzicht auf einen Börsengang im kommenden Jahr vorstellen könnte, erwiderte Altman: „Ich würde sagen, nicht 2026.“ OpenAI dürfte beim Börsengang nicht nur Dutzende Milliarden Dollar einnehmen, sondern auch eine sehr hohe Bewertung erzielen. Bis zu einer Billion US-Dollar werden geschätzt. Die Aktienplatzierung wird schon länger geplant.

Seit Wochen gibt es große Sorgen um Risiken Künstlicher Intelligenz, die vor allem von Hacking-Angriffe durch KI-Modelle ausgelöst wurden, die sich in Testläufen selbstständig gemacht hatten. Nicht nur im Fall Hugging Face, auch andere Onlinedienste wurden durch künstliche Intelligenzen attackiert.

Die Debatte wurde in den vergangenen Tagen noch von einem Forscher der KI-Firma Anthropic angeheizt, der mit einer drastischen Warnung zurücktrat. Die großen Entwickler Künstlicher Intelligenz handelten unverantwortlich „und spielen mit unseren Leben“, betonte der Entwickler Jacob Coxon.

Anthropic-Forscher Evan Hubinger, der mit dafür zuständig ist, dass KI mit den Interessen der Menschen im Einklang bleibt, bestätigte wenig später Coxons Sorgen. Er persönlich denke, die Gefahr, dass KI die Menschheit töte, liege im kommenden Jahrzehnt bei mehr als zehn Prozent. In den USA gibt es zudem eine wachsende Bewegung gegen riesige Rechenzentren, auf deren Bau KI-Firmen wie OpenAI für den Ausbau ihres Geschäfts angewiesen sind.

(nie)