Er hat Verschlüsselungsalgorithmen entwickelt und warnte schon 2007 vor dem nicht-zufälligen Zufallszahlengenerator im NIST-Standard Dual_EC_DRBG. Zugleich gehört Bruce Schneier zu den „Techies“, die seit Jahren raten, Sicherheit für die Nutzer auch durch Regulierung und Wettbewerbsaufsicht abzusichern. Für KI gilt das ebenso, sagt der Harvard-Forscher und Buchautor bei der Münchner Cyber Sicherheitskonferenz. Europa darf, so sein Rat, die gerade aufgestellten Regeln in diesem Bereich nicht abschwächen.

Sie sagen, KI kann uns in ein paar Jahren vollkommen sichere Software bescheren. Aktuell aber profitieren die Angreifer, weil sie sich die Technologie zum Aufspüren von Sicherheitslücken zu Nutze machen. Werden wir uns über diese Phase hinweg retten können? Werden wir überleben?

Keine Ahnung, ob wir überleben. Im Moment erleben wir ein Wettrüsten. Die KI vervielfacht die Chancen, Schwachstellen zu entdecken. Kriminelle und auch Regierungen nutzen das, um sich offensive Cyberwaffen zuzulegen, und das mit wachsender Geschwindigkeit und Effektivität. Allerdings hilft KI den Verteidigern. Auch sie profitieren, davon, dass Schwachstellen schneller gefunden und gepatcht werden als jemals zuvor. Kurzfristig ist der Angreifer im Vorteil. Langfristig gewinnt die Defensive. Künftig werden Sicherheitslücken schon während der Entwicklung geschlossen und sind dann für immer zu. Unser Problem ist nicht gepatchte Legacy Software, daher stehen uns harte Zeiten bevor.

Ist es nicht eine gewagte Vorhersage, dass KI Software endgültig sicher machen wird?

Optimistisch vielleicht, aber nicht unvernünftig optimistisch. KI ist inzwischen wirklich gut darin, Schwachstellen zu finden und automatisch zu patchen, und wird jeden Monat besser. Ich habe gerade eine Studie gesehen, die zeigt, wie KI Schwachstellen sogar im Objektcode entdeckt. Also praktisch in Feldcodes, ohne Kenntnis des Quellcodes. Das wird gefunden und gepatcht. Das ist völlig abgefahren. Daher glaube ich, dass Schwachstellen irgendwann der Vergangenheit angehören. Nicht morgen, es kann sein, dass es noch fünf oder 10 Jahre dauert – aber KI ist einfach zu gut darin.

Wie unterschiedlich sind entsprechende Kompetenzen verbreitet?

Ich denke, das wird am Ende in Compiler integriert. Es wird keine gesonderte Funktion mehr sein sein, genauso wie Optimierungsverfahren im Compiler stecken. Das ist das Level an Sophistication, welches wir brauchen. Im Moment haben wir Vulnerability Labs, die Schwachstellen aufspüren. Anthropic etwa testet im Moment praktisch jedes Stück öffentlicher Software. Andere machen ähnliche Dinge. Kriminelle nutzen KI-Tools ihrerseits, und daher gibt es eine Menge Schadsoftware da draußen. KI-Ransomware zum Beispiel. Dabei schreibt KI Ransomware, sucht Ziele aus, schreibt dann die notwendigen E-Mails und eröffnet das Bankkonto für die Zahlungen. Ein Knopfdruck und die KI macht Kohle für Kriminelle. Wie schnell sie darin noch besser werden, ist schwer zu sagen. Aber im Moment entwickelt sich das rasend.

Wie unterschiedlich sind die Fähigkeiten auf Seiten der Verteidiger?

Da gibt es große Unterschiede. Es gibt natürlich jede Menge KI-Marketing-Bullshit. Viele Firmen werben mit KI, weil man das jetzt so macht. Es gibt aber eben auch wirklich clevere Ideen, beispielsweise gibt es einen Ex-Google-Mitarbeiter, der auf der Basis eines Papiers mit dem Titel „Camel“ eine Firma aufgezogen hat bei der es um Human-in-the-Loop-Agenten geht. Ich selbst berate eine Firma, die KI nutzt, um Systeme gegen Datenverlust abzusichern. Also das Meiste ist noch Marketing-Bullshit, aber es gibt kluge Innovationen.

Zugleich vergrößert der Einsatz von KI den Attack-Surface, oder?

KI ist im Grunde nur ein Programm, ein Stück Software, das auf einer Hardware läuft. Natürlich ist es anfällig für die Schwächen traditioneller Software. Das stimmt. Simon Willison spricht von der ‘lethal trifecta’: KI baut auf nicht vertrauenswürdigen Daten auf, hat Zugang zu privaten Daten, und, Drittens, agiert autonom. Wenn wir eine solche KI nutzen, sind wir angreifbar. Punkt. Aus.

Und wie schützen wir uns dagegen?

Zwei Antworten. Erstens: Keine Chance. Bei aktueller Transformer-Technologie (Deep-Learning-Architekturen, A. d. Red.), haben wir keine Möglichkeit, das Einschleusen von Eingabeaufforderungen zu verhindern. Meine zweite Antwort lautet: Prompt Injections sind nur der erste Schritt der Kill-Chain. Ich habe gerade über die sieben Schritte der ‘Promptware Kill-Chain’ geschrieben. Das bedeutet: Wir haben mehrere Angriffspunkte, die wir gegen solche Attacken nutzen können. Der Umstand, dass wir gegen den ersten Schritt machtlos sind, heißt nicht, dass wir uns gar nicht schützen können. Wir müssen die sieben Einzelschritte besser verstehen und uns das zunutze machen. Allerdings kämpfen wir gegen ein sehr bewegliches Ziel.

Wer kann und muss etwas tun? Sie haben auf die Schaffung öffentlicher Audit-Stellen verwiesen.

Ja, das ist eine Maßnahme, die man treffen kann. Das allein reicht aber nicht. Wie immer im Bereich Sicherheit müssen alle ihren Teil beitragen.

Würden Sie sagen, die Entwicklung von KI ähnelt der des Internets? Wir haben einen demokratisierenden Faktor – wir könnten alle Sender, beziehungsweise mit KI Programmierer werden – und zugleich übernimmt das Surveillance-Capitalism-Modell? Nur dass es bei KI schneller geht mit dem Umschalten auf Werbefinanzierung?

Die KI-Blase gleicht der Internetblase in gewisser Weise. Könnte sie platzen wie, sagen wir mal, die Blockchain-Blase? Nun ja, Blockchain war wirklich eine dumme Idee. Niemand startet heute noch eine Blockchain Firma. Die Internetblase war anders, weil das Internet im Kern eine super Idee war. Bloß waren die Firmen dumm, und möglicherweise stecken wir aktuell genau in dieser Phase. KI verändert alle Aspekte der Technologie. Aber Anthropic oder Open AI haben meiner Meinung nach kein nachhaltiges Geschäftsmodell. Wenn die Blase platzt, reißt das die Wirtschaft mit, denn die wird ja davongetragen. Andererseits hat KI als Technologie echtes Potenzial. Wir können damit unglaubliche Dinge tun. Wir dürfen einfach nicht unterschätzen, dass die großen Firmen diese Entwicklung für uns alle ruinieren können. Die Monopolisierung von KI ist ein Riesenproblem, auch wenn wir nicht die gleichen Netzwerkeffekte wie bei Social Media haben. Sie können innerhalb von Sekunden zwischen verschiedenen Modellen wechseln und wir werden nicht die gleiche KI benutzen, weil jemand anderer sie benutzt. Weniger Netzwerkeffekte, weiter sinkende Kosten, um neue Modelle zu entwickeln – ich hoffe einfach, dass die Monopolisierung atrophiert. Aber wir müssen abwarten.

In München haben sie sich als Fan eines von Schweizer Unis entwickelten Modells geoutet, das offen ist und mit nachhaltiger Energie arbeitet.

Die aktuelle Version von Apertus ist ungefähr eineinhalb Jahre hinter dem Stand der Technik zurück. Wir müssen abwarten, wie gut die Performance sein wird. Aber es ist viel billiger. Außerdem bewegen wir uns in Richtung kleinerer, spezialisierter Modelle. Niemand braucht diese großen Modelle, für die riesige Geldberge verbrannt werden.

Wie verhindern wir Monopole, falls sie nicht selbst atrophieren?

Wettbewerbsaufsicht. In den USA passiert das natürlich nicht, weil Geld und Politik zusammenstecken und die Finanzwelt das nicht will. Ich setze daher auf die EU. Ihr seid die regulatorische Superpower des Planeten.

Wirkt das tatsächlich?

Mein Gott, ja. Wenn sie einen Unternehmenszusammenschluss verhindern, dann passiert er nicht. Wenn man einen Konzern aufspaltet, hat man kleinere Einheiten. Das hat globale Effekte. Wir brauchen jemanden, der die Tech-Monopole zerschlägt, und die Vereinigten Staaten werden das nicht machen.

Das ist, was Gesetzgeber und Regulierer tun können. Sonst noch was?

Das wäre das Wichtigste. Das Zweite ist Interoperabilität erzwingen. Der Digital Markets Act, der Digital Services Act der KI Act sind gut. Das muss durchgesetzt werden und man muss dem Druck aus den USA widerstehen, das nicht zu tun. Natürlich wollen die Firmen das nicht und wenn die das nicht wollen, wird Politik losgeschickt. So funktioniert das aktuelle politische System.

Was sagen Sie zur aktuell diskutierten Reform, beziehungsweise Abschwächung der Regeln?

Ich verfolge das nicht im Detail, denn ich habe keinen Einfluss darauf. Aber ich bin kein Fan davon, die Regeln abzuschwächen.

Warum muss man die Demokratie neu verkabeln?

Die Demokratie wird neu verkabelt, ob wir das wollen oder nicht. In meinem Buch spreche ich darüber, wie KI die Demokratie verändert und wie wir an vielen Stellen gar keine Wahl haben. Mir ging es darum, darüber zu schreiben, wie wir KI positiv gestalten können. Manchmal reicht für die Neuverkabelung sogar eine einzelne Person.

Oder es hilft einer Person, die Gesellschaft nach rechts zu drehen und die Demokratie zu gefährden.

KI ermächtigt. Sie ermächtigt Menschen, zu tun, was sie tun wollen. Wenn wir mehr Demokratie wollen, kann KI dabei helfen. Wenn wir weniger wollen, geht das genauso. KI entscheidet nicht über die Richtung. Darüber können wir entscheiden.

(kbe)