Drohnen, die von sogenannter Künstlicher Intelligenz gesteuert werden, gewinnen an Bedeutung. Gerade der Ukrainekrieg dient als Testfeld für neue militärische KI-Anwendungen. Sie ermöglichen nicht nur technologische Fortschritte, sondern werfen auch grundlegende ethische und geopolitische Fragen auf.

Jens Hälterlein ist Technik- und Wissenschaftsforscher an der Universität Paderborn. Er forscht im Projekt Meaningful Human Control zur Regulierung autonomer Waffensysteme. Ein Fokus seiner Arbeit liegt auf Drohnenschwärmen und bestehenden Ansätzen zur ethischen Regulierung KI-basierter Militärtechnologien. Wir haben mit ihm über die Auswirkungen von KI-Anwendungen im Krieg gesprochen.

netzpolitik.org: In Ihrer Forschung beschäftigen sie sich intensiv mit der Entwicklung und dem Einsatz von KI im militärischen Kontext. Der Ukrainekrieg wird zunehmend als „Experimentierfeld“ für militärische KI-Anwendungen beschrieben. Wie schauen Sie auf diese Entwicklung?

Jens Hälterlein: Der Krieg in der Ukraine ermöglicht es – wie im Prinzip jeder Krieg –, neue militärische Entwicklungen unter realen Einsatzbedingungen zu testen. Für die Entwicklung militärischer KI-Anwendungen besteht ein weiterer Vorteil darin, dass auf den Schlachtfeldern der Ukraine große Mengen an Trainingsdaten erzeugt werden. Sie sind für maschinelle Lernprozesse notwendig. Daraus ergeben sich ganz neue Möglichkeiten. Die Ukraine wurde daher auch als „Living Lab“ für militärische KI bezeichnet, also eine Art „Reallabor“.

Nicht ohne Grund hat das US-amerikanische Unternehmen Palantir seine Datenanalyse-Software gleich zu Beginn des Krieges der Ukraine angeboten. Obwohl diese Software zuvor nur für wirtschaftliche und polizeiliche Analysen genutzt wurde, stellte sie schon nach kurzer Zeit ein zentrales Element für die Entscheidungsfindungsprozesse des ukrainischen Militärs dar.

Daten verhelfen der KI zum Druchbruch

netzpolitik.org: Zu Beginn des Ukrainekrieges spielten KI-Systeme bei Drohnen offenbar eine eher unterstützende Rolle. Das verändert sich aus Ihrer Sicht. Können Sie die technologischen Fortschritte und ihre Bedeutung genauer erläutern?

Jens Hälterlein: Am Anfang des Ukrainekrieges wurden die eingesetzten Drohnen noch größtenteils ferngesteuert. KI hat nur in einigen sogenannten „nicht-kritischen“ Funktionen eine Rolle gespielt, beispielsweise im Sinne eines Autopiloten. Das ändert sich derzeit aber anscheinend. Sowohl die Systeme ukrainischer Start-ups als auch die dort eingesetzten westlichen Systeme entsprechen zunehmend dem, was in der internationalen Debatte als tödliche Autonome Waffensysteme (LAWS) bezeichnet wird. Damit sind Systeme gemeint, die kritische Funktionen – also Zielfindung, Zielauswahl und Angriff – ohne menschliches Zutun vollziehen können.

Die in diesen Waffensystemen verwendeten Hardwarekomponenten und Algorithmen sind im Prinzip nicht neu. Aber lange Zeit wurden militärische Innovationen in diesem Bereich durch einen Mangel an Daten ausgebremst. Das ist vergleichbar mit der Entwicklung von Gesichtserkennungssystemen, die erst durch die massenhafte Verfügbarkeit von gelabelten Fotos in sozialen Medien einen Durchbruch erfahren haben.

netzpolitik.org: Über die russischen Systeme, wie etwa die neue Variante der Lancet-Kamikaze-Drohne, ist weit weniger bekannt.

Jens Hälterlein: Im Prinzip sind wir bei allen Kriegsparteien auf die Aussagen von Militärs und Waffenherstellern angewiesen. Und die sind natürlich grundsätzlich mit Vorsicht zu genießen, ganz gleich, ob es sich um westliche oder nicht-westliche Akteure handelt. Seit dem Krieg ist unsere Informationslage zu russischen Systemen allerdings noch eingeschränkter als zuvor. Aber da eine russische KI beziehungsweise eine russische KI-basierte Kampfdrohne grundsätzlich ähnlich funktioniert wie eine US-amerikanische oder eine deutsche sollten auch der jeweilige Kontext ähnlich sein. Auch auf russischer Seite werden diese Waffensysteme daher wohl autonomer werden. Und mit diesem Anspruch wird ja auch das neue Modell der Lancet-Drohne beworben.

Blindes Vertrauen

netzpolitik.org: Wenn militärische KI-Systeme und Autonome Waffensysteme in einem Konflikt wie in der Ukraine getestet werden, wirft dies ethische oder politische Fragen auf. Welche sind das aus Ihrer Sicht?

Jens Hälterlein: Es gibt zahlreiche Probleme. Zum einen ist militärische KI – wie jede KI – notorisch fehleranfällig und vorurteilsbehaftet. Fehler und Vorurteile können hier aber tödliche Folgen haben. Ein System könnte etwa Zivilisten als Kombattanten identifizieren, weil es Daten fehlinterpretiert oder weil es für die Unterscheidung relevante Faktoren übersieht.

Zum anderen droht es durch den Einsatz hochkomplexer Systeme zu einer Verantwortungsdiffusion zu kommen. Formal muss zwar immer ein Mensch als Letztinstanz zustimmen, wenn es zur Tötung von Menschen kommen kann. Allerdings können Bediener*innen nicht im Detail nachvollziehen, wie ein KI-basiertes System seinen Output erzeugt hat. Gleichzeitig kommen sie nicht umhin, auf dessen Basis Entscheidungen zu treffen, und das meist unter Zeitdruck. Auch deshalb könnten sie dazu tendieren, dem Output der Systeme nahezu blind zu vertrauen, was sie angesichts der Fehleranfälligkeit dieser Systeme jedoch keineswegs tun sollten.

Kriegstreiber KI

netzpolitik.org: Ein weiteres Risiko ist die globale Verbreitung dieser Technologien. Wie realistisch ist es, dass in Zukunft immer mehr Staaten autonome Waffensysteme einsetzen – möglicherweise auch im Globalen Süden?

Jens Hälterlein: Drohnen sind wesentlich preisgünstiger als Kampfjets. Gerade kleine Drohnen mit relativ kurzer Flugzeit und geringer Nutzlast sind nicht teuer. In der Ukraine werden sogar kommerzielle Modelle, die wenige hundert Euro kosten, verwendet. Sie werden quasi „in Heimarbeit“ mit Granaten und anderen Kampfmitteln bestückt.

Teuer wird es vor allem dann, wenn besondere Softwarekomponenten entwickelt werden. Aber auch diese Kosten sind kaum mit den Gesamtkosten für die Entwicklung der F-35 oder des Future Combat Air Systems vergleichbar. Es ist also davon auszugehen, dass Finanzen einen zunehmend geringen Faktor bei der globalen Verbreitung KI-basierter Militärtechnologien darstellen. Das türkische Unternehmen Baykar hat beispielsweise seine KI-Kampfdrohe Bayraktar TB2 eben nicht nur in die Ukraine exportiert, sondern auch in zahlreiche afrikanische und asiatische Staaten, wo sie bereits in mehreren Kriegen zum Einsatz gekommen ist.

Unzureichende Regulierung

netzpolitik.org: Mit Blick auf die politische Regulierung von autonomen Waffensystemen und KI-Drohnen sagen Sie, dass wir zunehmend vor vollendete Tatsachen gestellt werden. Gibt es überhaupt noch Chancen auf international verbindliche Regeln?

Jens Hälterlein: Da sehe ich leider wenig Grund zu Optimismus. Im Rahmen der UN-Rüstungskontrolle gibt es seit mehr als zehn Jahren Bemühungen, verbindliche Regulierungen für LAW zu erwirken – bisher ohne Erfolg. Und zwar in erster Linie deshalb, weil solche Regulierungen nicht im Interesse der Nationen liegen, die LAWS entwickeln, einsetzen oder es in Zukunft beabsichtigen. Das sind neben den militärischen Großmächten USA, Großbritannien, Russland und China auch militärische Exportnationen wie Israel, die Türkei und Deutschland.

Deutschland hat sich zwar zusammen mit Frankreich für ein Verbot sogenannter vollautonomer Waffensystemen ausgesprochen. Gleichzeitig aber soll der Einsatz von sogenannten teilautonomen Waffensystemen erlaubt sein. Wenn aber für deren Einstufung bereits ausreichen soll, dass ein Mensch dem Output des Systems final zustimmen muss, halte ich diesen Ansatz aus den genannten Gründen für ungenügend.

Ethik ist kein Ersatz für Recht

netzpolitik.org: Was muss aus Ihrer Sicht passieren, um die unkontrollierte Verbreitung und den Missbrauch solcher Technologien noch zu verhindern?

Jens Hälterlein: Eine Patentlösung habe ich leider nicht. Es benötigt mehr kritische Debatten und zivilgesellschaftliches Engagement. Außerdem müssen wir stärker die Perspektiven der Opfer solcher Technologien in den Blick nehmen. Aber letzten Endes dürften die gegenwärtige globale Polarisierung und Militarisierung ein Klima erzeugen, in dem für Waffenkontrolle wenig Raum ist. Das sehen wir derzeit auch im Bereich der Regulierung von Atomwaffen.

Was aus meiner Perspektive definitiv keine ausreichende Lösung darstellt, ist die Ethik. Mittlerweile gibt es in eine ganze Reihe von Militärstrategien – vor allem westlicher Staaten -, die ein freiwilliges Bekenntnis zum Leitbild eines verantwortungsvollen, erklärbaren und verlässlichen Einsatzes von KI vorsehen. Es ist aber weiterhin unklar, wie die ethischen Prinzipien im Kontext von LAWS eingehalten sowie umgesetzt und kontrolliert werden können.

Vor allem aber sollte Ethik nicht an die Stelle des Rechts treten. Genau diese Gefahr besteht aber. Wir sehen aktuell eine Delegitimierung etablierter internationaler Rechtsnormen seitens westlicher Staaten. Gleichzeitig beziehen sie sich auf Konzepte wie die „regelbasierte internationale Ordnung“, die sich je nach Interessenlage mit Inhalt füllen lassen. In diesem Kontext sollten wir auch die Rhetorik einer „Responsible AI in the Military Domain“ verstehen. Ethik wirkt hier eher ermöglichend als einschränkend.

Erika Dornbusch hat Politikwissenschaften studiert, einige Monate in Syrien gelebt und dort hauptsächlich über den IS geschrieben. Zurzeit arbeitet sie im Bevölkerungsschutz, kommt mit Ordnung jedoch schlechter als mit Chaos zurecht.

Kanadas Regierung hat dem dortigen Ableger von Hikvision untersagt, Geschäfte in Kanada zu machen und die Schließung verfügt. Das hat Industrieministerin Mélanie Joly bekannt gegeben. Hintergrund sei eine Überprüfung unter Gesichtspunkten der nationalen Sicherheit. Auf deren Grundlage sei Kanadas Regierung zu dem Schluss gekommen, dass eine Fortführung der Geschäftstätigkeit von Hikvision Canada schädlich wäre. Die Prüfung habe sich aber nur auf den kanadischen Ableger des chinesischen Herstellers von Überwachungskameras bezogen, andere seien nicht betroffen. Hikvision-Produkte aus dem Ausland könnten also weiter gekauft werden – auch wenn davon abgeraten wird. Nur staatlichen Stellen ist das jetzt untersagt.

Kritik von Hikvision

Welche Gefahren für die nationale Sicherheit genau Kanadas Regierung durch die Produkte von Hikvision Canada sieht, geht aus der Mitteilung nicht hervor. Der betroffene Konzern hat die Entscheidung bereits harsch kritisiert. Ihr fehle es an einer Grundlage, einem fairen Prozess und Transparenz. Stattdessen scheine sie auf ungerechtfertigten Vorurteilen gegenüber dem chinesischen Heimatland des Mutterkonzerns zu beruhen. Man fordere die Regierung in Ottawa dringend dazu auf, Entscheidungen auf der Basis von Fakten zu treffen. Die Entscheidung bringe die Menschen und Firmen in Kanada um den Zugang zu bezahlbaren und technisch hochwertigen Überwachungskameras.

Hikvision steht schon längerem im Fokus westlicher Regierungen. In den USA ist die Einfuhr und der Verkauf von Hikvision-Produkten seit Jahren untersagt. In Großbritannien dürfen Geräte des chinesischen Herstellers nicht in bestimmten staatlichen Gebäuden benutzt werden. Hikvision wird unter anderem vorgeworfen, an der Unterdrückung der muslimischen Minderheit der Uiguren in der Provinz Xinjiang beteiligt zu sein. Ende 2023 sorgten Berichte für Aufsehen, laut denen das Unternehmen an einer Hochschule in China Überwachungstechnik installiert haben soll, die Verantwortliche automatisch alarmieren sollte, wenn Studierende beim Fasten ertappt werden.

(mho)

„Politikerinnen und Politiker, aber auch alle anderen Menschen, die sich politisch aktiv einbringen, sind kein Freiwild“, sagt die CDU-Politikerin Yvonne Magwas. Ihr eindringlicher Appell spiegelt die Erfahrungen wider, von denen Betroffene im heise-Podcast „Bits & Böses“ berichten. Digitale Gewalt in Form von Hasskommentaren oder KI-generierten Fälschungen, sogenannten Deepfakes, trifft vor allem Frauen und Menschen, die in der Öffentlichkeit stehen. Die Schauspielerin Collien Ulmen-Fernandes, der c’t-Journalist Jan-Keno Janssen und die Politikerin Yvonne Magwas erzählen, wie sie mit Anfeindungen umgehen und warum der Kampf dagegen oft aussichtslos erscheint.

Collien Ulmen-Fernandes kämpft seit Jahren gegen gefälschte Nacktbilder von sich im Netz. Obwohl sie sich bewusst nie für Magazine wie den Playboy auszog, tauchen immer wieder KI-generierte Bilder auf, die genau danach aussehen. Mit anwaltlicher Hilfe ließ sie die Bilder entfernen, doch immer wieder entdeckt sie neue pornografische Deepfakes von sich im Netz. „Es fühlt sich ein bisschen so an wie ein Kampf gegen Windmühlen, weil mich das natürlich auch viel Geld gekostet hat“, erklärt sie. Die psychische Belastung ist enorm. Judith Strieder, Psychologin bei der Hilfsorganisation HateAid, zieht Parallelen zu realem Missbrauch: „Viele betroffene Personen fühlen sich ohnmächtig, fühlen sich hilflos, haben große Schuld- und Schamgefühle.“ Die Folgen reichen von Schlafstörungen bis hin zu Suizidalität.

„Man muss sich ein dickeres Fell zulegen“

Auch der c’t-Journalist und YouTuber Jan-Keno Janssen von „c’t 3003“ kennt den Hass im Netz. Seit er Videos produziert, wird er nicht nur für seine Arbeit, sondern auch für sein Äußeres angegriffen. Den einen ist er mit Brille und Vollbart zu sehr Hipster, den anderen ist er nicht männlich genug, wenn er mal ein rosa Shirt trägt. Seine Strategie: Persönliche Angriffe konsequent löschen. „Sobald da ein Kommentar ist, der uns irgendwie emotional anfasst, in irgendeiner Form, dann hat jeder absolut hundertprozentig das Recht, diesen Kommentar zu löschen“, sagt Janssen. Jede und jeder habe das Recht, seine Arbeit zu kritisieren, aber Kritik an seiner Person und seinem Aussehen findet er deplatziert. Den oft gehörten Ratschlag, sich ein „dickeres Fell“ zuzulegen, hält der Redakteur für problematisch, besonders wenn er von Menschen kommt, die solche Erfahrungen nie machen mussten. Aufgeben kommt für ihn nicht infrage, denn das würde bedeuten, den Pöblern das Feld zu überlassen und damit auch die Vielfalt im Netz zu schwächen.

Wenn der Hass an die Grenzen geht

Die CDU-Politikerin Yvonne Magwas hingegen hat inzwischen ihre Konsequenzen aus den ständigen Anfeindungen im Netz gezogen. Vor allem seit sie Vizepräsidentin des Bundestages war, nahm der Hass massiv zu. Nach Ordnungsrufen gegen AfD-Abgeordnete eskalierte die Situation immer wieder. Sie wurde als „bemerkenswert dumme Vizepräsidentin“ beschimpft und erhielt Morddrohungen wie „Gott segne den Henker dieser Völkermörderin“. Viele dieser Fälle hat sie zwar angezeigt, aber „ich habe leider die Erfahrung gemacht, dass Anzeigen oftmals sehr lange dauern“, so Magwas. Bis zu einem Dreivierteljahr musste sie manchmal auf ein Aktenzeichen warten. Und dann wurden die meisten Ermittlungen auch nach kurzer Zeit wieder eingestellt. Der unaufhörliche Hass, der auch in die analoge Welt überschwappte, zermürbte sie so sehr, dass sie im Juli 2024 bekannt gab, bei der nächsten Bundestagswahl nicht mehr zu kandidieren. Ihr Fazit ist eine Warnung: „Wenn Menschen nicht mehr mitmachen, weil sie Hass und Hetze ausgesetzt sind, egal ob im Netz oder analog, dann ist unsere Demokratie gefährdet.“

„Bits & Böses“ erscheint alle zwei Wochen überall, wo es Podcasts gibt. Wenn Sie keine Folge verpassen wollen, können Sie „Bits & Böses“ hier abonnieren.

(igr)