Aus der Nische in die Newsfeeds: nicht-einvernehmliche, sexualisierte Deepfakes verbreiten sich zunehmend, nicht nur durch den kaum regulierten Chatbot Grok des rechtsradikalen Multi-Milliardärs Elon Musk.

Bereits im Jahr 2022 berichteten wir über teils populäre Apps, mit denen sich beliebige Gesichter auf die Körper von Pornodarsteller*innen montieren ließen. Nur wenige Jahre später waren die technischen Möglichkeiten ausgereifter, und offen zugängliche Shops boten an, Kleider in beliebigen Fotos durch nackte Haut zu ersetzen.

Wer solche Aufnahmen ohne Einvernehmen erstellt, übt digitale Gewalt aus. Jüngst hat die Debatte besonders Fahrt aufgenommen, weil massenhaft nicht-einvernehmliche, sexualisierte Deepfakes von Grok über den Twitter-Nachfolger X ein breites Publikum fanden.

Mithilfe von EU-Gesetzen will die gemeinnützige Organisation AlgorithmWatch nun etwas gegen das Phänomen unternehmen – und bittet Interessierte um Unterstützung. Was genau der NGO helfen würde, erklärt Tech-Forschungsleiter Oliver Marsh. Das Interview wurde aus dem Englischen übersetzt.

Internationale Netzwerke aus Deepfake-Anbietern

netzpolitik.org: Oliver, Warnungen vor der Gefahr durch nicht-einvernehmliche, sexualisierte Deepfakes gibt es schon länger. Welche Bedeutung hat das Phänomen heute?

Oliver Marsh: Eine große. Es ist bedauerlich, dass es erst ein Ereignis wie die aktuellen Vorfälle rund um Grok geben musste, bevor auch Aufsichtsbehörden und Regierungen das Problem als „dringend“ einstufen. Hoffentlich führt diese Dringlichkeit auch zu ernsthaftem Handeln, nicht nur auf Social-Media-Plattformen. Wir sollten uns fragen, was geschehen muss, um die Vielzahl der beteiligten Unternehmen in die Pflicht zu nehmen, darunter auch Anbieter großer Sprachmodelle. Sie müssen das Problem gemeinsam mit Regulierungsbehörden und Fachleuten angehen.

netzpolitik.org: Welche Unternehmen spielen eine Schlüsselrolle bei den Deepfakes?

Oliver Marsh: Dahinter steckt ein internationales Netzwerk aus Anbietern für Deepfake-Tools. Das Ökosystem betrifft auch große Plattformen. Auch ohne Grok hatte X bereits große Probleme mit nicht-einvernehmlicher Sexualisierung, etwa durch Netzwerke von Accounts, die dort Deepfake-Werkzeuge bewerben. Weitere Recherchen haben solche Probleme auch bei den Meta-Plattformen Facebook und Instagram gefunden, auf den App-Marktplätzen von Google und Apple und in der Google-Suche.

Auch Plattformen wie Reddit, Telegram und Discord werden genutzt, um Werkzeuge für Deepfakes zu verbreiten. Dort kursieren auch Tipps, wie Nutzende die Schutzmechanismen von weit verbreiteten Chatbots umgehen können, um solche Inhalte zu generieren. Und natürlich treiben Konzerne wie OpenAI, Google, Meta und Microsoft mit ihren KI-Anwendungen die Technologie voran, mit der sich nicht-einvernehmliche Inhalte einfacher erstellen lassen.

netzpolitik.org: Wie würde es konkret aussehen, wenn große Tech-Unternehmen erfolgreich gegen solche Deepfakes vorgehen?

Oliver Marsh: Die Plattformen würden sich zum Beispiel gegenseitig über entdeckte Accounts informieren, die solche Werkzeuge bewerben. Außerdem würden sie Aufsichtsbehörden und Fachleuten Informationen zur Verfügung stellen, damit sie das Problem weiter erforschen und etwas dagegen tun können. Genau so etwas ist bereits vor rund zehn Jahren geschehen, als Plattformen gemeinsam gegen Desinformation durch Accounts vorgegangen sind, die sich mit hoher Wahrscheinlichkeit der russischen Propaganda-Agentur „Internet Research Agency“ zuordnen ließen. In jüngerer Zeit ergreifen Plattformen jedoch weniger Initiative für solche Vorhaben.

Bisher nur wenige Hinweise eingegangen

netzpolitik.org: Per Online-Formular bittet ihr gerade die Öffentlichkeit um Hinweise auf Apps und Websites, mit denen sich nicht-einvernehmliche Deepfakes erstellen lassen. Warum?

Oliver Marsh: Über das Formular möchten wir jegliche Informationen sammeln, die uns dabei helfen, Posts, Accounts und Apps zu finden, die Menschen zu Werkzeugen für nicht-einvernehmliche Sexualisierung führen. Unser Fokus liegt auf den Meta-Plattformen Facebook und Instagram, auf X, dem Google Play Store und dem Apple App Store. Nützliche Hinweise sind zum Beispiel Stichwörter und Accounts, die wir auf den Plattformen suchen können.

netzpolitik.org: Wie gut klappt das mit den Hinweisen?

Oliver Marsh: Das Formular ist bereits seit Mitte vergangenen Jahres online. Bisher haben wir nur eine Handvoll Einreichungen erhalten; einige davon enthielten Hinweise auf mehrere Apps und Websites. Wir machen uns aber auch selbst auf die Suche und haben – was am meisten hilft – Partner in Journalismus und Forschung, mit deren Unterstützung wir unsere Datenbank erweitern können.

netzpolitik.org: Was genau macht ihr am Ende mit den entdeckten Posts, Accounts und Apps?

Oliver Marsh: Es ist äußerst schwierig, dafür zu sorgen, dass solche Inhalte ganz aus dem Netz verschwinden. Wir wollen die Verbreitung nicht-einvernehmlicher, sexualisierter Deepfakes jedoch einschränken. Unser Projekt soll vor allem prüfen, ob wir sehr große-Online Plattformen (VLOPs) mithilfe des Gesetzes über digitale Dienste (DSA) dazu bringen können, das Problem effektiv anzugehen.

netzpolitik.org: Der DSA verpflichtet Plattformen nicht nur dazu, einzelne gemeldete Inhalte zu prüfen. Sehr große Plattformen müssen auch generell einschätzen, welche systemischen Risiken von ihnen ausgehen und dagegen Maßnahmen ergreifen.

Oliver Marsh: Ja, unsere Hoffnung ist, dass sehr große Online-Plattformen selbst aktiv werden, und Posts über solche Werkzeuge sowie nicht-einvernehmlich erzeugte Bilder eindämmen. Immerhin sind sie es, die ein riesiges Publikum haben und neue Nutzende damit in Kontakt bringen könnten.

Hoffnung auf Durchsetzungswillen der EU

netzpolitik.org: Seit der Machtübernahme der rechtsradikalen Trump-Regierung stößt Tech-Reglierung aus der EU bei US-Anbietern auf vehemente Gegenwehr. Andererseits hat Donald Trump selbst mit dem Take It Down Act ein Gesetz gegen Deepfakes unterzeichnet. Müsste die US-Regierung es also nicht begrüßen, wenn man auch auf Basis des europäischen DSA gegen sexualisierte Deepfakes vorgeht?

Oliver Marsh: Ich bezweifle, dass die Trump-Regierung diesen Zusammenhang erkennen wird. Egal, was die EU tut, die US-Regierung wird deren Regulierung attackieren, verzerrt darstellen und allein US-Gesetze als brillant bezeichnen. Aber ich hoffe, dass die EU dennoch gezielte und entschiedene Maßnahmen gegen nicht-einvernehmliche sexualisierte Inhalte ergreift und gegen alle Widerstände klar kommuniziert, dass es ihr nicht um Zensur oder Machtpolitik geht.

netzpolitik.org: Wenn Leser*innen euch Hinweise auf bedenkliche Deepfake-Angebote schicken möchten, was sollten sie beachten? Immerhin handelt es sich um potentiell illegale Inhalte.

Oliver Marsh: Menschen sollten illegale Inhalte nicht weiterverbreiten, selbst wenn sie dabei helfen möchten, Belege zu sammeln. Tipps zum Umgang gibt es bei der Internet-Beschwerdestelle, zum Beispiel: keine Inhalte speichern, nicht selbst weiter recherchieren.

Was wir suchen, sind Eckdaten, die uns dabei helfen, unsere textbasierte Suche zu erweitern. Das sind zum Beispiel die Namen von Firmen und Apps oder auch Begriffe, mit denen Menschen verschleiern, wofür ihre Anwendung da ist, zum Beispiel „undress“. Auch der Kontext eines Fundes ist hilfreich, etwa, dass er auf einer bestimmten Plattform beworben wurde.

netzpolitik.org: Vielen Dank für das Interview!