Ana Ornelas hat viel zu tun in diesen Monaten. Sie ist Policy Officer für die European Sex Workers’ Rights Alliance, einem Netzwerk für die Rechte von Sexarbeiter*innen, und spricht mit EU-Abgeordneten über die Regulierung von KI. In Workshops informiert sie ihr Netzwerk über geplante Alterskontrollen im Netz. Und im Auftrag von AlgorithmWatch untersucht sie, wie Sexarbeiter*innen von sogenannten Nudifier-Apps betroffen sind. Mit diesen Apps können Nutzer*innen Aufnahmen manipulieren, sodass eine abgebildete Person nackt wirkt.

Es geht also um sexualisierte Deepfakes und um digitale Gewalt: Themen, über die in den vergangenen Wochen in Deutschland sehr viel gesprochen wurde. In den Tagen nach der Veröffentlichung einer Spiegel-Recherche zum Fall der Schauspielerin Collien Fernandes meldeten sich viele weitere Betroffene, etwa die Klimaaktivist*innen Luisa Neubauer und Theresia Crone. Im aktuellen Fall von Fernandes geht es zwar nicht um Deepfakes, sondern um Fake-Accounts, die ihr Ex-Mann erstellt haben soll – das haben später auch die Anwälte von Christian Ulmen klargestellt. Da war die Debatte zum Thema aber schon im vollen Gange.

Ob bei Caren Miosga oder in den Tagesthemen, plötzlich ging es vielerorts um digitale Gewalt und die Pläne der Bundesregierung für ein neues Gesetz, das unter anderem das Erstellen von sexualisierten Deepfakes unter Strafe stellen soll.

Wer dabei kaum zu Wort kam: Pornodarsteller*innen. Dabei spielen sie eine zentrale Rolle. Würden ihre Aufnahmen nicht als sogenanntes Trainingsmaterial für KI-Systeme genutzt, ließen sich sexualisierte Deepfakes gar nicht erst erstellen. Ihre Zustimmung dafür haben sie ebenso wenig erteilt wie die Betroffenen, deren Gesichter nun in den Deepfakes zu sehen sind. Zugleich werden Pornodarsteller*innen ebenfalls zum Ziel nicht-einvernehmlicher Deepfakes, berichtet Ana Ornelas im Interview mit netzpolitik.org.

Selbstbestimmung verletzt

netzpolitik.org: Für manche sexualisierte Deepfakes montieren Nutzer*innen das Gesicht einer Person in eine bereits existierende Pornoszene. Was heißt das für die ursprünglichen Darsteller*innen?

Ana Ornelas: Das ist einerseits nichts Neues. Es gab früher schon viele Pornoseiten, die die Gesichter von Prominenten auf die Körper von Pornostars montiert haben. Aber mit der heutigen Technologie wirkt das Ergebnis viel realistischer. Es ist teils nicht mehr zu unterscheiden, was echt ist und was gefälscht.

Darsteller*innen werden dadurch doppelt zum Opfer. Erstens wird, wie bei allen anderen Betroffenen auch, ihr Bild und ihr Körper auf eine Weise genutzt, der sie nicht zugestimmt haben. Und zweitens ist es Diebstahl. Für Pornodarsteller*innen sind ihr Körper und die Inhalte, die sie damit produzieren, ihr Lebensunterhalt. Wenn diese Inhalte gestohlen oder kopiert werden, um Deepfakes zu erstellen, hat das direkte Auswirkungen auf ihr Einkommen.

netzpolitik.org: Wie das?

Ana Ornelas: Menschen erstellen etwa Deepfake-Versionen von bekannten Darsteller*innen und geben sich auf OnlyFans oder in Telegram-Kanälen als diese aus. Da geht es schlicht um Geld, sie wollen selbst an den Inhalten verdienen und schädigen damit das Geschäft.

netzpolitik.org: Consent – also Einverständnis – spielt in der Pornobranche eine große Rolle: Mit wem man arbeitet, welche Art von sexuellen Handlungen stattfindet, wer das Material verbreiten darf. Deepfakes unterwandern dieses Prinzip, weil sie meist ohne Zustimmung entstehen. Was bedeutet das für Darsteller*innen?

Ana Ornelas: Nur weil man Nacktbilder von sich im Internet hat, heißt das noch lange nicht, dass damit alles erlaubt wäre. Vielleicht stimmt eine Darsteller*in einer bestimmten sexuellen Handlung zu, aber zeigt diese nur hinter einer Paywall oder schickt sie direkt an Kund*innen. Sie hat das Recht darüber zu entscheiden, wie, wo und mit wem sie ihre Inhalte teilt. Sich an ihren Inhalten einfach zu bedienen, verletzt diese Selbstbestimmung.

netzpolitik.org: Mehr noch, Menschen nutzen Aufnahmen von Pornodarsteller*innen als Vorlage für bildbasierte Gewalt. Was sagen Darsteller*innen dazu?

Ana Ornelas: Sexarbeiter*innen sind leider sehr vertraut damit, dass ihre Grenzen überschritten werden und ihre Privatsphäre verletzt wird. Sie kennen auch die Erfahrung, in solchen Situationen nicht ernst genommen zu werden. Sie können sich also sehr gut in andere Betroffene einfühlen, denen das passiert.

„Sexarbeiter*innen wurden zu oft in die Pfanne gehauen“

netzpolitik.org: Die Debatte kreist oft um die Technologie, aber sind Nudifier-Apps und die ihnen zugrunde liegenden KI-Modelle wirklich das Problem?

Ana Ornelas: Aus meiner Sicht: Nein. Meine Sorge ist, dass wir uns zu sehr auf die Ergebnisse fokussieren: Welche Arten von Deepfakes sollten erlaubt oder verboten sein? Wir sollten stattdessen mehr auf die Datenbanken schauen und darauf, wie diese Daten ohne Zustimmung geklaut werden.

netzpolitik.org: Die KI-Modelle hinter Nudifier-Apps basieren auf riesigen Mengen an Bildern und Videos, dem sogenannten Trainingsmaterial. Es stammt oftmals von Pornoplattformen, ohne Wissen und Zustimmung der gezeigten Personen. Wäre es auch möglich, sexualisierte Deepfakes einvernehmlich und gewaltfrei zu generieren?

Ana Ornelas: Ja. Darsteller*innen könnten ihre Bilder etwa gegen Bezahlung an eine Datenbank geben, mit der ein solches Modell trainiert wird. Sie würden für ihre Arbeit entlohnt und könnten zugleich die Kontrolle darüber behalten, welche Art von Inhalten damit generiert werden darf. Sie könnten zum Beispiel sagen, dass mit ihrem Material keine Szenarien von Pet Play erstellt werden dürfen, das sind erotische Rollenspiele, in denen ein Partner ein Tier spielt.

So ein Ansatz würde auch andere schützen. Denn das Trainingsmaterial für Deepfake-Generatoren stammt ja nicht nur aus Pornos. Viele der sogenannten Nudifier-Apps erstellen neben vermeintlichen Nacktbildern auch Bikini-Bilder. Diese reichen je nach Kontext oft schon aus, um jemanden gezielt anzugreifen und zu beschämen.

Das Trainingsmaterial dafür stammt von Instagram und Facebook, es wird dort ebenfalls ohne Zustimmung gescrapt. Wenn also jemand dein Bikini-Foto am Strand einsetzt, um ein Modell zu trainieren und mit diesem Modell ein Bikini-Bild einer anderen Person ohne deren Zustimmung zu generieren, wirst du davon nie erfahren.

netzpolitik.org: Einvernehmliche Datensets für sexualisierte Deepfakes – wie realistisch ist das?

Ana Ornelas: Technisch gesehen wäre das kein Problem. Wir sind dazu im Austausch mit einer Plattform für Trainingsdaten, die genau so eine Form von Einvernehmlichkeit und Kontrolle zulassen soll. Kollektive können dort selbst bestimmen: Wofür werden die Daten eingesetzt, wie viel sollen sie kosten?

Die Herausforderung liegt woanders: Sexarbeiter*innen wurden einfach zu oft von Tech-Konzernen in die Pfanne gehauen. Es würde also sehr viel Arbeit erfordern, um die Community von dieser Idee zu überzeugen.

„Frauenfeindlichkeit hindert Betroffene, gemeinsam zu kämpfen“

netzpolitik.org: Sexualisierte Deepfakes waren in Deutschland für ein paar Wochen Top-Thema. Endlich kamen Betroffene zu Wort, in Talkshows, Nachrichten und auf Bühnen. Von den betroffenen Darsteller*innen hat man aber kaum gehört. Warum?

Ana Ornelas: Die Öffentlichkeit sieht Pornodarsteller*innen im Allgemeinen nicht als Opfer – und ganz besonders nicht in diesem Fall. Die Mentalität ist: Deine Nacktaufnahmen sind doch eh im Internet, was hast du denn erwartet?

netzpolitik.org: Dabei ist die gemeinsame Betroffenheit doch eindeutig?

Ana Ornelas: Absolut. Wenn ich mit Überlebenden von Gewalt spreche, dann sind die Erfahrungen oft sehr ähnlich, egal ob es um Leute außerhalb der Szene geht oder um Sexarbeiter*innen. Die beschreiben das Gleiche: Ein Gefühl von Kontrollverlust oder dass ihnen ihr Körper nicht mehr gehört. Beide Seiten kennen auch diese Erfahrung, gesagt zu bekommen, man sei selbst Schuld an der Gewalt. Denn auch Nicht-Sexarbeiter*innen bekommen ja inzwischen zu hören: Warum hast du denn überhaupt Fotos von dir im Bikini im Internet veröffentlicht?

netzpolitik.org: Woran scheitert die Solidarität?

Ana Ornelas: Die meisten wollen nicht wie Sexarbeiter*innen behandelt werden, weil sie wissen, dass das eine schreckliche Behandlung ist. Sexualisierte Deepfakes stellen hier eine Bedrohung dar, denn es geht dabei auch um die Angst, dass es jede Frau treffen könnte – unabhängig davon wie “brav” sie ist oder wie sehr sie sich an die im Patriarchat vorgeschriebenen Grenzen von Sexualität und Lust hält. Die Botschaft ist: Deine Sexualität kann als Waffe gegen dich eingesetzt werden, unabhängig von deinem Verhalten.

Das heißt auch: Jede Frau kann jetzt wie eine Sexarbeiterin behandelt werden und die gleiche schreckliche Behandlung erfahren. Das will natürlich niemand, und so läuft hier ein erfolgreicher misogyner Mechanismus von “Teile und herrsche”.

Das alles ist übrigens nicht neu. Diese Spaltung zwischen vermeintlich respektablen Frauen und Sexarbeiter*innen passiert ja seit Jahrhunderten. Jetzt passiert es eben nur anhand einer neuen Technologie.

Deswegen frustriert es mich, dass wir über Deepfakes vor allem als technologisches Problem sprechen, das auf einer technischen Ebene gelöst werden kann. Wir sollten viel mehr über die darunter liegende Frauenfeindlichkeit sprechen. Frauenfeindlichkeit ist auch die Ursache für diese Kluft zwischen den Betroffenen, und hindert sie daran, sich zusammenzuschließen und gemeinsam zu kämpfen.

netzpolitik.org: Was würden Sie sich wünschen?

Ana Ornelas: Projekte und Selbsthilfegruppen könnten Sexarbeiter*innen öfter dazu einladen, ihre Erfahrungen und Perspektive zu teilen. Ich verstehe die Angst ziviler Betroffener, mit Sexarbeiter*innen in einen Topf geworfen zu werden. Aber wenn ich mir die Gespräche von beiden Seiten anhöre, gibt es tatsächlich viel mehr Gemeinsamkeiten als sich viele vorstellen. Wenn es also mehr sichere Räume für diesen Austausch gäbe, wäre das meiner Meinung nach hilfreich.

Mit neuen Gesetzen gegen Deepfakes

netzpolitik.org: In Deutschland hat das Bundesjustizministerium gerade einen Gesetzentwurf vorgelegt, der das Erstellen und Teilen von sexualisierten Deepfakes unter Strafe stellen soll. Die Täter*innen sollen mit bis zu zwei Jahren Haft bestraft werden. Halten Sie das für hilfreich?

Ana Ornelas: Derzeit sprechen wir nicht genug über die Täter*innen. Die Opfer werden aber von Menschen geschädigt, nicht von der Technologie.

Gleichzeitig sollten wir auf die finanzielle Motivation schauen, die dazu führt, dass etwa solche Nudifier-Apps angeboten werden. Die Verantwortlichen bieten ihre Apps teils unter täglich wechselnden Namen in den App Stores an, sie betreiben großen Aufwand und sie verdienen sehr viel Geld damit.

netzpolitik.org: Auf EU-Ebene haben sich Rat und Parlament gerade auf eine Vorschrift zu sexualisierten Deepfakes in der KI-Verordnung geeinigt. Verboten sind demnach KI-Anwendungen, mit denen man nicht-einvernehmlichen Deepfakes erstellen kann. Hat die EU Ihren Verband hierzu konsultiert?

Ana Ornelas: Ja, wir geben Rückmeldung zu den Vorschlägen. Ich freue mich sehr, dass der Fokus der Entwürfe von Parlament und Rat auf der fehlenden Zustimmung der Betroffenen liegt; das ist ein großer Schritt vorwärts. Gleichzeitig sollen Ausnahmen vom Verbot geschaffen werden. So soll es etwa erlaubt sein, Deepfakes zu erstellen, wenn die gezeigte Person nicht identifizierbar ist. Das halte ich für einen Fehler.

netzpolitik.org: Ihr Verband hat vor Kurzem eine Umfrage unter Sexarbeiter*innen gemacht, um deren Perspektiven auf Deepfakes abzufragen. Was kam dabei heraus?

Ana Ornelas: Der Bericht dazu ist noch nicht öffentlich. Was ich aber schon sagen kann: Die Community ist da sehr geteilt. Manche sind sehr optimistisch, was das Thema angeht. Sie sehen es vor allem als neue Möglichkeit, um Einnahmen zu generieren. Andere sind sehr besorgt und wünschen sich ein Verbot, zweifeln aber zugleich daran, dass Verbote tatsächlich helfen könnten. Es herrscht viel Unsicherheit, wie in der ganzen Gesellschaft. Wir sehen auch, dass die Technologie bereits gegen Sexarbeiter*innen eingesetzt wird, dass sie etwa mit Hilfe von Deepfakes erpresst werden.

netzpolitik.org: Wie können sich Darsteller*innen vor Deepfakes schützen?

Ana Ornelas: Sie tauschen sich untereinander aus, warnen sich etwa gegenseitig vor Kund*innen, die im Verdacht stehen, ihre Inhalte hinter der Paywall in andere Kanäle oder ins öffentliche Internet zu leaken. Manche experimentieren mit Fingerprinting-Technologien, um ihr Material zu kennzeichnen. Auch wir sind aber derzeit vor allem auf der Suche nach Lösungen dafür, wie wir mit diesen Technologien umgehen.