Im Jahr 2020 veröffentlicht der britische TV-Sender Channel 4 eine sonderbare Weihnachtsansprache. Zu sehen ist eine Person, die man auf den ersten Blick für die (inzwischen verstorbene) Königin Elisabeth II. halten muss. Nur ihre Worte klingen zunehmend weniger royal. Schließlich besteigt die vermeintliche Queen ihren Schreibtisch und legt unter Konfetti-Regen einen TikTok-Tanz hin.

Die Auflösung der Szene zeigt Channel 4 direkt im Anschluss: Die mit vergoldetem Stuck verzierten Wände weichen einem Greenscreen. Statt der Königin kommt eine Darstellerin zum Vorschein. Schon damals nannte man die eingesetzte Tricktechnik „Deepfake“. Es geht um synthetische Darstellungen, die täuschend echt aussehen. Heute kann jeder Mensch mit öffentlichen Online-Werkzeugen solche und noch aufwendigere Inhalte selbst erstellen. Möglich machen es Bild- und Videogeneratoren, die viele als KI bezeichnen.

Die Weihnachtsansprache der falschen Queen ist nur ein Beispiel aus einem lesenswerten Bericht über die Gefahren und Potenziale von Deepfakes, den Forschende im Auftrag des Bundestags erstellt haben. Das im Januar veröffentlichte Papier kommt aus dem Büro für Technikfolgen-Abschätzung. Es berät das Parlament in Fragen von Wissenschaft und Technik mit nach eigener Aussage unparteiischen Analysen.

Auf 46 Seiten buchstabieren die Forschenden aus, was mit Deepfakes alles möglich ist; wo sie Schaden anrichten oder Gutes bewirken können. Teils sehen die Forschenden Bedarf für strengere Regulierung, teils machen sie aber auch klar: Mit Gesetzen allein kommt man nicht weiter. Die Zusammenfassung.

Deepfakes: Das sind die Gefahren

Deepfakes können „sowohl für böswillige als auch für wohlmeinende Zwecke angewendet werden“, schreiben die Forschenden. Mindestens vier konkrete Risiken lassen sich aus dem Bericht zusammenfassen.

• Nicht-einvernehmliche, sexuelle Aufnahmen: Mit Deepfake-Technologie können Menschen beliebige Gesichter fotorealistisch in Pornos montieren; sie können Kleider in Aufnahmen durch nackte Körper ersetzen – oder gänzlich neue Aufnahmen generieren. Die Forschenden schätzen: Dieses Phänomen ist das häufigste. Betroffen seien „fast ausschließlich“ Frauen. Sie würden bloßgestellt, herabgewürdigt, eingeschüchtert und erpresst. Diese Fälle seien nicht als individuelle Übergriffe zu werten, sondern hätten gesellschaftliche Auswirkungen, „indem sie die Gleichstellung von Frauen im öffentlichen, digitalen Raum angreifen“.
• Politische Manipulation: In einem Deepfake-Video aus dem Jahr 2022 hatte ein vermeintlicher Präsident Selenskyj die Kapitulation der Ukraine vor dem Aggressor Russland erklärt. Mit diesem Beispiel illustrieren die Forschenden die Gefahr von politisch motivierten Deepfakes. Sie können auf die öffentliche Meinungsbildung abzielen oder Unruhen anheizen. Bereits der Verdacht, dass eine Aufnahme gefälscht ist, könne „den gesellschaftlichen Zusammenhalt destabilisieren“. Nennenswerte Auswirkungen hätten solche politischen Deepfakes allerdings noch nicht gehabt, „trotz vieler Fälle insbesondere im Kontext von Wahlkämpfen“.
• Gefälschte Aussagen und Beweise: Immer wieder dienen Kamerabilder als Beweise vor Gericht. Aber Deepfakes „stellen grundlegend die Glaubwürdigkeit von Bild-, Ton- und Videodokumenten in juristischen Verfahren infrage“, warnen die Forschenden. Durch vermeintliches Beweismaterial könnten Menschen auch unberechtigt in Verdacht geraten. Als weiteres Problem nennen die Forschenden virtuelle Gerichtsverhandlungen. Hier sei das Risiko erhöht, dass eine per Video zugeschaltete Person ein Deepfake ist.
• Betrug: Mit Deepfakes können Kriminelle Gesichter und Stimmen imitieren und sich als jemand anderes ausgeben. Die Forschenden schreiben von einer „neuen Form des Enkeltricks“. Als Beispiel nennen sie einen britischen Fall aus dem Jahr 2019: Die Führungskraft eines Unternehmens hatte 220.000 Euro auf ein ungarisches Konto überwiesen, weil der vermeintliche Chef per Telefon darum gebeten hatte.

Deepfakes: Das sind die Potenziale

Deepfakes sind ambivalent. Mindestens fünf Einsatzmöglichkeiten beschreiben die Forschenden in ihrem Bericht als positiv, einige aber mit ethischen Bedenken.

• Medien: „Deepfakes sind ein neues Werkzeug, um der eigenen Kreativität Ausdruck zu verleihen“, schreiben die Forschenden. Möchte man etwa Filme in andere Sprachen übersetzen, lassen sich mit Deepfakes die Lippenbewegungen anpassen. Gealterte Darsteller*innen können jüngere Versionen von sich selbst verkörpern. Das werfe allerdings die Frage auf, ob es Filme mit bereits verstorbenen Schauspieler*innen geben dürfe. Satirische Deepfakes wiederum könnten „durch humoristische Kritik“ Debatten anstoßen. In journalistischen Videos könnten Deepfakes Quellen verfremden, die anonym bleiben wollen.
• Bildung: Für TV-Dokus stellen Medienmacher*innen gerne historische Szenen nach. Deepfakes könnten wichtige Persönlichkeiten oder Ereignisse der Zeitgeschichte besonders eindrücklich erfahrbar machen, schreiben die Forschenden. In der beruflichen Bildung wiederum können Lehrkräfte mithilfe von Deepfakes gefährliche Situationen besser simulieren.
• Gesundheit: Diese Anwendungsfälle werden gerade noch erforscht, heißt es im Bericht. Zum Beispiel könnten Menschen, die nach einer OP nicht mehr wie zuvor sprechen können, ihre Stimme synthetisch erzeugen lassen. Auch würden Wissenschaftler*innen diskutieren, ob Deepfakes Menschen dabei helfen können, bestimmte Traumata zu verarbeiten.
• Verdeckte Ermittlungen: Auf ethisch und juristisch dünnem Eis bewegen sich mehrere Anwendungsfälle für die Polizei. Schon heute darf sich die Polizei mit künstlich erzeugten Aufnahmen sogenannter Kinderpornografie Zutritt zu Netzwerken von Pädokriminellen verschaffen – obwohl der Besitz dieses Materials strafbar ist. Deepfake-Technologie macht es zunehmend einfacher, solche Darstellungen zu generieren. Darüber hinaus diskutieren Behörden, ob sie Deepfakes für verdeckte Ermittlungen einsetzen können. Konkret könnten Beamt*innen dem Bericht zufolge die Stimme von Menschen aus dem Umfeld eines Verdächtigen imitieren. „Nach derzeitiger Rechtslage ist ein solches Vorgehen in Deutschland allerdings nicht möglich“, schreiben die Forschenden.
• Öffentliche Kommunikation der Polizei: Mit Deepfake-Technologie kann die Polizei Fotos von Vermissten bearbeiten, die inzwischen älter aussehen müssten, wie die Forschenden erklären. Auch bei öffentlichen Aufrufen könnten Deepfakes zum Einsatz kommen. Als Beispiel nennt der Bericht ein Video der niederländischen Polizei aus dem Jahr 2022: Darin bittet ein per Deepfake animierter, getöteter Jugendlicher die Öffentlichkeit um Hinweise auf seinen eigenen Tod. Ethische Bedenken äußern die Forschenden an dieser Stelle nicht.

Das schützt schon heute vor Deepfakes

Das eine Anti-Deepfake-Gesetz gibt es nicht, stattdessen aber ein Bündel an Regulierungen je nach Art des Deepfakes. Teils unterscheiden sich die Vorschriften in Deutschland, Europa und anderen Ländern der Welt.

• Nicht-einvernehmliche, sexuelle Deepfakes sind in der EU strafbar, zumindest, wenn Menschen sie verbreiten. Das verlangt die neue Richtlinie zur Bekämpfung von Gewalt gegen Frauen, die Mitgliedstaaten wie Deutschland noch umsetzen müssen. In den USA reguliert der Take It Down Act das Phänomen. Das aktuelle deutsche Strafrecht bietet generell für betroffene bildbasierter Gewalt noch einen Flickenteppich an Regelungen.
• Deepfakes von Politiker*innen im Vorfeld von Wahlen sind in einigen US-Bundesstaaten reguliert, wie der Bericht ausführt. Konkret geht es um Deepfakes, die „darauf abzielen, den Ruf eines Kandidaten zu schädigen oder das Ergebnis einer Wahl zu beeinflussen“; ausdrücklich ausgenommen sind demnach Parodie und Satire.
• Eine Kennzeichnungspflicht von Deepfakes steht in der KI-Verordnung (AI Act) der EU. Anbieter von KI-Systemen müssen demnach dafür sorgen, dass KI-Erzeugnisse einen maschinenlesbaren Hinweis verpasst bekommen. Die Maßnahmen werden jedoch als „ineffektiv und nicht ausreichend“ erachtet. Selbst korrekt gekennzeichnete Inhalte würden viele Leute erreichen.
• Meldeverfahren und Moderation bei rechtswidrigen Inhalten schreibt in der EU das Gesetz über digitale Dienste (DSA) vor, und betrifft damit auch rechtswidrige Deepfakes. Kritik gibt es aber bei der Umsetzung: So schreibe das Gesetz keine konkreten Fristen dafür vor, wie schnell Anbieter reagieren müssen.
• Das deutsche Zivilrecht gibt Betroffenen von Deepfakes je nach Fall verschiedene Mittel an die Hand. Zum Beispiel schützt das allgemeine Persönlichkeitsrecht das Recht am eigenen Bild, den Schutz der persönlichen Ehre – oder „das Recht, von der Unterschiebung nicht getätigter Äußerungen verschont zu bleiben“, führen die Forschenden aus. All das kann bei nicht-einvernehmlichen Deepfakes relevant sein. Die Krux ist hier eher: Betroffene haben es schwer, ihre Ansprüche vor Gericht durchzusetzen.
• Das deutsche Strafrecht erfasst mehr als nicht-einvernehmliche sexuelle Deepfakes. Wenn Deepfakes zum Beispiel genutzt werden, um Menschen Geld aus der Tasche zu ziehen, kann Betrug in Frage kommen. Erstellen Kriminelle per Deepfakes kompromittierendes Material und drohen mit dessen Veröffentlichung, können das Erpressung oder Nötigung sein, wie der Bericht ausführt.

Das sind die Lücken beim Schutz vor Deepfakes

Das Wort „Lücken“ taucht im Bericht insgesamt acht Mal auf. Die Forschenden machen aber auch klar, dass die gestückelte Regulierung von Deepfakes einen tieferen Sinn hat: Das deutsche Rechtssystem ist nämlich technologieneutral. Das heißt, es orientiert sich nicht an bestimmten Technologien wie Deepfakes, sondern an Rechtsgütern wie Datenschutz, Ehre oder dem Recht am eigenen Bild.

Manches wiederum lässt sich nicht mit Gesetzen lösen. Das zeigen zumindest einige der offenen Baustellen, die aus dem Bericht hervorgehen.

• Im deutschen Strafrecht erkennen die Forschenden Lücken im Kontext von nicht-einvernehmlichen sexuellen Deepfakes. Hier müsse die EU-Richtlinie, die deren Verbreitung unter Strafe stellt, „noch in nationales Recht umgesetzt werden“.
• Die Durchsetzung des Rechts kann dem Bericht zufolge daran scheitern, dass Ermittler*innen schlicht nicht wissen, welche Behörde zuständig ist. „Deepfakes können global verbreitet werden, ihre Bekämpfung erfordert daher regelmäßig eine internationale Zusammenarbeit“, so der Bericht.
• Beim Schutz vor Diskriminierung sehen die Forschenden eine weitere Lücke. So könnten KI-generierte Darstellungen Stereotype von Geschlechtern darstellen oder rassistische Annahmen reproduzieren. Konkretes Beispiel aus dem Bericht: wenn KI-generierte „Terroristen“ stets „männlich“ sind und eine „dunkler Hautfarbe“ hätten. Zwar ist der Schutz vor Diskriminierung auch in der EU gesetzlich verankert; in der Praxis gebe es bei entsprechenden Deepfakes aber kaum Handhabe, wie aus dem Bericht hervorgeht.
• Zuverlässig erkennen lassen sich Deepfakes nicht. Zwar entwickeln Forschende zunehmend bessere Software dafür, doch im Gegenzug lassen sich auch KI-Systeme gezielt darauf trainieren, Deepfake-Detektoren zu täuschen. Das Ergebnis ist ein „Katz-und-Maus-Spiel“, schreiben die Forschenden. „Detektoren erweisen sich daher in ihrer Effektivität als zeitlich begrenzt und laufen den Weiterentwicklungen von Deepfakes stets hinterher.“
• Mehr öffentliche Aufklärung über Fälle von schädigenden Deepfakes ist laut Bericht eine Gegenmaßnahme, „um die Aufmerksamkeit für das Problem zu erhöhen und Schutzmaßnahmen zu verbessern“. An dieser Stelle gehen die Forschenden allerdings nicht darauf ein, dass Berichte über Deepfakes auch deren Reichweite erhöhen.
• Standards und Regeln im Umgang mit KI-generierten Inhalten sind eine weitere Option, so die Forschenden. Das betreffe etwa Parteien und Medien. „Auf diese Weise kann die Grenze zwischen kreativen und gefahrlosen und schädigenden Anwendungen deutlich gemacht werden.“