Aus der Nische in die Newsfeeds: nicht-einvernehmliche, sexualisierte Deepfakes verbreiten sich zunehmend, nicht nur durch den kaum regulierten Chatbot Grok des rechtsradikalen Multi-Milliardärs Elon Musk.

Bereits im Jahr 2022 berichteten wir über teils populäre Apps, mit denen sich beliebige Gesichter auf die Körper von Pornodarsteller*innen montieren ließen. Nur wenige Jahre später waren die technischen Möglichkeiten ausgereifter, und offen zugängliche Shops boten an, Kleider in beliebigen Fotos durch nackte Haut zu ersetzen.

Wer solche Aufnahmen ohne Einvernehmen erstellt, übt digitale Gewalt aus. Jüngst hat die Debatte besonders Fahrt aufgenommen, weil massenhaft nicht-einvernehmliche, sexualisierte Deepfakes von Grok über den Twitter-Nachfolger X ein breites Publikum fanden.

Mithilfe von EU-Gesetzen will die gemeinnützige Organisation AlgorithmWatch nun etwas gegen das Phänomen unternehmen – und bittet Interessierte um Unterstützung. Was genau der NGO helfen würde, erklärt Tech-Forschungsleiter Oliver Marsh. Das Interview wurde aus dem Englischen übersetzt.

Internationale Netzwerke aus Deepfake-Anbietern

netzpolitik.org: Oliver, Warnungen vor der Gefahr durch nicht-einvernehmliche, sexualisierte Deepfakes gibt es schon länger. Welche Bedeutung hat das Phänomen heute?

Oliver Marsh: Eine große. Es ist bedauerlich, dass es erst ein Ereignis wie die aktuellen Vorfälle rund um Grok geben musste, bevor auch Aufsichtsbehörden und Regierungen das Problem als „dringend“ einstufen. Hoffentlich führt diese Dringlichkeit auch zu ernsthaftem Handeln, nicht nur auf Social-Media-Plattformen. Wir sollten uns fragen, was geschehen muss, um die Vielzahl der beteiligten Unternehmen in die Pflicht zu nehmen, darunter auch Anbieter großer Sprachmodelle. Sie müssen das Problem gemeinsam mit Regulierungsbehörden und Fachleuten angehen.

netzpolitik.org: Welche Unternehmen spielen eine Schlüsselrolle bei den Deepfakes?

Oliver Marsh: Dahinter steckt ein internationales Netzwerk aus Anbietern für Deepfake-Tools. Das Ökosystem betrifft auch große Plattformen. Auch ohne Grok hatte X bereits große Probleme mit nicht-einvernehmlicher Sexualisierung, etwa durch Netzwerke von Accounts, die dort Deepfake-Werkzeuge bewerben. Weitere Recherchen haben solche Probleme auch bei den Meta-Plattformen Facebook und Instagram gefunden, auf den App-Marktplätzen von Google und Apple und in der Google-Suche.

Auch Plattformen wie Reddit, Telegram und Discord werden genutzt, um Werkzeuge für Deepfakes zu verbreiten. Dort kursieren auch Tipps, wie Nutzende die Schutzmechanismen von weit verbreiteten Chatbots umgehen können, um solche Inhalte zu generieren. Und natürlich treiben Konzerne wie OpenAI, Google, Meta und Microsoft mit ihren KI-Anwendungen die Technologie voran, mit der sich nicht-einvernehmliche Inhalte einfacher erstellen lassen.

netzpolitik.org: Wie würde es konkret aussehen, wenn große Tech-Unternehmen erfolgreich gegen solche Deepfakes vorgehen?

Oliver Marsh: Die Plattformen würden sich zum Beispiel gegenseitig über entdeckte Accounts informieren, die solche Werkzeuge bewerben. Außerdem würden sie Aufsichtsbehörden und Fachleuten Informationen zur Verfügung stellen, damit sie das Problem weiter erforschen und etwas dagegen tun können. Genau so etwas ist bereits vor rund zehn Jahren geschehen, als Plattformen gemeinsam gegen Desinformation durch Accounts vorgegangen sind, die sich mit hoher Wahrscheinlichkeit der russischen Propaganda-Agentur „Internet Research Agency“ zuordnen ließen. In jüngerer Zeit ergreifen Plattformen jedoch weniger Initiative für solche Vorhaben.

Bisher nur wenige Hinweise eingegangen

netzpolitik.org: Per Online-Formular bittet ihr gerade die Öffentlichkeit um Hinweise auf Apps und Websites, mit denen sich nicht-einvernehmliche Deepfakes erstellen lassen. Warum?

Oliver Marsh: Über das Formular möchten wir jegliche Informationen sammeln, die uns dabei helfen, Posts, Accounts und Apps zu finden, die Menschen zu Werkzeugen für nicht-einvernehmliche Sexualisierung führen. Unser Fokus liegt auf den Meta-Plattformen Facebook und Instagram, auf X, dem Google Play Store und dem Apple App Store. Nützliche Hinweise sind zum Beispiel Stichwörter und Accounts, die wir auf den Plattformen suchen können.

netzpolitik.org: Wie gut klappt das mit den Hinweisen?

Oliver Marsh: Das Formular ist bereits seit Mitte vergangenen Jahres online. Bisher haben wir nur eine Handvoll Einreichungen erhalten; einige davon enthielten Hinweise auf mehrere Apps und Websites. Wir machen uns aber auch selbst auf die Suche und haben – was am meisten hilft – Partner in Journalismus und Forschung, mit deren Unterstützung wir unsere Datenbank erweitern können.

netzpolitik.org: Was genau macht ihr am Ende mit den entdeckten Posts, Accounts und Apps?

Oliver Marsh: Es ist äußerst schwierig, dafür zu sorgen, dass solche Inhalte ganz aus dem Netz verschwinden. Wir wollen die Verbreitung nicht-einvernehmlicher, sexualisierter Deepfakes jedoch einschränken. Unser Projekt soll vor allem prüfen, ob wir sehr große-Online Plattformen (VLOPs) mithilfe des Gesetzes über digitale Dienste (DSA) dazu bringen können, das Problem effektiv anzugehen.

netzpolitik.org: Der DSA verpflichtet Plattformen nicht nur dazu, einzelne gemeldete Inhalte zu prüfen. Sehr große Plattformen müssen auch generell einschätzen, welche systemischen Risiken von ihnen ausgehen und dagegen Maßnahmen ergreifen.

Oliver Marsh: Ja, unsere Hoffnung ist, dass sehr große Online-Plattformen selbst aktiv werden, und Posts über solche Werkzeuge sowie nicht-einvernehmlich erzeugte Bilder eindämmen. Immerhin sind sie es, die ein riesiges Publikum haben und neue Nutzende damit in Kontakt bringen könnten.

Hoffnung auf Durchsetzungswillen der EU

netzpolitik.org: Seit der Machtübernahme der rechtsradikalen Trump-Regierung stößt Tech-Reglierung aus der EU bei US-Anbietern auf vehemente Gegenwehr. Andererseits hat Donald Trump selbst mit dem Take It Down Act ein Gesetz gegen Deepfakes unterzeichnet. Müsste die US-Regierung es also nicht begrüßen, wenn man auch auf Basis des europäischen DSA gegen sexualisierte Deepfakes vorgeht?

Oliver Marsh: Ich bezweifle, dass die Trump-Regierung diesen Zusammenhang erkennen wird. Egal, was die EU tut, die US-Regierung wird deren Regulierung attackieren, verzerrt darstellen und allein US-Gesetze als brillant bezeichnen. Aber ich hoffe, dass die EU dennoch gezielte und entschiedene Maßnahmen gegen nicht-einvernehmliche sexualisierte Inhalte ergreift und gegen alle Widerstände klar kommuniziert, dass es ihr nicht um Zensur oder Machtpolitik geht.

netzpolitik.org: Wenn Leser*innen euch Hinweise auf bedenkliche Deepfake-Angebote schicken möchten, was sollten sie beachten? Immerhin handelt es sich um potentiell illegale Inhalte.

Oliver Marsh: Menschen sollten illegale Inhalte nicht weiterverbreiten, selbst wenn sie dabei helfen möchten, Belege zu sammeln. Tipps zum Umgang gibt es bei der Internet-Beschwerdestelle, zum Beispiel: keine Inhalte speichern, nicht selbst weiter recherchieren.

Was wir suchen, sind Eckdaten, die uns dabei helfen, unsere textbasierte Suche zu erweitern. Das sind zum Beispiel die Namen von Firmen und Apps oder auch Begriffe, mit denen Menschen verschleiern, wofür ihre Anwendung da ist, zum Beispiel „undress“. Auch der Kontext eines Fundes ist hilfreich, etwa, dass er auf einer bestimmten Plattform beworben wurde.

netzpolitik.org: Vielen Dank für das Interview!

Der Identitätsverwaltungsdienst Entra ID von Microsoft soll im März Passkey-Profile erhalten. Microsoft kündigt an, die Funktion im März automatisch scharfzuschalten.

Im Microsoft-365-Message-Center kündigt das Unternehmen diesen Schritt an (MC1221452, Kopie bei merill.net). „Beginnend im März 2026 wird Microsoft Entra ID automatisch Passkey-Profile mit einer neuen Eigenschaft passkeyType für gerätegebundene und synchronisierte Passkeys aktivieren“, erklärt Microsoft. „Tenants, die nicht mittels Opt-in zustimmen, werden automatisch unter Erhalt der bisherigen Einstellungen migriert. Von Microsoft verwaltete Registrierungskampagnen werden auf Passkeys aktualisiert.“ IT-Verantwortlichen empfiehlt Microsoft, Vorbereitungen und Konfigurationen vor dem allgemeinen Rollout vorzunehmen.

Gruppenbasierte Einstellungsvorgaben

Admins sollen gruppenbasierte Passkey-Einstellungen vornehmen und die neue passkeyType-Eigenschaft nutzen können. Letztere erlaubt IT-Verwaltern, Passkeys auf gerätegebundene Passkeys, synchronisierte Passkeys (etwa mittels Passwort-/Passkey-Manager) oder beides einzustellen.

Das neue Schema wird ab März 2026 verteilt. Wenn Tenants die Passkey-Profile nicht nutzen wollen, werden bei der Umstellung bestehende FIDO2-Passkey-Authentifizierungsmethoden in ein „Default Passkey Profile“ verschoben. Der passkeyType-Wert wird basierend auf den bisherigen Einstellungen des Tenants gesetzt. Haben Tenants synchronisierte Passkeys aktiviert, werden von Microsoft verwaltete Registrierungskampagnen auf sogenannte Target-Passkeys umgestellt.

Die Passkey-Profile werden ab Anfang März global allgemein verfügbar, die Umstellung soll Ende März abgeschlossen sein. Die Umstellung von Tenants, die nicht mittels Opt-in teilnehmen, erfolgt von Anfang April bis Ende Mai 2026.

Als Vorbereitung empfiehlt Microsoft, dass diejenigen, die eine andere Konfiguration als die Standardvorgabewerte einsetzen wollen, mittels Opt-in an der Umstellung teilnehmen, bevor die automatische Aktivierung beginnt. Dann sollen sie den standardmäßigen passkeyType des Default Passkey Profile auf die gewünschte Einstellung setzen. Außerdem sollen Admins die Registrierungskampagnen-Konfiguration prüfen, insbesondere dann, wenn sie auf „von Microsoft verwaltet“ gesetzt ist.

Anfang Januar hatte Microsoft die Zertifikate von Entra aktualisiert. Konkret hat das Unternehmen die DigiCert-Zertifikate von der G1-Root-CA zur G2-Root-CA migriert.

(dmk)

In vielen Schulen arbeiten Schüler*innen mit dem Softwarepaket Microsoft 365 Education. Doch das spielt scheinbar rechtswidrig Tracking-Cookies aus. Damit steht die Nutzung von Microsoft 365 Education – womöglich sogar aller Microsoft-365-Produkte – in der EU generell in Frage.

Die österreichische Datenschutzbehörde entschied im Fall einer Schülerin, die Microsoft 365 Education über einen Browser nutzte. Dabei installierte Microsoft ohne Wissen und Zustimmung der Schülerin fünf Tracking-Cookies auf deren Gerät. Wie ein Netzwerk-Mitschnitt belegt, wurden nachfolgend persönliche Informationen der Schülerin an Microsoft gesendet. Und das obwohl die Schülerin zuvor in den Datenschutzeinstellungen wo immer möglich die Datenübermittlung abgelehnt hatte.

Die Datenschutzbehörde hat Microsoft nun aufgefordert, das Tracking der Beschwerdeführerin innerhalb von vier Wochen einzustellen. Sollte Microsoft nicht einlenken, sind Geldstrafen möglich. Die Verbraucherschutzorganisation noyb, die die zugrundeliegende Beschwerde bei der Datenschutzbehörde eingereicht hatte, geht allerdings davon aus, dass Microsoft vor das österreichische Bundesverwaltungsgericht zieht.

Max Schrems von noyb sagt: „Unternehmen und Behörden in der EU sollten konforme Software verwenden. Microsoft hat es erneut versäumt, die gesetzlichen Vorschriften einzuhalten.“

Die Verantwortung von Microsoft

Die Cookies wurden 2023 gefunden. 2024 hat die Schülerin gemeinsam mit der NGO noyb Beschwerden darüber bei der Schule, der Schulbehörde und bei Microsoft eingereicht. Microsoft erklärte laut noyb daraufhin, dass die Schulen, die Microsoft 365 Education einsetzen, selbst für den Datenschutz zuständig seien.

In der zugrundeliegenden Beschwerde schreibt noyb, dass es problematisch sei, wie die Verantwortung für die Datenverarbeitung in den Microsoft-Verträgen geregelt sei: „Für die betroffenen Personen führt dies zu Situationen, in denen der vermeintliche ‚Auftragsverarbeiter‘ (hier: Microsoft) nicht auf die Ausübung der Rechte aus der DSGVO reagiert, während der vermeintliche ‚Verantwortliche‘ (hier: die Schule) nicht in der Lage ist, solchen Anfragen nachzukommen.“

2025 hatte die Datenschutzbehörde sich schon einmal mit dem Fall beschäftigt und festgestellt, dass Schule, Schulbehörde und Microsoft die Schülerin über die Datenerhebung hätten informieren und umfassend auf eine Anfrage der Schülerin nach den erhobenen Daten antworten müssen.

Microsoft-Cookies auch bei Erwachsenen problematisch

Der aktuelle Beschluss beschäftigt sich nun konkret mit den Tracking-Cookies, die Microsoft auf dem Gerät der Schülerin installierte. Solche Cookies schneiden das Nutzungsverhalten mit, identifizieren Nutzende eindeutig und werden oft zum Ausspielen von Werbung genutzt.

Laut noyb hat Microsoft gegenüber der österreichischen Datenschutzbehörde versucht, die EU-Tochtergesellschaft in Irland für zuständig zu erklären. Dort werden EU-Datenschutzbestimmungen kaum durchgesetzt. Doch die Datenschutzbehörde stellte fest, dass die relevanten Entscheidungen in den USA getroffen werden.

Weil das unautorisierte Tracking nicht nur bei Minderjährigen illegal ist, geht noyb davon aus, dass die Nutzung von Microsoft 365 auch bei erwachsenen EU-Usern juristische Probleme aufwirft. Tracking erscheine auch in Microsoft 365, also der gewöhnlichen Office Suite, wahrscheinlich, wenn dies selbst bei Minderjährigen in Microsoft 365 Education stattfinde. Die deutschen Datenschutzbehörden hatten bereits 2022 festgestellt, dass Microsoft 365 nicht DSGVO-konform betrieben werden kann.