Sexualisierte KI-Inhalte: EU startet offizielles Verfahren gegen X und Grok

Dass mit xAIs generativem KI-Chatbot Grok massenhaft sexualisierte Bilder von Frauen und Kindern auf X generiert worden sind, führt zu Konsequenzen für Elon Musks Firmen. Nach weiteren Staaten hat nun auch die EU-Kommission ein offizielles Prüfverfahren eingeleitet.

Bei dem neuen Prüfverfahren der EU geht es grundsätzlich um die Frage, ob X die Risiken ordnungsgemäß bewertet hat, die von den neuen Grok-Bildfunktionen ausgehen. Dabei geht es vor allem um das Verbreiten illegaler Inhalte wie manipulierte und sexuell eindeutige Bilder sowie Inhalte, die sexuellen Kindesmissbrauch darstellen könnten. „Sexuelle Deepfakes von Frauen und Kindern sind eine gewalttätige, inakzeptable Form der Erniedrigung“, sagt Henna Virkkunen, Exekutiv-Vizepräsidentin für technologische Souveränität, Sicherheit und Demokratie.

Es handelt sich um ein Verfahren im Rahmen des Digital Service Act (DSA). Die alten DSA-Verfahren aus dem Jahr 2023 wurden ebenfalls verlängert. In diesem wurde bereits eine Geldbuße verhängt.

Massenhaft sexualisierte Deepfakes von Frauen und Kindern

Was bei X über den Jahreswechsel hinaus lief, war eine Art Deepfake-Trend. Nutzer verwendeten eine neue Bildfunktion von Grok, um Bilder von Prominenten, Frauen und auch Kindern zu bearbeiten. Diese wurden dann in Bikinis oder sexualisierten Posen dargestellt. Auf X reichte es dabei, den Chatbot mit @Grok entsprechend aufzufordern.

• KI-Bildbearbeitung auf X: Grok erstellt sexualisierte Inhalte von Frauen und Minderjährigen

Die Bearbeitung fand teilweise direkt unter den Postings der Betroffenen statt. Diese wurden aber nicht darüber informiert, dass solche Inhalte erstellt worden sind.

Das Ausmaß der Deepfakes war enorm. Laut einer Analyse wurden teils mehrere Tausend Bilder pro Stunde generiert, berichtete Bloomberg.

Weltweit laufen Verfahren

Weltweit kündigten Staaten rechtliche Konsequenzen an. Die Vorwürfe sind unter anderem sexuelle Gewalt gegen Frauen und dass auf X massenhaft Darstellungen von Kindes­missbrauch verbreitet worden sind. In den USA hat etwa das Justiz­ministerium aus Kalifornien ein Verfahren eröffnet. In Malaysia und Indonesien wurde Grok aufgrund der sexualisierten Deepfakes blockiert.

In Europa hatten französische Behörden als erstes Ermittlungen aufgenommen. Die britische Medienaufsicht Ofam folgte in der letzten Woche. Nun also die EU.

Auf X wurde der Bildgenerator mittlerweile eingeschränkt. Nur zahlende Nutzer können die Grok-Bildfunktion noch verwenden. In einer Stellungnahme erklärte die Plattform, dass man Nutzer auf diese Weise leichter zu Verantwortung ziehen könne, wenn diese gegen das Gesetz verstoßen. X verlagert die Verantwortung also auf die Nutzer, die entsprechende Inhalte erstellt haben.

In manchen Ländern geht X mittels Geoblocking noch weiter, heißt es in einer Stellungnahme, von der der Guardian berichtet. Sofern es in den jeweiligen Staaten illegal ist, wurden „technische Maßnahmen ergriffen“, um zu verhindern, dass mit Grok Bilder von realen Personen bearbeitet werden, die diese „in freizügiger Kleidung wie Bikinis, Unterwäsche und anderen freizügigen Kleidungsstücken“ zeigen.

Kritiker halten die Einschränkungen aber für lückenhaft, weil diese vor allem die öffentliche Bildgenerierung betreffen. Über die Grok-App sind entsprechende Bearbeitungen aber noch möglich.