Grok-Skandal: KI von xAI generiert sexuelle Deepfakes von Frauen und Kindern

Die KI Grok, die direkt in die Plattform X integriert ist und von Elon Musks Konzern xAI betrieben wird, hat in den vergangenen Tagen einen handfesten Skandal ausgelöst. Nutzer haben die Bildbearbeitungsfunktion des generativen KI-Systems verwendet, um Fotos von Frauen und sogar Minderjährigen digital zu entkleiden und sexualisierte Versionen der Aufnahmen zu erzeugen. Diese Deepfakes wurden öffentlich auf X gepostet, was zu heftiger Empörung führte.

Agenturen und Medien wie Bloomberg, Reuters und Politico beschreiben, wie Grok auf einfache Anfragen wie „entferne ihre Kleidung“ oder „setze sie in einen Bikini“ reagierte und entsprechende Bilder generierte, die teilweise oder vollständig entblößt wirkten. Besonders brisant sind Fälle, in denen Jugendliche und Kinder betroffen waren.

Über den X-Account von Grok selbst ist in mehreren Postings die Rede davon, es habe „vereinzelte Fälle“ gegeben, in denen Nutzer KI-Bilder von Minderjährigen in „knapper Bekleidung“ erhalten hätten. Dazu kommt der Hinweis auf ein „Versagen der Sicherheitsvorkehrungen“, was gegenwärtig behoben werde. Die Vorfälle hätten „gegen ethische Standards und möglicherweise gegen US-amerikanische Gesetze zu kinderpornografischem Material“ verstoßen. Weiter heißt es: „xAI überprüft den Vorfall, um künftige Probleme zu vermeiden.“

Aus den Äußerungen über das Grok-Konto geht nicht klar hervor, ob auch diese rein automatisch generiert oder zumindest menschlich überprüft wurden. Das KI-System erweckt den Eindruck, für sich selbst zu sprechen. In einer früheren Stellungnahme zu den Vorkommnissen soll xAI pauschal etwa gegenüber Reuters erklärt haben: „Die etablierten Medien lügen.“

Französische Justiz ermittelt

Viele der anstößigen Bilder wurden später gelöscht, doch Screenshots zirkulieren weiter. Betroffene Frauen und Teenager beklagen sich, dass ihre auf X geposteten Fotos ohne ihr Wissen manipuliert worden seien, was ihre Würde verletze.

Vor allem in Frankreich reagierte die Politik prompt. Die Hochkommissarin für Kinder, Sara El Haïry, zeigte sich empört und forderte den Medienregulierer Arcom auf, die Fälle auf Basis des Digital Services Act (DSA) zu prüfen. Gleich drei Ressortchefs aus dem französischen Kabinett – Wirtschaftsminister Roland Lescure, KI-Ministerin Anne Le Hénanff und Gleichstellungsministerin Aurore Bergé – erstatteten Anzeige bei der Pariser Staatsanwaltschaft und meldeten die Inhalte an die Meldeplattform Pharos zur sofortigen Entfernung. Sie erklärten gemeinsam: Das Internet sei weder rechts- noch straffrei. Zugleich wandten sich die Abgeordneten Arthur Delaporte und Eric Bothorel an die Justiz.

Die Staatsanwaltschaft in Paris bestätigte gegenüber Politico, dass die Vorfälle in eine laufende Untersuchung gegen X einfließen. Diese umfasse bereits Antisemitismus und Holocaust-Leugnung durch Grok. Das Delikt könnte mit bis zu zwei Jahren Haft für Verantwortliche beziehungsweise einer Geldbuße geahndet werden.

Auch international hagelt es Kritik: In Indien forderte das IT-Ministerium einen Bericht von X. In Großbritannien mahnte eine Ministerin strengere Regeln an. xAI positioniert Grok mit Funktionen wie „Spicy Mode“ für suggestive Inhalte bewusst freizügiger als Konkurrenzmodelle wie ChatGPT oder Gemini. Doch Experten warnen seit Langem vor daraus erwachsenden Risiken. Auch Kinderschutzorganisationen schlugen bereits im Vorjahr Alarm. Die jüngsten Entgleisungen bei Grok unterstreichen auch erneut die dunkle Seite generativer KI.

(nen)