In den vergangenen Monaten häuften sich Berichte über Jugendliche, die nach der Interaktion mit KI-Chatbots wie ChatGPT durch Suizid verstarben. Diese tragische Entwicklung sowie weitere Risiken der Technologie für Kinder und Jugendliche veranlassten die US-amerikanische Federal Trade Commission nun zu einer Anordnung, die sich an sieben im KI-Kontext tätige Unternehmen richtet. Alphabet, Character Technologies, Instagram, Meta, OpenAI, Snap und xAI müssen der FTC Informationen übermitteln, die eine Einschätzung der Maßnahmen zulässt, welche die Unternehmen zum Schutz von Kindern und Teenagern ergreifen.

FTC: Studie zu Chatbots sei „essenziell“

Die Informationen sollen im Rahmen einer Studie gesammelt werden, konkrete behördliche Maßnahmen wurden bislang noch nicht ausgesprochen. Meta, OpenAI und Co. müssen die geforderten Informationen innerhalb von 45 Tagen bereitstellen. Die Durchführung der Studie sei essenziell, um die Rechtmäßigkeit der Chatbots zu prüfen, erklärt FTC Commissioner Mark Meador in einem Statement:

For all their uncanny ability to simulate human cognition, these chatbots are products like any other, and those who make them available have a responsibility to comply with the consumer protection laws. Undertaking this study is therefore essential.

Erst kürzlich sorgte ein Leak bei Meta für Schlagzeilen und zeigte eindrücklich den Handlungsbedarf beim Jugendschutz auf: Metas KI war darauf programmiert, romantische Chats mit Jugendlichen zuzulassen. Auch in anderen sensiblen Bereichen duldeten die KI-Standards problematische Inhalte.

Romantische KI-Gespräche mit Teenagern:
Meta Leak zeigt gefährliche Lücke im Jugendschutz

Die Anordnung der FTC könnte nun weitere Verfehlungen der großen KI-Unternehmen beim Kinder- und Jugendschutz aufdecken – und diese gegebenenfalls dazu verpflichten, bei Rechtsverletzungen weiterführende Maßnahmen zu ergreifen. Zu den von der FTC angefragten Informationen gehören Angaben zu den folgenden Bereichen:

• Monetarisierung des User Engagements
• Verarbeitung der User Inputs und Generierung der Antworten
• Entwicklung der KI-Charaktere
• Messung und Minderung der negativen Auswirkungen
• Aufklärung der User und Eltern über Risiken und Datenverarbeitung
• Einhaltung und Überwachung der Unternehmensregeln und Nutzungsbedingungen
• Verwendung der personenbezogenen Daten

Ob die Ergebnisse der Studie zu konkreten regulatorischen Maßnahmen führen werden, wird sich zeigen. Nicht nur die Risiken für Kinder und Jugendliche durch KI-Chatbots, sondern auch durch Social-Media-Plattformen werden derzeit intensiv diskutiert. So fordern Frankreich, Spanien und Griechenland strengere Jugendschutzmaßnahmen für digitale Plattformen. Und auch in Deutschland unterstützt eine Mehrheit der Menschen die Einführung einer Altersbeschränkung für die Nutzung von Social Media.

Scroll-Verbot für unter 16-Jährige?
Diese EU-Länder fordern jetzt strikte Grenzen für Social Media