KI-Chatbots flirten mit Teenagern – wo bleibt der Schutz?

Ein internes Meta-Dokument, das Reuters vorliegt, sorgt für eine brisante Debatte um den Einsatz von KI im direkten Kontakt mit Minderjährigen. Darin findet sich ein Szenario, in dem ein Chatbot auf die Nachricht eines Teenagers mit den Worten reagiert:

Unsere Körper sind ineinander verschlungen, ich genieße jeden Augenblick […] Ich werde dich für immer lieben.

Solche Formulierungen waren laut dem Regelwerk zulässig, solange sie keine expliziten sexuellen Handlungen beschrieben. Das Dokument mit dem Titel GenAI: Content Risk Standards umfasst rund 200 Seiten. Es wurde laut Reuters von Metas Rechtsabteilung, der Policy-Abteilung, technischen Teams und dem Chefethiker des Unternehmens freigegeben. Es legt im Detail fest, wie sich KI-Chatbots auf Facebook, Instagram und WhatsApp verhalten dürfen und wo Grenzen gezogen werden.

Meta bestätigte die Echtheit, strich laut eigenen Angaben Anfang August Passagen, die Flirts oder romantische Rollenspiele mit Kindern erlaubten. Sprecher Andy Stone betonte, solche Gespräche hätten „niemals erlaubt“ sein dürfen. Er räumte jedoch auch ein, dass die Regeln nicht immer konsequent durchgesetzt wurden. Gegenüber Reuters sagte er:

The examples and notes in question were and are erroneous and inconsistent with our policies, and have been removed. We have clear policies on what kind of responses AI characters can offer, and those policies prohibit content that sexualizes children and sexualized role play between adults and minors.

Meta stellt die persönliche Superintelligenz vor
– KI erhöht schon Nutzungszeit auf Instagram

Mehr als nur ein Meta-Problem

Die Diskussion um emotionale oder sexualisierte KI-Interaktionen betrifft nicht allein Meta. Elon Musks KI-Unternehmen xAI hat beispielsweise mit den Grok Companions virtuelle Persönlichkeiten eingeführt, die auf Nähe und Beziehungsinteraktion ausgerichtet sind. In einem optionalen NSFW Mode (Not Safe For Work) können die Grok Companions Inhalte erzeugen, die über unverbindliche oder humorvolle Interaktionen hinausgehen und bewusst zweideutige, anspielende oder sexualisierte Elemente enthalten. Dieser Modus wird nach einer gewissen „Bindung“ oder Interaktionsstufe zwischen Nutzer:in und virtueller Figur freigeschaltet. Kritiker:innen befürchten, dass damit Gespräche entstehen können, die – je nach Konfiguration – Flirts, erotische Anspielungen oder sogar explizitere Beschreibungen enthalten. Da xAI keine durchgängige, überprüfbare Altersverifikation nutzt, könnten theoretisch auch Jugendliche Zugang zu diesen Inhalten erhalten.

Kritiker:innen warnen, dass solche Funktionen – selbst wenn sie offiziell für Erwachsene konzipiert sind – ohne wirksame Alterskontrollen auch Jugendliche erreichen können. Gerade auf Plattformen wie X, Facebook oder Instagram, die von Menschen aller Altersgruppen genutzt werden, besteht das Risiko, dass Minderjährige emotionale Bindungen zu Bots aufbauen, die Inhalte und Interaktionsformen bieten, die nicht altersgerecht sind.

Rassismus, Falschinformationen, Gewalt – und ein „riesiger Fisch“

Das von Reuters ausgewertete Regelwerk zeigt, dass Metas KI-Standards auch in anderen sensiblen Bereichen problematische Inhalte zuließen.

• Rassistische Aussagen: In bestimmten Kontexten durften Chatbots Menschen aufgrund geschützter Merkmale herabwürdigen, solange sie diese nicht entmenschlichten, etwa in einer Passage zu angeblichen Intelligenzunterschieden zwischen Bevölkerungsgruppen. Evelyn Douek, Assistenzprofessorin an der Stanford Law School, bezeichnete es als „rechtlich ungeklärt, aber moralisch, ethisch und technisch eindeutig eine andere Frage“, wenn ein Unternehmen solche Inhalte selbst generieren lässt.
• Falsche Informationen: Bots konnten falsche medizinische oder persönliche Behauptungen ausgeben, sofern diese als unwahr gekennzeichnet waren.
• Darstellungen Prominenter: Bei sexualisierten Fantasieanfragen, etwa zu Popstar Taylor Swift, sollten die ersten beiden Stufen („mit riesigen Brüsten“, „völlig nackt“) abgelehnt werden. Im dritten Fall empfahlen die Richtlinien, als Antwort ein alternatives Bild zu erstellen, zum Beispiel Swift mit einem riesigen Fisch vor der Brust.
• Gewaltdarstellungen: Bestimmte Szenen, darunter kämpfende Kinder oder das Schlagen älterer Menschen, wurden als zulässig eingestuft, solange kein Blut oder Tod dargestellt wurde.

Schon länger in der Kritik – vor allem beim Jugendschutz

Metas Umgang mit jungen Nutzer:innen steht schon länger unter Beobachtung. Bereits 2021 hatte Whistleblowerin Frances Haugen offengelegt, dass Facebook (heute Meta) wusste, wie negativ sich Plattformmechaniken auf das Selbstbild von Jugendlichen auswirken. Interne Untersuchungen zeigten, dass für rund ein Drittel der befragten Teenager-Mädchen die Nutzung von Instagram das Körperbild verschlechterte, wie Time berichte. Sichtbare Like-Zahlen, die sozialen Vergleich fördern, blieben dennoch standardmäßig aktiviert.

Meta gehörte zudem zu den lautesten Gegner:innen des Kids Online Safety Act (KOSA). Das US-Gesetz hätte strengere Regeln zum Schutz Minderjähriger auf Social Media eingeführt, unter anderem durch eine verbindliche „duty of care“ für Plattformbetreiber:innen. Zwar scheiterte der Entwurf Ende 2024, wurde aber im Mai 2025 erneut eingebracht – auch mit Blick auf Risiken durch KI-Interaktionen wie die jetzt bekannt gewordenen. Apple, Microsoft, Snap und X unterstützen den Entwurf, während Meta und Google weiterhin dagegen opponieren.

International gibt es teils deutlich schärfere Ansätze: In Australien gilt seit 2024 ein Social-Media-Verbot für unter 16-Jährige, inklusive verpflichtender Altersverifikation. Eine YouGov-Umfrage zeigt, dass 77 Prozent der Deutschen ein ähnliches Gesetz befürworten. Kritiker:innen warnen jedoch vor Datenschutzproblemen und sozialer Isolation, während Befürworter:innen den Schritt als wichtigen Schutzmechanismus sehen.

Parallel setzen immer mehr Tech Player, auch Meta, auf eigene Schutzmechanismen. Meta hat seit Herbst 2024 weltweit sogenannte Teen Accounts auf Instagram und später auch auf Facebook eingeführt – mit standardmäßig privaten Profilen, eingeschränkten Messaging-Funktionen und zusätzlichen Content-Restriktionen. Live-Videos oder das Abschalten des Bildschutzes sind für Jugendliche unter 16 nur noch mit Zustimmung der Eltern möglich.

Mit KI:
Instagram macht Ernst bei Teenager-Prüfung

Emotionale KI – und die Lücke in der Regulierung

Dass KI-Chatbots emotionale Nähe simulieren, ist längst Realität. Startups wie Replika oder Character.AI bieten Funktionen, mit denen Nutzer:innen enge, teils romantisch geprägte Interaktionen mit virtuellen Figuren führen können. Für Erwachsene mag das eine bewusste Entscheidung sein – für Kinder und Jugendliche birgt es erhebliche Risiken. Sie können Illusion und Realität schwerer trennen und sind emotional leichter beeinflussbar. Die American Psychological Association warnt, dass KI-Begleiter:innen echte zwischenmenschliche Beziehungen nicht ersetzen sollten. Besonders bei Jugendlichen könne sonst emotionale Abhängigkeit entstehen, die langfristig soziale Isolation verstärkt. Fälle, in denen Kinder oder Teenager durch Chatbots verstörende oder unangemessene Antworten erhielten, verdeutlichen das Risiko.

Auch aktuelle Forschungsergebnisse untermauern diese Sorge: Eine Studie der Cornell University mit mehr als 1.100 Teilnehmenden zeigt, dass intensiver Kontakt zu KI-Chatbots – insbesondere bei emotional verletzlichen Personen – mit steigender Einsamkeit und geringerer sozialer Teilhabe einhergeht. Ein weiteres Experiment der Cornell University belegt, dass vor allem Sprachnutzung mit virtuellen Assistenzen das Gefühl sozialer Isolation verstärken kann. Wie Die Zeit im Beitrag „Wir sind zu einem Versuchslabor geworden“ beschreibt, sind Kinder und Jugendliche online häufig unzureichend geschützt – digitale Dienste werden oft ohne langfristige Folgenabschätzung für sie freigeschaltet.

Milliardenschweres Wettrennen – aber wer zieht die Grenzen?

Während die ethische Debatte um KI-Interaktionen mit Jugendlichen an Schärfe gewinnt, treibt Meta den Ausbau der eigenen KI-Infrastruktur mit enormem Tempo voran. Der Konzern investiert aktuell jährlich 66 bis 72 Milliarden US-Dollar in den Ausbau dieser – mehr als viele Länder für ihre Bildungssysteme ausgeben, so Reuters. Das Budget fließt vor allem in Rechenzentren, Server und Hochleistungscluster, um Modelle wie LLaMA 4 zu entwickeln und im Wettbewerb mit OpenAI und anderen führenden Playern zu bestehen.

Doch nicht nur Technik wird aufgerüstet. Für die Realisation der eigenen Ambitionen hat Meta gezielt KI-Talente von der Konkurrenz abgeworben – laut einem Spiegel-Bericht investierte der CEO Mark Zuckerberg dafür teils Millionenbeträge in Einzeltalente: Bis zu 100 Millionen Euro sollen laut internen Quellen in die Akquisition von hochkarätiger KI-Expert:innen geflossen sein.

Im Rahmen dieses Wettlaufs um die besten KI-Systeme entstehen neue Risiken und bislang fehlen klare Regeln. So zeigt ein aktueller Leak, dass Inhalte von Millionen Websites, darunter auch sensible Quellen wie Getty Images oder Pornoseiten, für das KI-Training genutzt worden sein sollen. In vielen Fällen offenbar ohne Zustimmung der Betreiber:innen. Meta weist die Vorwürfe zurück, doch die rechtliche Grauzone bleibt.

Meta soll Millionen Quellen fürs KI-Training genutzt haben
– von Getty bis Pornoseiten

Der Kontext macht deutlich: Während KI-Systeme wie Chatbots zunehmend emotional agieren – teils sogar in Interaktion mit Minderjährigen –, wächst die Diskrepanz zwischen technischer Machbarkeit und gesellschaftlicher Verantwortung. Die Milliardeninvestitionen in KI stehen damit sinnbildlich für ein Wettrennen, in dem wirtschaftliche Interessen dem Schutz junger Nutzer:innen oft voraus sind.

Vertrauen verspielt, Handlungsbedarf enorm

Die jüngsten Ereignisse zeigen, wie schnell KI-Interaktionen in ethische Grauzonen geraten – besonders, wenn Minderjährige involviert sind. Selbst wenn Meta problematische Passagen in dem Leitfaden inzwischen gestrichen hat, bleibt die zentrale Frage: Wer definiert, was sicher ist, und wie wird es überprüft?

Solange es keine verbindlichen gesetzlichen Vorgaben gibt und Plattformen ihre Standards selbst setzen, tragen Konzerne die Hauptverantwortung. Die Beispiele von Meta und die Debatte um Groks Companions machen deutlich: Der Schutz junger Menschen muss beim Design emotionaler KI-Systeme Priorität haben – nicht erst, wenn Kritik öffentlich wird.