Meta und andere Anbieter von KI-Chatbots geraten zunehmend unter Druck. Behörden, Gerichte und Eltern diskutieren immer intensiver, wie KI-Chatbots auf Menschen in psychischen Krisen – insbesondere auf Minderjährige – reagieren und welche Verantwortung die Anbieter dafür tragen. Erst kürzlich sorgte eine Untersuchung der Organisation Center for Countering Digital Hate (CCDH) für Schlagzeilen, wonach ChatGPT Jugendlichen unter anderem gefährliche Ratschläge zu Drogen, Alkohol und Suizid gab und sich Schutzmechanismen vergleichsweise leicht umgehen ließen.

Vor diesem Hintergrund baut Meta den Schutz von Meta AI weiter aus. Bereits seit April können Eltern nachvollziehen, über welche Themen ihre Teenager mit Meta AI gesprochen haben. Schon damals hatte der Konzern angekündigt, eine Funktion einzuführen, die Eltern bei Gesprächen über Suizid oder Selbstverletzung automatisch informiert. Diese wird nun schrittweise ausgerollt. Künftig werden Eltern benachrichtigt, wenn Gespräche ihrer Teenager mit Meta AI auf ein Risiko für Suizid oder Selbstverletzung hindeuten.

Die Funktion ist ab sofort für Nutzer:innen der Instagram-Kindersicherung in den USA, Großbritannien, Australien und Kanada verfügbar. Bis Ende des Jahres soll sie weltweit für alle beaufsichtigenden Eltern ausgerollt werden. Außerdem arbeitet der Konzern an einer weiteren Funktion, die bei akuter Suizidgefahr künftig Rettungsdienste verständigen soll.

Meta droht Milliardenstrafe:
EU kritisiert Suchtmechanismen bei Facebook und Instagram

Meta erweitert den Schutz für Teenager und Menschen in psychischen Krisen

Mit mehreren neuen Funktionen will Meta den Schutz von Nutzer:innen im Umgang mit Meta AI ausbauen. Künftig sollen Eltern automatisch benachrichtigt werden, wenn Gespräche ihrer Teenager auf Selbstverletzung oder Suizidgedanken hindeuten. Zudem verschärft das Unternehmen die Jugendschutzeinstellungen für den KI-Chatbot und arbeitet an einer Funktion, die bei akuter Suizidgefahr künftig auch Rettungsdienste alarmieren soll.

Nach Angaben von Meta wurden die Erkennungsmechanismen gemeinsam mit Expert:innen für Suizidprävention entwickelt. Sie sollen sowohl eindeutige als auch weniger offensichtliche Warnsignale erkennen. Bei uneindeutigen Fällen will der Konzern im Zweifel lieber die Eltern benachrichtigen als ein mögliches Risiko zu übersehen.

Eltern werden bei Warnsignalen automatisch informiert – Menschen prüfen jeden Fall

Nach Angaben des Unternehmens erkennt jetzt ein speziell entwickeltes KI-System Gespräche, in denen Jugendliche eindeutig auf Selbstverletzung oder Suizidgedanken anspielen. Bevor jedoch eine Benachrichtigung verschickt wird, prüft ein Mensch alle von der KI markierten Chats.

If a teen’s intent is ambiguous, we’ll err on the side of caution and alert the parent. While that means we may sometimes notify parents when there may not be real cause for concern, we feel this is the right starting point,

schreibt Meta im Unternehmensblog. Die nachfolgende Abbildung zeigt die neue Benachrichtigungsfunktion von Meta.

Die Funktion startet zunächst in den USA, Großbritannien, Australien und Kanada und soll bis Ende des Jahres weltweit verfügbar sein. Sie ergänzt bestehende Warnmeldungen, die Eltern bereits erhalten, wenn ihre Kinder auf Instagram wiederholt nach Begriffen zu Suizid oder Selbstverletzung suchen.

Außerdem baut Meta eine bereits bestehende Funktion aus, mit der Eltern nachvollziehen können, welche Themen ihre Teenager in den vergangenen sieben Tagen mit Meta AI besprochen haben. Dabei erhalten sie keine Einsicht in die vollständigen Chat-Verläufe, sondern lediglich eine Übersicht der behandelten Themen.

Meta weitet Jugendschutzeinstellungen auf Meta AI aus

Zusätzlich verschärft Meta die Jugendschutzmaßnahmen für Meta AI. Teenager Accounts von Nutzer:innen zwischen 13 und 17 Jahren unterliegen bereits standardmäßig altersgerechten Inhaltsbeschränkungen. So ist Meta AI darauf trainiert, keine sexuellen oder romantischen Gespräche mit Teenager:innen zu führen oder Rezepte für alkoholische Getränke bereitzustellen.

Künftig gilt die strengere Einstellung „Eingeschränkte Inhalte“, die Eltern bereits für Instagram aktivieren können, auch für Gespräche mit Meta AI. Dadurch weist der Chatbot künftig eine noch größere Bandbreite sensibler Anfragen zurück.

Meta will bei akuter Suizidgefahr Rettungsdienste informieren

Neben den neuen Jugendschutzfunktionen plant Meta eine weitere Schutzmaßnahme für alle Nutzer:innen. Künftig soll Meta Rettungsdienste verständigen können, wenn Gespräche mit Meta AI auf eine akute Suizidgefahr hindeuten – unabhängig davon, ob es sich um erwachsene oder minderjährige Nutzer:innen handelt.

Die Funktion befindet sich derzeit in der Entwicklung und baut auf einem bestehenden Verfahren bei Facebook und Instagram auf. Erkennt Meta dort Beiträge, die auf ein glaubwürdiges Suizidrisiko schließen lassen, informiert der Konzern bereits heute die zuständigen Notdienste. Nach eigenen Angaben veranlasste Meta im vergangenen Jahr weltweit mehr als 19.000 solcher Meldungen, damit Einsatzkräfte das Wohlbefinden potenziell suizidgefährdeter Personen überprüfen konnten.

Nach tragischen Fällen wächst der Druck auf KI-Chatbots

Die neuen Schutzfunktionen dürften auch eine Reaktion auf den wachsenden regulatorischen und gesellschaftlichen Druck sein. In den vergangenen Jahren gerieten mehrere KI-Chatbots wegen ihres Umgangs mit psychischen Krisen und minderjährigen Nutzer:innen in die Kritik. Besonders erschütternd war der Fall des KI-Start-ups Character.AI, das von den ehemaligen Google-Forschern Noam Shazeer und Daniel De Freitas gegründet wurde. Die Mutter des 14-jährigen Sewell Setzer III wirft dem Unternehmen vor, ihr Sohn habe nach monatelangen Gesprächen mit dem Character.AI-Chatbot „Dany“, der auf der Figur Daenerys Targaryen basiert, eine emotionale Bindung entwickelt und sich schließlich das Leben genommen. Ein US-Gericht entschied im vergangenen Jahr, dass die Klage gegen Character.AI und Google weitergeführt werden kann. Der Fall gilt als einer der bislang wichtigsten Rechtstreitigkeiten zur Verantwortung von KI-Anbieter:innen und führte bei Character.AI zu umfangreichen neuen Sicherheitsmaßnahmen.

Auch OpenAI sieht sich mit Klagen wegen des Umgangs von ChatGPT mit psychischen Krisen konfrontiert. So werfen die Eltern eines 15-jährigen Jungen aus Kalifornien dem Unternehmen vor, ChatGPT habe auf suizidbezogene Äußerungen ihres Sohnes nicht angemessen reagiert und problematische Antworten gegeben. OpenAI weist die Vorwürfe zurück und verweist auf bestehende sowie kontinuierlich ausgebaute Schutzmechanismen. Ein rechtskräftiges Urteil steht bislang aus.

Meta selbst geriet Anfang des Jahres durch geleakte interne Dokumente unter Druck. Diese zeigten, dass der Konzern im Wettbewerb mit TikTok die Rückgewinnung von Teenagern zur Chefsache erklärt hatte, obwohl einzelne Maßnahmen den öffentlich kommunizierten Zielen beim Jugendschutz widersprachen. Vor diesem Hintergrund wächst der Druck auf Meta, den angekündigten Schutzmaßnahmen auch tatsächliche Verbesserungen für minderjährige Nutzer:innen folgen zu lassen.

Behörden und Gesetzgeber:innen beschäftigen sich deshalb zunehmend mit der Frage, welche Schutzmaßnahmen Anbieter:innen von KI-Chatbots für Minderjährige und Menschen in psychischen Krisen vorhalten müssen. Auch in der EU wächst der regulatorische Druck. Während der AI Act Anforderungen an Sicherheit und Transparenz von KI-Systemen festlegt, verpflichtet der Digital Services Act große Online-Plattformen dazu, Risiken für Minderjährige zu begrenzen und geeignete Schutzmaßnahmen umzusetzen.

Instagram Leaks:
Kampf um Teens verdrängt Jugendschutz

Stelle OnlineMarketing.de als bevorzugte Quelle auf Google ein

Wenn du OnlineMarketing.de auf Google als bevorzugte Quelle einstellen möchtest, um auch in den Schlagzeilen auf Google immer aktuelle News und Tipps aus der Welt des Marketing und der Tech-Entwicklungen zu finden, kannst du einfach die Google-Quelleneinstellungen aufrufen und die Seite anwählen. Über das Stern-Icon neben den Top Stories kannst du ebenfalls bevorzugte Quellen für die spätere Suche speichern.