OpenAI führt eine optionale Schutzfunktion für erwachsene ChatGPT-Nutzer ein. Sie können eine Vertrauensperson festlegen, die benachrichtigt wird, wenn Chatbot-Gespräche über Selbstverletzung auf eine ernsthafte Gefährdung hindeuten.

Die Vertrauensperson muss volljährig sein und erhält eine Einladung, die ihre Rolle erklärt. Lehnt sie ab, kann der Nutzer eine andere erwachsene Person benennen.

Erkennt das System Chatbot-Gespräche, die auf eine Selbstgefährdung hindeuten, informiert ChatGPT Nutzer darüber, dass die Vertrauensperson von OpenAI benachrichtigt werden könnte, und ermutigt sie, selbst den Austausch zu suchen. Anschließend prüft ein speziell geschultes Team den Fall. Kommt es zu dem Schluss, dass eine akute Gefährdung vorliegt, wird die Vertrauensperson per E-Mail, SMS oder direkt in der ChatGPT-App benachrichtigt, sofern sie über ein entsprechendes Konto verfügt.

In der Benachrichtigung werden weder Chatinhalte noch Transkripte weitergegeben. Stattdessen enthält sie einen allgemeinen Hinweis darauf, dass Selbstverletzung in potenziell besorgniserregender Weise zur Sprache kam sowie die Aufforderung, den Nutzer aktiv anzusprechen.

Nutzer können ihren Vertrauenskontakt jederzeit in den Einstellungen ändern oder entfernen, ebenso kann sich die Vertrauensperson selbst jederzeit wieder austragen. Laut Ankündigung strebt OpenAI an, Sicherheitsmeldungen in weniger als einer Stunde zu prüfen.

Auf der eigenen Support-Seite schreibt OpenAI, dass die Funktion in den meisten Ländern und Regionen für Erwachsene ab 18 Jahren verfügbar ist. Sie ist nur für private ChatGPT-Konten aktiviert.

OpenAI reagiert auf wachsenden Druck

Mit dieser Neuerung weitet OpenAI eine ähnliche Schutzfunktion für Minderjährige auf Erwachsene aus. Sie geht auf Jugendschutzmaßnahmen zurück, die im September 2025 eingeführt wurden. Diesen wiederum ging eine Klage der Eltern eines 16-Jährigen voraus, der sich im April 2025 das Leben genommen hatte. Die Eltern werfen OpenAI vor, ChatGPT habe keine ausreichenden Schutzmechanismen gehabt und den Jugendlichen in seinen suizidalen Gedanken bestärkt. OpenAI wies die Vorwürfe zurück und sah den Fall als Missbrauch von ChatGPT, da der Jugendliche Sicherheitsmaßnahmen des Chatbots ausgehebelt haben soll.

Gegen OpenAI gibt es in den USA weitere Klagen dieser Art. Das Unternehmen steht mit solchen Vorwürfen nicht allein da: Auch andere Anbieter wurden von Angehörigen verklagt, deren Kinder sich nach langen Chatbot-Gesprächen verletzt oder das Leben genommen haben sollen.

Inzwischen betreffen solche Vorwürfe zunehmend auch Erwachsene sowie Fälle, in denen psychische Krisen nicht nur für die Betroffenen selbst gefährlich werden können: So verklagt der Vater eines erwachsenen Gemini-Nutzers Google, weil der Chatbot seinen Sohn in eine wahnhafte Beziehung mit einer KI-Persona verwickelt, zu bewaffneten Anschlägen ermutigt und zu dessen Suizid beigetragen haben soll. In Florida wird zudem geprüft, ob ChatGPT bei der Vorbereitung eines tödlichen Uni-Anschlags half.

(tobe)

Die Klage britischer Verbraucherschützer gegen Apple wegen einer angeblichen iCloud-Zwangsnutzung darf im bisherigen Umfang fortgeführt werden. Der Versuch von Apples Anwälten, das Verfahren nur auf zahlende Kunden zu beschränken, verfing beim zuständigen Gericht nicht. Die Verbraucherschutzorganisation Which? will von Apple bis zu 3 Milliarden britische Pfund (3,47 Milliarden Euro) einklagen. Gut 40 Millionen Apple-Kunden in dem Land sollen bis zu 70 Pfund pro Person erhalten, weil Apple es unmöglich machen soll, andere Cloud-Dienste zu nutzen, und außerdem Usern nur 5 GByte an freiem Speicher gibt. Das Verfahren läuft bereits seit 2024.

Ungewöhnliches rechtliches Konstrukt hat Erfolg

Das zuständige Tribunal entschied nun mehrheitlich (zwei Richter dafür, einer dagegen), dass das Verfahren alle iCloud-Nutzer betrifft – also sowohl die, die für iCloud+ bezahlen, als auch ganz normale Apple-User, die iCloud im Rahmen des kostenlosen Dienstes verwenden. Die Anwälte von Which? (sowie dessen Prozessfinanzierer) agieren dabei auf neuartigem rechtlichem Weg: Üblicherweise entsteht kein Schaden, wenn ein Kunde für einen fehlerhaften Dienst nichts bezahlt hat.

Die Verbraucherschützer gehen jedoch von einem sogenannten Forgone Consumer Surplus (FCS) aus. Das soll die Summe sein, die Kunden aufgrund des marktmissbräuchlichen Verhaltens Apples entgangen ist. Die juristische Theorie: Durch die „unfaire“ Bepreisung des iCloud+-Dienstes konnten die Kunden nicht kaufen, obwohl sie eigentlich wollten. Dafür soll es nun eine Entschädigung geben.

Which? glaubt etwa, dass ein wettbewerbsrechtlich korrektes Angebot des 200-GByte-Pakets statt der aktuellen 2,99 Pfund nur 1,99 Pfund gekostet hätte, wenn Apple sich nicht illegal verhalten hätte. Diese Illegalität wiederum ergibt sich laut der Verbraucherschützer offensichtlich dadurch, dass Apple nur 5 GByte an kostenlosem Speicher mitliefert.

Kunden seit November 2018 betroffen

Das Verfahren wird nun für alle iCloud-Kunden fortgesetzt. Das Gericht muss unter anderem feststellen, ob iCloud illegal innerhalb von iOS bevorzugt behandelt wurde. Betroffen sind Kunden, die iCloud seit November 2018 verwendet haben. Which? sammelt diese im Rahmen einer Liste, um dann bei Apple vorstellig werden zu können.

Apple hatte zuletzt im November versucht, das Verfahren auf anderem Weg zu stoppen: Der Konzern ging davon aus, dass der von Which? engagierte Prozessfinanzierer nicht in der Lage sei, die Klage wirtschaftlich durchzuhalten. Tatsächlich hatte das Unternehmen zwischenzeitlich finanzielle Probleme. Wie es in diesem Prozesspunkt weitergeht, ist noch unklar.

(bsc)

Die Nutzung von LLMs steigt auch im Gesundheitsbereich. Längst stellen User Gemini und Co. Fragen, die sie früher ihrem Arzt gestellt hätten. Das mag man verurteilen, letztlich ist es jedoch angesichts einer alternden Bevölkerung mit sinkendem Arbeitsanteil auch in der Medizin unvermeidlich, dass sich Menschen nach Alternativen zur Arztberatung umsehen. Google bietet hier mit dem neuen „Health Coach“ in Fitbit ein KI-Tool, das außer Texteingaben auch die gesammelten Daten von Fitness-Trackern, Google Health Connect, sowie sogar ärztliche Daten über API auswertet (bisher nur USA).

Der Coach baut auf Gemini auf, bekam aber von einem medizinischen Fachgremium einige „Leitplanken“ gesetzt, die ihn auf Spur halten sollten. Man gibt dem Coach im Grundsetup einen Trainingsplan und die persönlichen Ziele vor, die in der Folge als Kontext für die Interpretation der gesammelten Daten dienen und somit zielgerichtete Empfehlungen und Antworten ermöglichen. Nach einer gemessen schlechten Nacht empfiehlt der Coach etwa, es am Folgetag etwas ruhiger angehen zu lassen.

Wir testen die öffentliche Vorschauversion (Public Preview) des Systems. Der Coach ist der zentrale Teil des überarbeiteten Services Fitbit Premium, der 8,99 Euro pro Monat kostet. Außer dem KI-Coach enthält das Premium-Abo eine detailliertere Analyse von Schlaf- und Stressdaten, Meditations- und Achtsamkeitsfunktionen sowie mehr Ernährungsberatungs-Funktionen. Als Sensor verwenden wir die Google Pixel Watch 4 (Test).

Das war die Leseprobe unseres heise-Plus-Artikels „KI als Gesundheits-Coach: Fitbit (Google) Health Coach im Test“.
Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.