In den US-Bundesstaaten Florida, Texas, Colorado and New York handeln Google und Character Technologies Vergleiche mit fünf Familien aus, deren Kinder angeblich durch Chatbot-Nutzung zu Schaden gekommen sind. Der Fall, der die meiste Aufmerksamkeit erhielt, behandelt den Suizid eines 14-Jährigen Jungen. Der Jugendliche hatte eine emotionale Beziehung zum Chatbot „Dany“ von Character Technologies aufgebaut, der den Suizid des Jungen befürwortete.

In anderen Fällen hatten Chatbots von Character Technologies angeblich Jugendliche zu Gewalt gegen ihre Eltern oder selbstverletzendem Verhalten inspiriert. Die Bedingungen der Vergleiche sind bisher öffentlich nicht bekannt und werden nach Angaben von TechCrunch weiter verhandelt. Demnach wollen sich weder Sprecher*innen von Character Technologies, noch die Anwältin der Anklage dazu äußern.

Haften Techkonzerne für ihre Chatbots?

Zwei ehemalige Google-Mitarbeiter gründeten 2021 den Chatbot-Hersteller Character Technologies. Drei Jahre später kehrten sie zu Google zurück. Im gleichen Zug erwarb der Konzern Lizenzen in Höhe von 2,7 Milliarden US Dollar von Character Technologies. Beide Gründer stehen als Angeklagte vor Gericht. Die Mutter des toten 14-Jährigen hat ebenfalls Googles Mutterkonzern Alphabet angeklagt. Sie argumentiert, dass das Unternehmen den Chatbot mitentwickelt hat. Google beteiligt sich nun auch an dem Vergleich.

Im Mai des vergangenen Jahres hatte die verantwortliche US-Bezirksrichterin Anne C. Conway entschieden, dass KI-Chatbots rechtlich als Produkte zu behandeln sind. Ihre Ausgaben seien nicht als geschützte Meinungsäußerung zu werten. Andernfalls hätte das die Chancen einer Haftungsklage stark verringert.

Gegenmaßnahme Altersbeschränkungen

Aktuell laufen in den USA sieben Verfahren gegen den Tech-Konzern OpenAI. Eine Anklage stammt von den Eltern eines 16-Jährigen Jungen. Auch sie werfen dem Unternehmen vor, dass die KI den Jugendlichen bei der Selbsttötung unterstützt habe. OpenAI zieht sich bisher aus der Verantwortung. Der KI-Hersteller verweist auf die Missachtung der Sicherheitsmaßnahmen durch den 16-Jährigen.

Gleichzeitig führt das Unternehmen neue Tools zur Alterskontrolle und „Kindersicherung“ ein. Auch der KI-Hersteller Character Technologies hat neue Regelungen zur Altersüberprüfung eingeführt.

Präzedenzfall steht aus

Character Technologies und Google streben die nicht-öffentlichen Vergleiche wohl auch deshalb an, um Präzedenzfälle zu vermeiden, auf die sich Kläger*innen bei zukünftigen Verstößen berufen können. Außerdem ist der Schaden für die Reputation bei einem Vergleich vermutlich geringer als bei einer juristischen Niederlage.

Aline Blankertz von Rebalance Now, einem Verein der sich gegen Monopolisierung einsetzt, sagt: „Die kollektive Schutzwirkung der Gesetze wird dadurch untergraben, denn es bleibt offen, ob das Verhalten illegal war. Wir beobachten diese Tendenz in verschiedenen Rechtsbereichen.“

Blankertz erklärt auch, warum sich Kläger*innen auf Vergleiche einlassen: „Aus Sicht der einzelnen Geschädigten ergeben Vergleiche Sinn: Sie geben ihnen ein sicheres Ergebnis innerhalb kürzerer Zeit.“

Bei dem Telemedizinanbieter Dr. Ansay hat es eine Sicherheitslücke gegeben, durch die rund 1,7 Millionen Rezepte von rund einer halben Million Kunden potenziell einsehbar waren. Betroffen sind vor allem Cannabis-Rezepte mit Gesundheits- und personenbezogenen Daten, darunter Namen, Adressen, E-Mail-Adressen, Telefonnummern und Angaben zu den rund 15 verschreibenden Ärzten, die meist nicht aus Deutschland kommen. Außerdem waren dort Daten zu Medikamenten, Dosierungen sowie ausgewählten Apotheken einsehbar sowie beispielsweise auch Bestellungen zu Schmerzmitteln. Fragen dazu, ob Daten abgeflossen sind, beantwortet das Unternehmen nicht.

Bei heise online gingen Hinweise darauf ein, dass die Lücke auf einer Fehlkonfiguration der Zugriffsregeln einer Firebase-Firestore-Datenbank basiert. heise online konnte das bestätigen. Durch die Fehlkonfiguration konnten eingeloggte Nutzer mit einem gültigen Token nicht nur auf ihre eigenen Rezepte, sondern auf sämtliche Datensätze zugreifen. Trotz mehrerer Meldeversuche an das Unternehmen blieb eine Reaktion zunächst aus, die Daten waren bis Anfang Januar weiterhin ungeschützt. Am Abend, nachdem heise online eine Anfrage an das Unternehmen gestellt hatte, wurde die Lücke geschlossen.

Bug-Bounty-Programm

Zentrale Fragen von heise online lässt Dr. Ansay unbeantwortet und begründet den Fund mit dem Auflegen eines neu aufgelegten Bug-Bounty-Programms: „Wir gehen davon aus, dass die Lücke aufgrund eines von uns initiierten Bug-Bounty-Programm gefunden wurde“. Die Frage, ob eine Meldung an die Betroffenen gemäß Art. 34 der DSGVO erfolgt ist, lässt Dr. Ansay unbeantwortet.

Gegenüber dem Sicherheitsforscher, der die Lücke gefunden hat, hatte Dr. Ansay angegeben, eine DSGVO-Meldung an die zuständige Behörde initiiert zu haben. Anfragen von heise online an die Datenschutzbehörden in Malta und Hamburg, wo Dr. Ansay seinen deutschen Sitz hat, wurden noch nicht beantwortet.

Die Kontaktaufnahme des Sicherheitsforschers hatte sich über die Feiertage leider verzögert“, sagte eine Sprecherin. Inzwischen funktioniere die Kommunikation und das Problem habe sofort gelöst werden können. „Wir danken dem Sicherheitsforscher für die Arbeit und behandeln den Vorfall intern weiter“. Weitere Details wolle Dr. Ansay „aktuell nicht teilen, da in Zukunft Black-Hat-Hacker diese nutzen könnten und wir unsere Systeme schützen“.

Unklar bleibt, seit wann die Sicherheitslücke bestand und ab wann das Unternehmen davon wusste, ob und in welchem Umfang Daten tatsächlich abgeflossen sind, wie viele Personen konkret betroffen sind und ob diese bereits informiert wurden. Offen bleibt auch, welche konkreten Risiken für Betroffene bestehen, welche Schutzmaßnahmen geplant sind und warum die Lücke nicht durch eigene Sicherheitsprüfungen entdeckt wurde.

Interne Sicherheits- und Monitoringprozesse

Gegenüber heise online und auf Reddit hatte Dr. Ansay noch im Dezember zugesichert, dass „interne Sicherheits- und Monitoringprozesse […] kontinuerlich“ laufen würden und es „keine Hinweise auf unautorisierten Zugriff oder einen Abfluss von Daten“ gebe. Zu dem Zeitpunkt wurden in einem Untergrundforum vermeintlich von Dr. Ansay stammende Datensätze zum Verkauf angeboten. Woher die Daten kommen, ist unklar. Denkbar ist auch ein Mix aus bereits veröffentlichten Leaks anderer oder ähnlicher Plattformen. Bisher konnte die Echtheit der Daten nicht bestätigt werden.

Datenschutz habe „oberste Priorität“, gibt Dr. Ansay an. „Die Systeme werden fortlaufend überprüft. Vor dem Hintergrund der aktuell vermehrt auftretenden Phishing- und Smishing-Versuche wurden die internen Kontrollen zusätzlich noch einmal intensiviert, ohne Befund“.

Datenpanne im Mai 2024

Bereits im Mai 2024 hatte es bei Dr. Ansay eine öffentlich bekannte Datenpanne gegeben, bei der Cannabis-Rezepte über Suchmaschinen abrufbar waren. Damals meldete das Unternehmen den Vorfall an die Datenschutzbehörde, sprach von einer behobenen Lücke und informierte Betroffene per E-Mail.

(mack)

Admins von Platform-as-a-Service-Umgebungen auf der Basis von Coolify sollten ihre Instanzen zügig auf den aktuellen Stand bringen. Geschieht das nicht, können Angreifer unter anderem an sieben „kritischen“ Sicherheitslücken mit Höchstwertung (CVSS Score 10 von 10) ansetzen, um Server vollständig zu kompromittieren.

Scans von Sicherheitsforschern von Censys zeigen, dass sich der Großteil verwundbarer Systeme in Deutschland befindet. Weltweit sind es mehr als 52.000 Instanzen. Hierzulande fanden sie knapp über 14.800 Systeme. Ob es bereits Attacken gibt, ist zurzeit unklar. Admins sollten mit dem Patchen aber nicht zu lange zögern.

Ansatzpunkte für Angreifer

Auch wenn Angreifer in den meisten Fällen authentifiziert sein müssen, ist der Großteil der Schwachstellen mit dem Bedrohungsgrad „kritisch“ eingestuft. Setzen Angreifer erfolgreich an den Lücken an, können sie etwa als Rootnutzer Schadcode ausführen und so die volle Kontrolle über Systeme erlangen (etwa CVE-2025-64424). Außerdem sind Zugriffe auf eigentlich geschützte private SSH-Schlüssel möglich (CVE-2025-64420), sodass sich Angreifer unbefugt Zugriff verschaffen können.

Fehlende Sicherheitspatches

Insgesamt sind 16 Lücken bekannt. Laut Einträgen auf GitHub (siehe Ende dieser Meldung) sind derzeit aber nur Sicherheitsupdates für acht Schwachstellen verfügbar. Wann die Entwickler die verbleibenden Lücken schließen, ist derzeit unklar.

Diese Patches sind zurzeit verfügbar:

• v4.0.0-beta.420.7
• >= 4.0.0-beta.451

Weiterführende Informationen zu den Lücken bedrohten Ausgaben und Sicherheitsupdates finden Admins in den verlinkten Warnmeldungen. Liste nach Bedrohungsgrad absteigend sortiert:

(des)