Agentic Commerce verschiebt die Dynamik beim Shopping von „Mensch sucht Produkt“ zu „Maschine verhandelt mit Maschine“. Dadurch entstehen völlig neue Sicherheitsrisiken. Kriminelle oder auch einer der am Kauf beteiligten Akteure könnte Prozesse betrügerisch manipulieren, etwa an den Schnittstellen zwischen den Maschinen oder mittels Prompt Injection, also durch Manipulation einer künstlichen Intelligenz durch Eingaben, die deren ursprüngliche Anweisungen oder Sicherheitsregeln umgehen.

Außerdem bringt Agentic Commerce datenschutzrechtliche und ethische Fragestellungen mit sich, die weit über den klassischen E-Commerce hinausgehen: Um sinnvoll handeln zu können, benötigen Shoppingagenten Informationen, etwa Präferenzen, Kontext und die bisherige Kaufhistorie.

DSGVO-Prinzipien wie Datensparsamkeit, Transparenz und Zweckbindung lassen sich mit dem Agieren der Agenten nur schwer vereinbaren. Wohin sich Agentic Commerce in den nächsten Monaten und Jahren entwickelt, lässt sich schwer absehen. In diesem Artikel tasten wir die größten Knackpunkte ab.

Das war die Leseprobe unseres heise-Plus-Artikels „KI-Einkaufsagenten: Welche Risiken Nutzer und Firmen kennen müssen“.
Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.

OpenAI führt eine optionale Schutzfunktion für erwachsene ChatGPT-Nutzer ein. Sie können eine Vertrauensperson festlegen, die benachrichtigt wird, wenn Chatbot-Gespräche über Selbstverletzung auf eine ernsthafte Gefährdung hindeuten.

Die Vertrauensperson muss volljährig sein und erhält eine Einladung, die ihre Rolle erklärt. Lehnt sie ab, kann der Nutzer eine andere erwachsene Person benennen.

Erkennt das System Chatbot-Gespräche, die auf eine Selbstgefährdung hindeuten, informiert ChatGPT Nutzer darüber, dass die Vertrauensperson von OpenAI benachrichtigt werden könnte, und ermutigt sie, selbst den Austausch zu suchen. Anschließend prüft ein speziell geschultes Team den Fall. Kommt es zu dem Schluss, dass eine akute Gefährdung vorliegt, wird die Vertrauensperson per E-Mail, SMS oder direkt in der ChatGPT-App benachrichtigt, sofern sie über ein entsprechendes Konto verfügt.

In der Benachrichtigung werden weder Chatinhalte noch Transkripte weitergegeben. Stattdessen enthält sie einen allgemeinen Hinweis darauf, dass Selbstverletzung in potenziell besorgniserregender Weise zur Sprache kam sowie die Aufforderung, den Nutzer aktiv anzusprechen.

Nutzer können ihren Vertrauenskontakt jederzeit in den Einstellungen ändern oder entfernen, ebenso kann sich die Vertrauensperson selbst jederzeit wieder austragen. Laut Ankündigung strebt OpenAI an, Sicherheitsmeldungen in weniger als einer Stunde zu prüfen.

Auf der eigenen Support-Seite schreibt OpenAI, dass die Funktion in den meisten Ländern und Regionen für Erwachsene ab 18 Jahren verfügbar ist. Sie ist nur für private ChatGPT-Konten aktiviert.

OpenAI reagiert auf wachsenden Druck

Mit dieser Neuerung weitet OpenAI eine ähnliche Schutzfunktion für Minderjährige auf Erwachsene aus. Sie geht auf Jugendschutzmaßnahmen zurück, die im September 2025 eingeführt wurden. Diesen wiederum ging eine Klage der Eltern eines 16-Jährigen voraus, der sich im April 2025 das Leben genommen hatte. Die Eltern werfen OpenAI vor, ChatGPT habe keine ausreichenden Schutzmechanismen gehabt und den Jugendlichen in seinen suizidalen Gedanken bestärkt. OpenAI wies die Vorwürfe zurück und sah den Fall als Missbrauch von ChatGPT, da der Jugendliche Sicherheitsmaßnahmen des Chatbots ausgehebelt haben soll.

Gegen OpenAI gibt es in den USA weitere Klagen dieser Art. Das Unternehmen steht mit solchen Vorwürfen nicht allein da: Auch andere Anbieter wurden von Angehörigen verklagt, deren Kinder sich nach langen Chatbot-Gesprächen verletzt oder das Leben genommen haben sollen.

Inzwischen betreffen solche Vorwürfe zunehmend auch Erwachsene sowie Fälle, in denen psychische Krisen nicht nur für die Betroffenen selbst gefährlich werden können: So verklagt der Vater eines erwachsenen Gemini-Nutzers Google, weil der Chatbot seinen Sohn in eine wahnhafte Beziehung mit einer KI-Persona verwickelt, zu bewaffneten Anschlägen ermutigt und zu dessen Suizid beigetragen haben soll. In Florida wird zudem geprüft, ob ChatGPT bei der Vorbereitung eines tödlichen Uni-Anschlags half.

(tobe)

Die Klage britischer Verbraucherschützer gegen Apple wegen einer angeblichen iCloud-Zwangsnutzung darf im bisherigen Umfang fortgeführt werden. Der Versuch von Apples Anwälten, das Verfahren nur auf zahlende Kunden zu beschränken, verfing beim zuständigen Gericht nicht. Die Verbraucherschutzorganisation Which? will von Apple bis zu 3 Milliarden britische Pfund (3,47 Milliarden Euro) einklagen. Gut 40 Millionen Apple-Kunden in dem Land sollen bis zu 70 Pfund pro Person erhalten, weil Apple es unmöglich machen soll, andere Cloud-Dienste zu nutzen, und außerdem Usern nur 5 GByte an freiem Speicher gibt. Das Verfahren läuft bereits seit 2024.

Ungewöhnliches rechtliches Konstrukt hat Erfolg

Das zuständige Tribunal entschied nun mehrheitlich (zwei Richter dafür, einer dagegen), dass das Verfahren alle iCloud-Nutzer betrifft – also sowohl die, die für iCloud+ bezahlen, als auch ganz normale Apple-User, die iCloud im Rahmen des kostenlosen Dienstes verwenden. Die Anwälte von Which? (sowie dessen Prozessfinanzierer) agieren dabei auf neuartigem rechtlichem Weg: Üblicherweise entsteht kein Schaden, wenn ein Kunde für einen fehlerhaften Dienst nichts bezahlt hat.

Die Verbraucherschützer gehen jedoch von einem sogenannten Forgone Consumer Surplus (FCS) aus. Das soll die Summe sein, die Kunden aufgrund des marktmissbräuchlichen Verhaltens Apples entgangen ist. Die juristische Theorie: Durch die „unfaire“ Bepreisung des iCloud+-Dienstes konnten die Kunden nicht kaufen, obwohl sie eigentlich wollten. Dafür soll es nun eine Entschädigung geben.

Which? glaubt etwa, dass ein wettbewerbsrechtlich korrektes Angebot des 200-GByte-Pakets statt der aktuellen 2,99 Pfund nur 1,99 Pfund gekostet hätte, wenn Apple sich nicht illegal verhalten hätte. Diese Illegalität wiederum ergibt sich laut der Verbraucherschützer offensichtlich dadurch, dass Apple nur 5 GByte an kostenlosem Speicher mitliefert.

Kunden seit November 2018 betroffen

Das Verfahren wird nun für alle iCloud-Kunden fortgesetzt. Das Gericht muss unter anderem feststellen, ob iCloud illegal innerhalb von iOS bevorzugt behandelt wurde. Betroffen sind Kunden, die iCloud seit November 2018 verwendet haben. Which? sammelt diese im Rahmen einer Liste, um dann bei Apple vorstellig werden zu können.

Apple hatte zuletzt im November versucht, das Verfahren auf anderem Weg zu stoppen: Der Konzern ging davon aus, dass der von Which? engagierte Prozessfinanzierer nicht in der Lage sei, die Klage wirtschaftlich durchzuhalten. Tatsächlich hatte das Unternehmen zwischenzeitlich finanzielle Probleme. Wie es in diesem Prozesspunkt weitergeht, ist noch unklar.

(bsc)