McDonald’s bietet seinen Filialen für die Einstellung neuer Mitarbeiter einen KI-Chatbot namens Olivia an, um die Prozesse zu beschleunigen. Dieser Chatbot nervt viele Bewerber nicht nur mit seltsamen Fragen, sondern sammelt auch viele persönliche Daten. Doch die dafür beauftragte KI-Firma Paradox hatte offenbar kein hohes Verständnis von Datenschutz. Sicherheitsforscher konnten sich relativ leicht Zugriff auf die Daten von bis zu 64 Millionen Bewerbern verschaffen. Paradox hat umgehend reagiert und die Sicherheitslücke schnell geschlossen.

Künstliche Intelligenz (KI) ist auch bei der großen Fast-Food-Kette kein Fremdwort mehr. Im März wurde berichtet, dass McDonald’s seine Filialen mit KI-Funktionen ausstattet. Und auch beim Einstellungsprozess können die einzelnen Restaurants KI nutzen. Dafür stellt die Zentrale „McHire“ bereit, eine Plattform mit dem von Paradox entwickelten KI-Chatbot Olivia. Wer sich für einen Job in einer Filiale von McDonald’s bemüht, dürfte in vielen Fällen zunächst mit Olivia sprechen.

KI-Chatbot sicher, aber nicht das System

Der KI-Chatbot befragt die Bewerber zunächst nach Kontaktinformationen und einem Lebenslauf, bevor ein Persönlichkeitstest durchgeführt wird. Etliche Interessenten berichten bereits von frustrierenden Erfahrungen mit Olivia bei Reddit, was Sicherheitsforscher aufhorchen ließ. Diese testeten den KI-Chatbot zunächst auf mögliche Sicherheitsprobleme, aber konnten keine direkten Angriffspunkte durch manipulierte Anfragen an das Sprachmodell feststellen.

Darauf haben die Sicherheitsforscher versucht, sich bei McHire.com als McDonald’s-Filiale einzuloggen, um Zugriff auf das Backend zu bekommen. Dabei haben sie eine ominöse Login-Möglichkeit für Paradox-Mitarbeiter gefunden, die kaum geschützt war. Es gab keine Multifaktor-Authentifizierung und als Kennwort wurde „123456“ akzeptiert, schreiben die Sicherheitsforscher im eigenen Blog. Damit hatten sie Administratorzugriff auf ein Test-Restaurant innerhalb von McHire und konnten gleichzeitig auf Daten von Mitarbeitern sowie Bewerbern zugreifen.

Zugriff auf Millionen Bewerberdaten

Dies ermöglichte Abfragen beliebiger Bewerber. Denn wird die Bewerber-ID, die oberhalb von 64 Millionen lag, manuell geändert, konnten weitere Bewerbungen einschließlich Kontaktinformationen und sogar die entsprechenden Chat-Protokolle abgerufen werden. Die Sicherheitsforscher haben aus Datenschutzgründen nur eine Handvoll Bewerbungen und die dazu gehörenden Daten abgerufen, aber Stichproben bestätigten, dass es sich um reale Personen handelt. Somit waren theoretisch 64 Millionen Bewerberdaten oder sogar mehr verfügbar.

Angreifer könnten diese Daten verwenden, um Phishing-Angriffe durchzuführen und etwa Kontoinformationen abzugreifen, wenn sie sich als Mitarbeiter von McDonald’s ausgeben, die mehr Daten vor einer tatsächlichen Anstellung erfragen. Schließlich handelt es sich bei Jobs bei McDonald’s um Mitarbeiter zu Mindestlöhnen, sodass davon auszugehen ist, dass viele Bewerber relativ verzweifelt sind, bevor sie sich an McDonald’s wenden.

McDonald’s verweist auf Paradox, KI-Firma reagiert schnell

Paradox hat die Sicherheitslücke umgehend geschlossen, nachdem die KI-Firma von den Sicherheitsforschern darüber informiert wurde. Im eigenen Blog erklärt Paradox, das es sich um eine Login-Möglichkeit zu Testzwecken gehandelt hat, die eigentlich vor Jahren bereits hätte entfernt werden sollen. Allerdings wurde der Testzugriff demnach nicht von Dritten genutzt und es seien auch keine persönlichen Daten abgegriffen worden, bevor dieser Zugang jetzt geschlossen wurde.

McDonald’s selbst verweist gegenüber Wired auf Paradox als dafür verantwortlichen Partner. „Wir sind enttäuscht über diese inakzeptable Sicherheitslücke bei einem Drittanbieter, Paradox.ai“, heißt es seitens der Fast-Food-Kette. „Sobald wir von dem Problem erfahren haben, haben wir Paradox.ai beauftragt, das Problem umgehend zu beheben. Das Problem wurde noch am selben Tag behoben, an dem es uns gemeldet wurde.“

(fds)

Diese Kolumne wird auch tief in die eher dunklen Sphären der menschlichen Psyche hinabsteigen. Es ist mir daher wichtig, darauf hinzuweisen, dass es für so dunkle Momente Hilfsangebote gibt.

Wenn es dir nicht gut geht oder Du selbst von Suizidgedanken betroffen bist, versuche, mit anderen Menschen darüber zu sprechen. Das können Freund*innen oder Verwandte sein, es gibt aber auch Hilfsangebote. Bei der anonymen Telefonseelsorge findest Du rund um die Uhr Ansprechpartner.

Telefonseelsorge: 0800/111 0 111 und 0800/111 0 222 – www.telefonseelsorge.de
Telefonberatung für Kinder und Jugendliche: 116 111 – www.nummergegenkummer.de

Populistische Holzhammermethoden

In der letzten Zeit wird, speziell nach den Anschlägen oder Attacken von Hamburg, Magdeburg oder Aschaffenburg, nicht selten der Ruf lauter, Menschen mit psychischen Erkrankungen stärker zu überwachen. Es begann mit der Forderung Carsten Linnemanns (CDU) nach einem „Register für psychisch kranke Gewalttäter“ Anfang des Jahres. Dabei blieb es aber nicht.

Schleswig-Holsteins Justiz- und Gesundheitsministerin Kerstin von der Decken (CDU) forderte etwa die Abschaffung des Widerspruchsrechts für die elektronische Patientenakte. Dabei fabulierte [€] sie im gleichen Atemzug von den Vorteilen für den Datenaustausch bei einer automatischen Befüllung der ePA, auch im Kontext psychischer Erkrankungen.

Ebenfalls aus Schleswig-Holstein, ebenfalls von der CDU, kam die Ansicht von Innenministerin Sütterlin-Waack, dass Datenschutz und die ärztliche Schweigepflicht die größten Probleme für eine bessere Vernetzung von Behörden zur Verhinderung von Gewalttaten durch psychisch Erkrankte seien.

In der Diskussion um die sehr eilige Reform des Psychisch-Kranken-Hilfe-Gesetz in Hessen vergriffen sich dann Abgeordnete der CDU derart im Ton, dass die Kommentare irgendwann bei Vergleichen mit der Zeit des Nationalsozialismus und deren menschenverachtenden Praktiken endeten. Neben diesem Fehlgriff wurde in Hessen der zuständige Datenschutzbeauftragte für die geplante Gesetzesänderung gar nicht eingebunden.

In der Folge kommt nach dem Zurückrudern, das alles nicht so gemeint zu haben, oftmals der Wunsch, doch sachlich über das Thema zu sprechen. Bewusste Deeskalation des Contra nach bewusster Eskalation.

Sachlich

Hier also nun ein Versuch, das Thema so sachlich und sensibel wie möglich darzustellen:

Jeder Mensch kann in die Situation kommen, psychische Probleme zu bekommen, sei es wegen traumatischer Erlebnisse, wegen Krankheiten oder schlichtweg wegen ungünstiger Lebensumstände, für die diese Person selbst oft gar nichts kann. In den allermeisten Fällen haben psychisch Erkrankte im Vergleich zu anderen Personengruppen grundsätzlich kein erhöhtes Gewaltpotenzial. Manchmal richten psychisch Erkrankte die Gewalt im Stillen auch einzig gegen sich selbst.

Stille.

Für bestimmte Fälle, wenn Menschen mit psychischen Erkrankungen eine Gefahr für sich oder andere darstellen, gibt es Gesetze wie das hessische Psychisch-Kranken-Hilfe-Gesetz, das Zwangsmaßnahmen ermöglicht. Darin enthalten sind auch sehr harte Maßnahmen wie die „Aufhebung der Bewegungsfreiheit an allen Gliedmaßen“ oder Fixierungen, rechtlich nicht unstrittig, aber auch nach gewissen Anpassungen unter Auflagen zumindest möglich. In so einem extremen Fall, der solche Maßnahmen nötig macht, müssten Behandelnde auch ihre ärztliche Schweigepflicht brechen.

Symptompolitik

Der Änderungsvorschlag in Hessen möchte nun die Möglichkeit schaffen, Daten von psychisch Erkrankten unter den Behörden besser auszutauschen.

In Hessen soll nun nach der geplanten Änderung des Gesetzes – wohlgemerkt in Eilausfertigung – eine Meldung an die zuständige örtliche Ordnungsbehörde und Polizeibehörde von einer bevorstehenden Entlassung gemacht werden, sofern aus medizinischer Sicht die Sorge bestehe, „dass von der untergebrachten Person ohne ärztliche Weiterbehandlung eine Fremdgefährdung ausgehen könnte.“

Ähnliche Pläne gibt es auch in Niedersachsen und anderen Bundesländern. Hier passiert im Hinblick auf eine vermeintliche Problemlösung für die Sicherheitspolitik, in dem Fall die der inneren Sicherheit, in letzter Zeit oft Symptomatisches. Mit einem Datenaustausch zu den Sicherheitsbehörden wird die Gefahr vermeintlich gebannt, es sei ja Meldung gemacht.

Mediziner*innen, über verschiedene Fachbereiche hinweg, rufen uns hier aber einen gefährlichen Seiteneffekt ins Bewusstsein: Dass die anlasslose und ungehemmte Speicherung derart sensibler Informationen letzten Endes dazu führt, dass Diskriminierung und Stigmatisierung zunehmen.

In Folge werden sich Menschen, die bei psychischen Erkrankungen Hilfe benötigen, zukünftig weniger gut Behandelnden öffnen – weil neben dem gesellschaftlichen Stigma auch die Gefahr von Repression durch weitere Behörden zumindest plausibler wird.

Statt mehr Sicherheit zu schaffen, schaffen Vorschläge wie diese eine andere Art von Präventionsparadox: Sie verhindern Prävention aktiv, weil Menschen weniger Unterstützung bei psychischen Problemen suchen werden.

Verschärft wird das Problem dadurch, dass Gesetzesvorhaben in den Bundesländern auch die Schwelle für den Anlass solcher Meldungen an Polizeibehörden senken. In Hessen zählen nach dem Entwurf nun auch „eine mit dem Verlust der Selbstkontrolle einhergehende Abhängigkeit von Suchtstoffen“ zu den meldepflichtigen Erkrankungen.

Darüber hinaus durchforstet die hessische Polizei bereits schon jetzt Datenbanken nach Auffälligkeiten mit psychischen Erkrankungen. In Niedersachsen wünschen sich Beteiligte ebenfalls eine niedrigere Schwelle für den Informationsfluss.

Bei all diesen Vorschlägen scheint entweder das Bewusstsein für die Wirkung solcher Vorschläge auf die Erfolgschancen der Behandlung zu fehlen – oder es wird für den politischen Erfolg bewusst in Kauf genommen, weil es eigentlich nur um symbolische Symptompolitik geht.

Algorithmen als Rettung?

Angesichts der Erfahrungen aus Anschlägen wie in Magdeburg, bei denen der Täter und seine Vorgeschichte mit mehr als 100 Behördenkontakten mehr als bekannt waren, steht sowieso eine Frage im Raum: Können mehr Daten in Registern oder Daten aus Meldungen allein überhaupt etwas zur Besserung der Sicherheitslage beitragen?

In der politischen Diskussion wird daher oftmals schnell der Ruf nach weiteren technischen Möglichkeiten zur Erkennung von Gefährdungspotenzial laut. In Niedersachsen wird etwa in der Entwicklung des Gesetzes von „Algorithmen“ abgewogen, die bei der Menge von Daten unterstützen sollen.

Im Zeitalter der sogenannten Künstlichen Intelligenz liegt der Schluss nahe, dass Technik auch in der Psychoanalyse und Therapie helfen könnte. Aber auch hier fehlt das Bewusstsein für die Folgen eines Technikeinsatzes in sensiblen Bereichen.

Generell nimmt der KI-Einsatz auch in der medizinischen Disziplin der Psychologie zu, auch wenn dies vor ein paar Jahren noch eher als schwerlich realisierbar angesehen wurde. Sozial-medizinische oder psychotherapeutische Bereiche sind aber nach wie vor Gebiete, in denen der Einsatz von KI zumindest noch stärker abgewogen wird, er nimmt nach Analysen des Instituts für Arbeitsmarkt- und Berufsforschung aber kontinuierlich zu.

Die Vorzüge der Künstlichen Intelligenz werden oftmals mit Teilaspekten der Behandlung von psychischen Krankheiten angepriesen; der Teilbereich der eigentlichen Diagnose etwa kann durch Chatbots verbessert werden.

Chatbots seien etwa auch gute Zuhörer mit unendlich viel Zeit und auch simulierte Empathie könne prinzipiell helfen, so eher die Sicht der Technologieanbieter. Mediziner*innen widersprechen dem sehr stark, die Patientensicherheit sei nicht gegeben. KI-Lösungen sind in ihrer Art oftmals nur sehr freundliche, devote Ja-Sager, die bestimmte psychische Erkrankungen sogar verstärken können. So etwa 2023 schon mal geschehen, als ein Chatbot einer Hilfsorganisation gegen Essstörungen ziemlich schnell wieder offline genommen werden musste, weil er schädigende Ratschläge gab.

Hinzu kommt, dass der Aufbau einer Vertrauensbeziehung wie in einer Therapie sehr schnell gefährlich werden kann: In den USA beging der 14-jährige Sewell Setzer aus Florida nach langanhaltender Konversation mit einem Chatbot Suizid. Auch hier fehlt im Umgang mit Technologien oftmals das Bewusstsein, dass es eben nicht nur ein Programm ist, was dort läuft. Sondern dass Menschen speziell mit Technologien, die wie KI sehr stark anthropomorphisiert oder vermenschlicht dargestellt werden, in eine Beziehung treten, die erhebliche negative Auswirkungen auf die echte Welt haben kann.

Es wird also keine schnellen, allumfassenden technischen und politischen Lösungen für psychische Krankheiten geben, vielmehr schafft Digitalisierung auch einige neue. Was hilft also wirklich?

Neben den oftmals wiederholten, aber nach wie vor nicht erfüllten Forderungen nach mehr Therapieplätzen und besserer Prävention, die inzwischen auch hinlänglich durch die mediale Landschaft gewandert sind, sollten wir uns am Ende dieser Kolumne zwei Aspekte in unser Bewusstsein rufen:

Ein Staat, der kein Bewusstsein für die abschreckende, diskriminierende und stigmatisierende Wirkung seiner Maßnahmen auf Menschen mit psychischen Erkrankungen hat, wird Menschen mit psychischen Erkrankungen nie helfen können.

Ein Programm, das selbst keinerlei Bewusstsein hat, wird Menschen nie dabei helfen können, ihr eigenes menschliches Bewusstsein für einen guten Umgang mit ihren individuellen psychischen Erkrankungen zu entwickeln.

Das sollten wir uns immer mal wieder bewusst machen.

Liebe Leser*innen,

Bargeld ist nicht so anonym wie man denkt. Sicherheitsbehörden aus aller Welt verfolgen bei Ermittlungen den Weg von Geldscheinen und Unternehmen der Bargeldindustrie tracken Scheine, um sie effizienter zu handhaben.

Diese erstaunliche Geschichte war die umfassendste Recherche, der ich je nachgegangen bin. Ich habe dafür ein Dutzend Patente, rund 50 weitere PDFs und unzählige Websites durchgearbeitet, je rund 250 E-Mails geschrieben und empfangen, mir Vorträge von Lobbyist*innen angehört, eine IFG-Anfrage gestellt und die Antwort auf eine parlamentarische Anfrage ausgewertet.

Gleichzeitig war es auch die zäheste Recherche meines Lebens. Bundesbank und Sicherheitsbehörden haben sehr viel dafür getan, möglichst wenig sagen zu müssen.

Nicht verwunderlich. Denn das Thema hat das Zeug dazu, die Leute auf die Barrikaden zu bringen. Viele Deutsche lieben ihr Bargeld. Und dass dieses nun immer weiter deanonymisiert wird, weil an unzähligen Punkten die Seriennummern von Geldscheinen erfasst und diese Informationen immer weiter vernetzt werden, war bislang nicht wirklich bekannt.

Ich habe die Geschichte auf zwei Stücke aufgeteilt. Im ersten beschreibe ich, wie Sicherheitsbehörden Banknoten-Seriennummern für Ermittlungen nutzen und wie deren Erfassung immer enger vernetzt wird. Im zweiten zeige ich, welche Akteure in Deutschland Seriennummern erfassen (können) und wie bedrohlich deren potenzielle Vernetzung für die Anonymität des Bargelds ist.

Zu verdanken habe ich das Thema Marc Lagies. Er hat sich überlegt: Banknoten haben Seriennummern und moderne Automaten können diese Nummern lesen – ist es dann nicht auch möglich, den Weg einzelner Banknoten relativ eng nachzuvollziehen? Diese Frage hat er an netzpolitik.org geschickt. Und sich daraufhin sogar noch tiefer als ich in das Thema eingearbeitet. Ohne ihn gäbe es diese Geschichte nicht. Vielen Dank Marc.

Und euch viel Spaß beim Lesen!

Martin