Das Europäische Parlament hat wegen Sicherheitsbedenken KI-Funktionen auf dienstlichen Smartphones und Tablets der Abgeordneten und ihrer Angestellten deaktiviert. Das berichtet das Politikmagazin Politico unter Berufung auf eine interne E-Mail, in der der Schritt bekannt gemacht wurde. Der Schritt sei erfolgt, nachdem die IT-Abteilung eingestanden habe, dass sie die Sicherheit der Daten auf den Geräten nicht garantieren könnte, wenn die KI-Werkzeuge dort aktiv seien. Verwiesen worden sei unter anderem darauf, dass einige der KI-Funktionen auf Cloud-Dienste zurückgreifen würden: Die Daten müssten also die Geräte verlassen. Um welche Werkzeuge es konkret geht, hat das Magazin nicht erfahren.

Empfehlung auch für Privatgeräte

Die Funktionen würden weiterentwickelt und auf mehr Geräten verfügbar gemacht, zitiert Politico aus der Begründung: „Der volle Umfang der Daten, die an Dienstleister weitergegeben werden, wird derzeit noch überprüft.“ Bis das umfassend geklärt sei, sei es sicherer, die Funktionen deaktiviert zu lassen. Das Magazin zitiert einen anonymen EU-Angestellten mit der Erklärung, dass es um Funktionen gehe, die das Schreiben und Zusammenfassen von Texten erledigen, um virtuelle Assistenten und die Zusammenfassung von Internetseiten. Die Parlamentsverwaltung selbst habe den Bericht nicht bestätigt oder dementiert und auch keine konkreten KI-Werkzeuge genannt. Apps, die Kalender, E-Mails, Dokumente und andere alltägliche Werkzeuge seien nicht betroffen, heißt es noch in der E-Mail.

Die Maßnahme des EU-Parlaments macht einmal mehr deutlich, was für Probleme die rasche Weiterentwicklung von KI-Funktionen im Arbeitsalltag mit sich bringt. In der internen E-Mail wird laut Politico noch darauf gedrängt, „ähnliche Vorsichtsmaßnahmen“ auf privaten Geräten vorzunehmen. Es sollte vermieden werden, dienstliche E-Mails, Dokumente oder andere interne Informationen an KI-Werkzeuge zu übermitteln, etwa um deren Inhalte zu analysieren. Das deutet an, dass jetzt die Gefahr besteht, dass Abgeordnete oder ihre Angestellten einfach auf private Geräte wechseln, wenn sie auf bestimmte KI-Funktionen nicht verzichten wollen. Solche „Schatten-KI“ ist in Unternehmen längst ein wachsendes Problem.

(mho)

Die Stadtverwaltung von Guadalupe, einem Vorort der mexikanischen Großstadt Monterrey, hat die Einführung einer Polizeistaffel von vier Roboterhunden angekündigt. Die als Division K9-X bezeichnete neue Einheit soll bei Sicherheitsmaßnahmen während der Fußball-Weltmeisterschaft 2026 zum Einsatz kommen. Mexiko ist neben den Vereinigten Staaten und Kanada Co-Gastgeber. Im Estadio BBVA in Guadelupe (Monterrey) im nordmexikanischen Bundesstaat Nuevo León werden vier WM-Partien ausgetragen.

Nach Angaben der Stadtverwaltung werden die Roboterhunde für Präventions- und Abschreckungsaufgaben zur Unterstützung von Überwachungs-, Betreuungs- und Kontrollaufgaben konzipiert. „Auf dem Boden werden diese Roboterhunde von K9-X die Polizei bei einem ersten Einsatz mit Videoaufnahmen unterstützen und schließlich gefährliche Orte betreten, d. h. bevor die Sicherheitskräfte eintreffen und um die körperliche Unversehrtheit der Beamten zu gewährleisten, werden die Roboter im Falle einer Auseinandersetzung oder bei alkoholisierten Personen eingreifen.“, lobte Guadelupes Bürgermeister Héctor García García bei der Vorstellung der neuen Division in der vergangenen Woche die Vorzüge dieser Technologie und ihre Einsatzmöglichkeiten.

Mithilfe der Roboterhunde soll die städtische Polizei ungewöhnliche Situationen erkennen und schneller und sicherer auf potenzielle Risiken reagieren könne. Die Roboter unterstützen demnach bei der Überwachung großer Gebiete, seien in der Lage, ungewöhnliches Verhalten oder Objekte zu erkennen, ungewöhnliche Menschenansammlungen zu identifizieren und sofort die Sicherheits- und Zivilschutzbehörden zu alarmieren.

Jeder der Roboterhunde ist aus widerstandsfähigem Material gefertigt, um auch in unwegsames Gelände gelangen zu können. Darüber hinaus verfügen sie über Videokameras, Nachtsichtgeräte, Sprachsteuerung und Warnsysteme. Die Investitionen für die Anschaffung der Roboter beliefen sich auf 2,5 Millionen Pesos (rund 123.000 Euro).

Am vergangenen Donnerstag hatte die Roboterhund-Brigade bereits ihren ersten offiziellen Großeinsatz, als sie bei einem Heimspiel des lokalen Erstligavereins CF Monterrey gegen CSD Xelajú MC aus Guatemala im CONCACAF Champions Cup, der zentralamerikanischen Champions League, im Estadio BBVA patrouillierte. Die Einheit führte präventive Rundgänge außerhalb des Stadions durch und überprüfte dabei Zugänge und Bereiche mit hohem Personenaufkommen. Ferner überprüfte sie im Stadion Gänge und Gemeinschaftsbereiche und verstärkte die Überwachung an stark frequentierten Stellen, wie die Stadt Guadelupe mitteilte. Und weiter: „Im Rahmen der strategischen Überwachung vor dem Spiel überprüften die Roboter-Einheiten auch die Unterseite von Fahrzeugen“ rund um das Stadion, was eine bessere Beobachtung und frühzeitige Erkennung möglicher Straftaten ermöglichte.

(akn)

Die Versprechungen, die mit „Künstlicher Intelligenz“ („KI“) und mit Digitalisierung einhergehen, sind gewaltig. Das ist auch im „Update der Digitalisierungsstrategie für das Gesundheitswesen und die Pflege“ nicht anders, die Bundesgesundheitsministerin Nina Warken (CDU) am 11. Februar vorstellte. Ein „gesünderes und längeres Leben für alle“ soll die Digitalisierung ermöglichen, sie soll die medizinische Versorgung und Pflege „besser und effizienter“ machen, heißt es darin zum Beispiel.

Die Strategie hatte der damalige Minister Karl Lauterbach ursprünglich im Jahr 2023 vorgelegt. Der Aufbau des Europäischen Gesundheitsdatenraums (EHDS), neue Erwartungen im Bereich der „Künstlichen Intelligenz“ sowie der Plan eines neuen Systems für die Erstversorgung machten das nun vorgelegte Update notwendig.

Die wichtigsten Elemente: Die ePA soll zur zentralen Anwendung für Gesundheitsthemen ausgebaut werden, Digitalisierung der Schlüssel zu einem erfolgreichen Primärärzt*innensystem sein und „KI“ soll „sicher, flächendeckend und wirksam“ eingesetzt werden.

Digitalisierung und „KI“ werden das Gesundheitswesen fraglos verändern. Doch es ist wichtig, jetzt die richtigen Fragen zu stellen.

Wie weit hilft „KI“ dem Gesundheitswesen?

Während Digitalisierung und „KI“ durchaus das Potenzial haben, Prozesse im Gesundheitswesen zu vereinfachen und die Versorgung zu verbessern, kommt es auf eine gewissenhafte Abwägung bei der Umsetzung an.

Dabei dürfen wir vor allem nicht vernachlässigen, wie weitreichend die Auswirkungen auf Menschen in Gesundheitsberufen, auf Patient*innen und auf das Verhältnis zwischen ihnen sein können. Dazu braucht es mehr strategische Auseinandersetzung und Debatten.

Den großen Hoffnungen, mit denen der Einsatz von „KI“ derzeit verbunden ist, müssen wir realistisch begegnen. Weder wird „KI“ alle strukturellen Probleme im Gesundheitswesen wie Personalmangel oder Kostenexplosion lösen können. Noch sind die großen Versprechungen medizinischer Spitzenleistungen und Effizienzgewinne bisher eingetreten – oder auch nur auf absehbare Zeit erwartbar.

Die technische Architektur der KI-Systeme gründet auf massenhaften Daten plus Stochastik, also der mathematischen „Kunst des Vermutens“. Das begrenzt diese Systeme dauerhaft. Es gibt keine Garantie dafür, dass Aussagen der „KI“ wahr und richtig sind.

Anders als bei einem Algorithmus, der nach festen Regeln funktioniert und bei gleichen Bedingungen wiederholbare Ergebnisse liefert, ist diese Wiederholbarkeit bei „KI“ gerade nicht gewährleistet. Auch ist es nicht nachvollziehbar, was genau den jeweiligen Antworten zugrunde liegt.

Welche Zwecke soll und kann Dokumentation erfüllen?

„KI“-gestützte Dokumentation soll in wenigen Jahren bei mehr als 70 Prozent der Einrichtungen der Standard sein, heißt es in der Strategie.

Sicherlich: Dokumentation ist oft lästig, aber sie kann auch dabei helfen, ein gemeinsames Verständnis zwischen Patient*in und Ärzt*in herzustellen, Angaben zu überprüfen oder eine wichtige abschließende Reflexion über einen Fall darstellen.

Was bewirkt Automatisierung mit „KI“?

Doch selbst wenn eine Entlastung durch Automatisierung in diesem Fall naheliegt: Schafft sie am Ende tatsächlich mehr qualitativ hochwertige Zeit für die Behandlung von Patient*innen? Oder wird sie am Ende die Arbeit von Menschen in Gesundheitsberufen noch weiter verdichten?

Das ist gerade angesichts des demografischen Wandels erwartbar. Er wird in den nächsten Jahren dazu führen, dass viele ältere Patient*innen größere Behandlungsbedarfe in die Praxen und Krankenhäuser bringen, während zugleich viele Menschen in Gesundheitsberufen in Rente gehen. Weniger Ärzt*innen müssen also künftig mehr Patient*innen behandeln – wenn nicht gegengesteuert wird.

Dabei entscheidet eine gute Beziehung zwischen Ärzt*innen und Patient*innen über den Heilungsverlauf mit, auch bei körperlichen Erkrankungen. Doch dafür braucht es vor allem eines: Zeit.

So umfassend will Warken die Gesundheitsdaten aller Versicherten verknüpfen

Wie wichtig ist uns digitale Souveränität?

Bei der Automatisierung der Dokumentation strebt die Ministerin ein hohes Tempo an. Mit Blick auf die bisher auf dem Markt dominierenden Anbieter könnte das dazu führen, dass schon bald OpenAI, Google Gemini und Co. regelmäßig ebenfalls im Sprechzimmer anwesend sind. Die Abhängigkeit von den US-amerikanischen Tech-Konzernen wächst bei verstärktem Einsatz dieser Dienste also weiter an.

Große Anbieter von Praxisverwaltungssystemen werben bereits mit „KI“-Tools zur Dokumentation und Automatisierung. Schaut man genauer in deren Datenschutzbestimmungen, bestätigt sich diese Vermutung.

Doctolib setzt Anthropic und Google Gemini als „KI“ ein und hostet bei Amazon Web Services. Konkurrent Jameda begrüßt die neue Strategie als „wichtiges Signal für die Branche“ und verweist auf das eigene Dokumentationstool Noa Notes, das ebenfalls auf Amazon Web Services sowie Microsoft Azure setzt und auch OpenAI in seiner Datenschutzerklärung stehen hat.

VIA Health verspricht als „erster virtueller Assistent speziell für die Psychotherapie“ besten Datenschutz. Gleichzeitig weist das Unternehmen in seiner Datenschutzerklärung darauf hin, zur „Transkribierung der Audiospur sowie […] Erstellung der Sitzungsprotokolle“ verschiedene Drittanbieter von „Large Language Models (LLMs)“ einzusetzen.

Das alles spiegelt die gegenwärtige Realität weiter Teile unserer digitalen Infrastruktur wider. Zugleich passt es nicht zusammen mit politischen Forderungen nach mehr digitaler Souveränität, die auch von der Bundesregierung selbst regelmäßig vorgetragen werden.

Wie verändern Sprachmodelle die Beziehung zwischen Ärzt*innen und Patient*innen?

Auch zu „KI“-gestützten Systemen der medizinischen Ersteinschätzung müssen wir uns Gedanken machen. Künftig sollen Symptome in ein Computersystem eingegeben werden, danach erfolgt eine technische Einschätzung.

Dieses Verfahren soll Teil des Erstversorgungssystems werden und so den Zugang ins Gesundheitswesen (mit)regeln. Noch ist nicht klar, ob regelbasierte Algorithmen oder „KI“ die technische Grundlage dafür bilden werden.

Es kann grundsätzlich sinnvoll sein, vor dem Besuch einer Praxis die Symptome in ein technisches System einzugeben und sich gegebenenfalls aufgrund einer besseren Steuerung Wartezeit zu ersparen.

Eines genaueren Blicks bedürfen allerdings Themen, die sensibler und oft schambesetzt sind. Einfühlsam und ohne Vorurteile über Sexualität zu reden, fällt Menschen oft schwer. Viele Patient*innen sprechen das Symptom einer Geschlechtskrankheit daher erst am Ende einer Sprechstunde an. Oder eine psychische Belastungssituation wird erst im Laufe eines Gesprächs deutlich.

Öffnen wir mit digitalen Angeboten also tatsächlich neue Wege für Patient*innen? Oder verlieren wir etwas, wenn wir auf standardisierte digitale Ersteinschätzungen setzen? Und wie können geschützte Räume entstehen für sensible Themen wie Sexualität, Geschlechtskrankheiten, Substanzkonsum oder psychische Störungen, wenn das vertrauliche Gespräch mit einer behandelnden Person von einem „KI“-Tool mitgeschnitten wird?

Wie gut sind Sprachmodelle als Gesundheitsassistenzen wirklich?

„KI“ soll zur ständigen Begleiterin für Patient*innen werden und perspektivisch „individualisierte Gesundheitsempfehlungen“ geben, heißt es in der Strategie. Das Bundesgesundheitsministerium möchte so die Eigenverantwortung der Versicherten stärken.

Dabei hat gerade erst eine in der wissenschaftlichen Zeitschrift „Nature“ veröffentlichte Studie gezeigt, dass „KI“-Systeme faktisch daran scheitern, richtige Ergebnisse hervorzubringen, sobald man sich von theoretischem Lehrbuchwissen verabschiedet und reale Patient*innen auf sie loslässt.

Hinzu kommt: Bei Sprachmodellen, der Grundlage von KI-Systemen, werden die Eingaben nicht über Standardfragen geleitet. Sondern das Verfahren hängt stark von den Eingaben der User*innen ab – und damit die Ausgaben der Systeme.

Weil aber die Anzahl möglicher Nutzer*inneneingaben unbegrenzt ist, lässt sich damit auch nicht verlässlich für alle Anwendungsfälle überprüfen, wie gut ChatGPT und Co. im Einzelfall reagieren. Die Erwartung an Verlässlichkeit von Software-Programmen, die sich aus Zeiten regelbasierter Programmierung speist, ist bei auf Stochastik gründenden Ansätzen nicht haltbar – denn da sind immer Wahrscheinlichkeiten oder sogar der Zufall im Spiel.

Zwar gibt es mittlerweile Beispiele, in denen Menschen sagen: „KI“ hat mir dabei geholfen, dass es mir gesundheitlich wieder besser geht. Gerade bei seltenen Erkrankungen, denen Ärzt*innen in ihrem Berufsalltag nur überaus selten begegnen, wird den Sprachmodellen ein solches Potenzial zugesprochen.

Gleichzeitig gibt es jedoch groteske Beispiele, in denen ChatGPT bei der Bewertung von Daten eines Gesundheitstrackers die Note „ungenügend“ – also kurz vor Herzinfarkt – „erraten“ hat, während zwei Ärzte keine Anhaltspunkte für eine Erkrankung finden konnten.

Menschen handeln als Menschen und sind damit – auch in der Interaktion mit Maschinen und bei der Interpretation „maschineller“ Antworten – oft unberechenbar.

Das wiederum kann weitreichende Auswirkungen für Interaktionen zwischen Mensch und Mensch im Behandlungszimmer haben. Fragen Ärzt*innen in der Sprechstunde künftig mit ab, ob Patient*innen bereits vorab mit „KI“ recherchiert haben? Wie gehen Versicherte damit um, wenn sich Empfehlungen von „KI“-Systemen von denen realer Mediziner*innen unterscheiden? Oder wenn die von der „KI“ vorgeschlagenen Behandlungen nicht von den Kassen gedeckt werden?

Wie bleibt das Gesundheitswesen menschlich?

Wenn sie gut gemacht sind, bieten Technologien die Chance, Medizin besser zu machen. Dafür müssen wir uns allerdings die richtigen Fragen stellen – jenseits von Heilsversprechen und Technikgläubigkeit sowie im Wissen um den hochkomplexen Faktor Mensch.

Der Mensch ist dabei kein „nerviges Beiwerk“. Am Ende sollen es ja wir alle sein, die von den neuen Technologien profitieren – und nicht nur die Tech-Milliardäre, die sie mit den größten Versprechungen bewerben.

Manuel Hofmann ist Referent für Digitalisierung der Deutschen Aidshilfe. Offenlegung: Der Autor hat im vergangenen Jahr auf Einladung der Gematik am Fachforum „Technologien und Anwendungen“ für die Weiterentwicklung der Digitalisierungsstrategie „Gemeinsam Digital“ teilgenommen.