Künstliche Intelligenz
„ChatGPT Health“: Schwächen bei medizinischen Notfällen und der Suizidprävention
Im Januar 2026 hat OpenAI mit „ChatGPT Health“ einen Service eingeführt, der als erste digitale Anlaufstelle für Gesundheitsfragen dienen soll. Entscheidend für einen solchen Einsatz ist, dass KI die Schwere und Dringlichkeit eines Problems korrekt bewertet. Die Skala der Empfehlungen reicht dabei von „zu Hause auskurieren“ über „einen Arzt in den nächsten Wochen aufsuchen“ bis zum sofortigen Gang in eine Notaufnahme.
Weiterlesen nach der Anzeige
Forscher haben nun in einer im Fachjournal Nature Medicine veröffentlichten Studie systematisch untersucht, wie verlässlich und sicher diese KI-basierte Triage in der Praxis funktioniert, und stießen dabei auf bedenkliche Mängel.
Systematische Überprüfung durch medizinische Fallbeispiele
Um die Genauigkeit der KI realitätsnah und kontrolliert zu überprüfen, entwarfen Mediziner 60 detaillierte klinische Fallbeispiele aus 21 Fachbereichen. Diese Fälle wurden dabei methodisch variiert und in den Textvorgaben (Prompts) veränderten die Forscher Merkmale wie Geschlecht und Hautfarbe der fiktiven Patienten, simulierten Hürden wie fehlende Transportmöglichkeiten oder bauten psychologische Faktoren ein, wie etwa die verharmlosende Aussage durch einen Angehörigen.
Insgesamt wurden 960 dieser Anfragen an ChatGPT Health gestellt. Die Triage-Empfehlungen der KI wurden anschließend mit der unabhängigen Einschätzung eines ärztlichen Expertenteams (basierend auf etablierten klinischen Leitlinien) verglichen.
Limitationen bei echten Notfällen und harmlosen Situationen
Weiterlesen nach der Anzeige
Die Auswertung zeigte ein gemischtes Bild. Bei medizinischen Alltagsproblemen mittleren Schweregrades stimmten die Empfehlungen der KI meist mit denen der Ärztinnen und Ärzte überein. An den Rändern des Schweregrades, also bei völliger Harmlosigkeit oder bei akuter Lebensgefahr, sank die Leistung jedoch deutlich ab.
Unter-Triage (Verpasste Notfälle): In 51,6 Prozent der echten medizinischen Notfälle bewertete die KI die Lage als zu harmlos. Bei Patienten mit einer schweren diabetischen Entgleisung (Ketoazidose) oder einem akuten Asthma-Anfall riet das System beispielsweise dazu, innerhalb der nächsten 24 bis 48 Stunden einen Arzt aufzusuchen, anstatt den sofortigen Weg in die Notaufnahme zu empfehlen. Die KI erkannte im Text zwar teils die kritischen Symptome, gewichtete diese aber oft falsch (etwa mit dem Argument, der Patient spreche trotz Atemnot noch in ganzen Sätzen).
Über-Triage (übertriebene Vorsicht bei leichten Beschwerden)
Umgekehrt zeigte sich ChatGPT Health bei harmlosen Beschwerden oft sehr vorsichtig. Fast 65 Prozent der Fälle, die laut Leitlinien problemlos zu Hause beobachtet werden könnten, stufte das System als behandlungsbedürftig ein und riet zu einem Arztbesuch. Dies birgt laut den Forschern potenziell das Risiko, Ressourcen im Gesundheitssystem unnötig zu belasten.
Beide Fehler (Unter- und Über-Triage) sind natürlich problematisch, wobei insbesondere eine Unter-Triage gefährlich sein kann, wenn Patientinnen und Patienten zu spät die notwendige medizinische Hilfe bekommen. Bei Routinefällen, welche weder besonders dringend, noch harmlos waren, zeigte ChatGPT Health eine gute Leistung und stimmte in 93 Prozent der Fälle mit der ärztlichen Empfehlung überein.
Einfluss von externen Informationen auf die KI-Entscheidung
Die Studie untersuchte außerdem, inwieweit psychologische Effekte die KI-basierte Ersteinschätzung beeinflussen. Es zeigte sich, dass ChatGPT Health anfällig für den sogenannten „Anchoring Bias“ (Ankereffekt) ist. Wurde in einem medizinischen Grenzfall beiläufig erwähnt, dass Freunde die Symptome als nicht besorgniserregend einstuften, ließ sich die KI davon oft beeinflussen. Die Wahrscheinlichkeit, dass das System daraufhin eine weniger dringliche Einschätzung abgab, stieg deutlich an (Odds Ratio von 11,7).
Keinen statistisch signifikanten Einfluss auf die Triage-Empfehlungen hatten hingegen demografische Faktoren wie Hautfarbe oder Geschlecht der Patientinnen und Patienten in den konstruierten Fällen.
Unzuverlässige Sicherheitsmechanismen für psychische Krisen
Ein weiterer Schwerpunkt der Untersuchung war der Umgang der KI mit psychischen Notlagen. Um Nutzer zu schützen, verfügt ChatGPT Health über einen Mechanismus, der bei Suizidgedanken ein Warnbanner mit dem Hinweis „Hilfe ist verfügbar“ und einem Verweis auf Krisenhotlines einblendet.
Die Studie zeigte hier verschiedene Mängel auf. Dieser Schutzmechanismus funktioniert in der Untersuchung zuverlässig bei vagen, eher passiven Aussagen zu Suizidgedanken. Äußerte ein fiktiver Patient jedoch einen konkreten Suizidplan (beispielsweise die Absicht, bestimmte Tabletten einzunehmen) und lieferte gleichzeitig unauffällige medizinische Laborwerte mit, blieb das Warnbanner meist aus. Das System fokussierte sich in diesen Fällen stark auf die körperlichen Parameter – mit Hinweisen wie „Ihre Laborwerte sind normal und deuten auf keine medizinische Ursache für diese Gedanken hin“ und erkannte den akuten psychischen Notfall oft nicht.
Bedeutung für die Regulierung von Gesundheits-KI
Die Autoren der Studie leiten aus ihren Ergebnissen Empfehlungen für den künftigen Einsatz von KI im Gesundheitsmarkt ab. Anbieter wie OpenAI versehen ihre Systeme mit rechtlichen Hinweisen, dass diese keine ärztliche Diagnose ersetzen. Es ist aber nicht unwahrscheinlich, dass viele Menschen einen Arztbesuch verschieben oder vermeiden würden, wenn ihnen die KI versichert, es bestehe kein ernsthaftes Problem.
Die Wissenschaftler schlussfolgern, dass Systeme, die als erster Kontaktpunkt für medizinische Einschätzungen genutzt werden, strengeren Prüfungen unterliegen sollten. Sie schlagen vor, dass patientengerichtete KI-Tools im Gesundheitsbereich vor einer breiten Veröffentlichung ähnliche externe Sicherheits- und Zulassungsprüfungen durchlaufen sollten wie klassische Medizinprodukte, um den Patientenschutz verlässlich zu gewährleisten.
(mack)
Künstliche Intelligenz
KI-Halluzinationen vor Gericht | heise online
Künstliche Intelligenz wird vermehrt in der Justiz genutzt. Das stellt Rechtssysteme vor Herausforderungen: Weltweit haben Gerichte mit Schriftsätzen zu kämpfen, die KI-Halluzinationen enthalten, berichtet der US-Radiosender NPR.
Weiterlesen nach der Anzeige
Dem Bericht zufolge nutzen immer mehr Anwälte KI für Schriftstücke in laufenden Verfahren. Das Problem: Die KI-Anwendungen zitieren nicht existierende Gerichtsurteile, verfälschen Aussagen oder geben Urteile falsch wieder. Das ist besonders problematisch für das anglo-amerikanische Fallrecht, das sich maßgeblich auf Präzedenzfälle stützt.
Damien Charlotin, Rechtswissenschaftler an der Wirtschaftshochschule HEC Paris, betreibt eine Online-Datenbank, die weltweit Verfahren erfasst, in denen Gerichte Personen wegen des Vorbringens von Dokumenten mit KI-Fehlern sanktioniert haben. Laut dieser Datenbank gab es bis April 2026 weltweit mehr als 1300 solcher Gerichtsverfahren. Allein 800 der Fälle entfielen auf US-Gerichte, erklärte Charlotin gegenüber NPR.
Menge der Verfahren nimmt zu
Dem Wissenschaftler zufolge hat die Menge an Gerichtsverfahren, in denen Dokumente mit Fehlern aus KI-Tools verwendet wurden, seit vergangenem Jahr erheblich zugenommen. Erst kürzlich wurden an einem Tag zehn Fälle an zehn verschiedenen Gerichten bekannt.
Auch die Strafen werden härter. Vergangenen Monat verhängte ein US-Bundesgericht in Oregon Sanktionen von insgesamt über 100.000 US-Dollar gegen einen Anwalt. Auch er hatte Dokumente eingereicht, die von KI-Modellen verursachte Fehler enthielten. Laut NPR sollen solche Fälle von halluzinierten Gerichtsentscheidungen oder falschen Zitaten in Prozessdokumenten bereits bei obersten Gerichten der US-Bundesstaaten aufgetreten sein.
Erste US-Gerichte führen Kennzeichnungspflichten ein
Weiterlesen nach der Anzeige
NPR zufolge haben einige US-Gerichte bereits Kennzeichnungsvorschriften eingeführt. Demnach muss jedes Dokument, das mit KI erstellt oder bearbeitet wurde, detailliert gekennzeichnet werden. Ziel sei es, festzustellen, welches Dokument die Gerichte detailliert auf KI-Halluzinationen überprüfen müssen.
Ein von NPR zitierter Anwalt hält diese Praxis allerdings für wenig praktikabel. Da KI mittlerweile im standardmäßigen Funktionsumfang von Kanzleisoftware integriert ist, wäre nahezu jedes Dokument kennzeichnungspflichtig.
(rah)
Künstliche Intelligenz
Startup Photreon will Wasserstoff mit Sonnenlicht ohne Elektrolyse gewinnen
Grüner Wasserstoff gilt als wichtige Komponente der Energiewende, als Speicher für Wind- und Solarstrom, als Rohstoff oder als Treibstoff. Bisherige Konzepte gehen davon aus, das Element mit grünem Strom per Elektrolyse zu gewinnen. Das Startup Photreon will das nur mit Sonnenlicht schaffen.
Weiterlesen nach der Anzeige
„Wir überspringen den Umweg über stromgebundene Elektrolyse und produzieren chemische Energie aus Sonne und Wasser“, sagt Paul Kant, einer der Gründer. Das Spinoff des Karlsruher Instituts für Technologie (KIT), will dazu Photokatalyse einsetzen. Dabei löst Licht eine chemische Reaktion aus.
Die von Photreon entwickelten Solarmodule bestehen aus speziellen lichtaktiven Materialien. Diese absorbieren Sonnenlicht und versetzen Elektronen in einen angeregten Zustand. Diese zerlegen dann Wasser in seine Bestandteile Wasserstoff und Sauerstoff. Das Team hat ein Prototyp-Paneel mit einem Quadratmeter Fläche gebaut und damit die Funktionsweise seiner Entwicklung demonstriert. Das Design der Module sei „auf Serienfertigung durch gängige Massenproduktionsverfahren ausgelegt“.
Keine Angaben zum Wirkungsgrad
Woraus die Photoreaktorpaneele bestehen, verrät Photreon nicht – die Technik ist zum Patent angemeldet. Auch weitere technische Details wie etwa den Wirkungsgrad, die produzierte Menge von Wasserstoff pro Stunde oder die Kosten für den so erzeugten Wasserstoff nennt das Startup nicht.
„Photovoltaik und Elektrolyseur werden in einem Prozessschritt durch das Photoreaktorpaneel ersetzt“, erläutert Photreon-Mitgründerin Maren Cordts. „Das senkt die Systemkosten und -komplexität bei der Produktion von grünem Wasserstoff erheblich.“
Den Einsatz der Photoreaktormodule sieht Photreon dort, „wo weder Stromnetze noch eine Anbindung an ein Wasserstoffnetz vorhanden sind, eröffnet unsere Technologie neue Spielräume für die lokale Erzeugung“, sagt Cordts. Abnehmer könnten beispielsweise Unternehmen aus der Chemiebranche, der Lebensmittelindustrie oder der Metallverarbeitung sein, die mit einem solchen System ihren Wasserstoffbedarf selbst decken könnten.
Weiterlesen nach der Anzeige
Daneben könnten die Paneele in Solarparks in Regionen mit hoher Sonneneinstrahlung aufgestellt werden.
(wpl)
Künstliche Intelligenz
Microsoft übernimmt Rechenzentrum von OpenAI in Norwegen
Microsoft statt OpenAI. Der Windows-Konzern hat die Anmietung von Rechenzentrumskapazität im norwegischen Narvik, nördlich des Polarkreises, vereinbart. Das Rechenzentrum war ursprünglich für OpenAI als Teil von dessen Stargate-Projekt geplant. Das berichtete am Dienstag die Nachrichtenagentur Bloomberg.
Weiterlesen nach der Anzeige
Dem Bericht zufolge wird Microsoft 30.000 zusätzliche Nvidia-Vera-Rubin-Chips von dem britischen KI-Infrastrukturanbieter Nscale auf einem Campus in der Ortschaft Narvik anmieten. Ursprünglich hatte OpenAI mit Nscale über Kapazitäten für seine KI-Workloads auf dem Campus verhandelt, konnte aber laut Insidern keine Einigung erzielen, so Bloomberg. Der ChatGPT-Entwickler hatte das Projekt als sein erstes europäisches Riesenrechenzentrum unter dem Label „Stargate Norway“ vermarktet. Im Rahmen seines KI-Infrastrukturprojekts „Stargate Project“ will OpenAI mit Partnern in den kommenden Jahren mindestens 500 Milliarden US-Dollar in neue KI-Rechenzentren stecken.
Zweiter Rückschlag für OpenAIs Pläne
Die Aufgabe der Rechenzentrumspläne in Norwegen ist der zweite Dämpfer für OpenAI innerhalb kurzer Zeit. In der vergangenen Woche legte OpenAI sein vergleichbares Rechenzentrumsprojekt Stargate UK in Großbritannien vorerst auf Eis, da die Rahmenbedingungen für die Realisierung nicht gegeben seien. Als Gründe für den überraschenden Schritt nannte das Unternehmen regulatorische Hürden und hohe Energiekosten. Dabei handelte es sich ebenfalls um einen von Nscale entwickelten Standort.
Bloomberg berichtet nun, dass Nscale mit Google einen weiteren Kunden für ein separates, mit Nvidias Grace-Blackwell-Chips ausgestattetes Rechenzentrum in West-London gefunden hat. Dies habe eine mit dem Deal vertraute Person mitgeteilt, die anonym bleiben wollte, da die Vereinbarung noch nicht öffentlich ist.
OpenAI agiert zurückhaltender
OpenAI scheint angesichts der steigenden Kosten für seine Serverfarmen entgegen vollmundigen Ankündigungen in der Vergangenheit nun vorsichtiger vorzugehen, vermutet Bloomberg. Ein Sprecher von OpenAI erklärte gegenüber der Nachrichtenagentur, das Unternehmen prüfe weiterhin eine Vereinbarung über Kapazitäten in Norwegen und arbeite mit verschiedenen Partnern am Ausbau seiner Infrastruktur.
Weiterlesen nach der Anzeige
Microsoft wiederum hat seinerseits mehrere Verträge mit Rechenzentrumsbetreibern wie Nscale abgeschlossen, um die steigende Nachfrage nach eigenen Rechenzentren zu decken. Im vergangenen Monat kündigte Microsoft zudem die Übernahme eines Datacenter-Projekts im US-Bundesstaat Texas an, das ursprünglich für OpenAI und Oracle entwickelt worden war. In Deutschland hat Microsoft im vergangenen Monat den ersten Spatenstich für ein Rechenzentrum im rheinischen Braunkohlerevier gesetzt, das im Endausbau rund 520 Megawatt (MW) leisten soll.
(akn)
-
Künstliche Intelligenzvor 2 Monaten
Top 10: Die beste kabellose Überwachungskamera im Test – Akku, WLAN, LTE & Solar
-
Social Mediavor 1 MonatCommunity Management und Zielgruppen-Analyse: Die besten Insights aus Blog und Podcast
-
Social Mediavor 2 MonatenCommunity Management zwischen Reichweite und Verantwortung
-
UX/UI & Webdesignvor 2 MonatenEindrucksvolle neue Identity für White Ribbon › PAGE online
-
Entwicklung & Codevor 1 MonatCommunity-Protest erfolgreich: Galera bleibt Open Source in MariaDB
-
Künstliche Intelligenzvor 3 MonatenInterview: Massiver Anstieg der AU‑Fälle nicht durch die Telefon‑AU erklärbar
-
Künstliche Intelligenzvor 2 MonatenSmartphone‑Teleaufsätze im Praxistest: Was die Technik kann – und was nicht
-
Entwicklung & Codevor 3 MonatenKommentar: Entwickler, wacht auf – oder verliert euren Job
