Künstliche Intelligenz
„ChatGPT Health“: Schwächen bei medizinischen Notfällen und der Suizidprävention
Im Januar 2026 hat OpenAI mit „ChatGPT Health“ einen Service eingeführt, der als erste digitale Anlaufstelle für Gesundheitsfragen dienen soll. Entscheidend für einen solchen Einsatz ist, dass KI die Schwere und Dringlichkeit eines Problems korrekt bewertet. Die Skala der Empfehlungen reicht dabei von „zu Hause auskurieren“ über „einen Arzt in den nächsten Wochen aufsuchen“ bis zum sofortigen Gang in eine Notaufnahme.
Weiterlesen nach der Anzeige
Forscher haben nun in einer im Fachjournal Nature Medicine veröffentlichten Studie systematisch untersucht, wie verlässlich und sicher diese KI-basierte Triage in der Praxis funktioniert, und stießen dabei auf bedenkliche Mängel.
Systematische Überprüfung durch medizinische Fallbeispiele
Um die Genauigkeit der KI realitätsnah und kontrolliert zu überprüfen, entwarfen Mediziner 60 detaillierte klinische Fallbeispiele aus 21 Fachbereichen. Diese Fälle wurden dabei methodisch variiert und in den Textvorgaben (Prompts) veränderten die Forscher Merkmale wie Geschlecht und Hautfarbe der fiktiven Patienten, simulierten Hürden wie fehlende Transportmöglichkeiten oder bauten psychologische Faktoren ein, wie etwa die verharmlosende Aussage durch einen Angehörigen.
Insgesamt wurden 960 dieser Anfragen an ChatGPT Health gestellt. Die Triage-Empfehlungen der KI wurden anschließend mit der unabhängigen Einschätzung eines ärztlichen Expertenteams (basierend auf etablierten klinischen Leitlinien) verglichen.
Limitationen bei echten Notfällen und harmlosen Situationen
Weiterlesen nach der Anzeige
Die Auswertung zeigte ein gemischtes Bild. Bei medizinischen Alltagsproblemen mittleren Schweregrades stimmten die Empfehlungen der KI meist mit denen der Ärztinnen und Ärzte überein. An den Rändern des Schweregrades, also bei völliger Harmlosigkeit oder bei akuter Lebensgefahr, sank die Leistung jedoch deutlich ab.
Unter-Triage (Verpasste Notfälle): In 51,6 Prozent der echten medizinischen Notfälle bewertete die KI die Lage als zu harmlos. Bei Patienten mit einer schweren diabetischen Entgleisung (Ketoazidose) oder einem akuten Asthma-Anfall riet das System beispielsweise dazu, innerhalb der nächsten 24 bis 48 Stunden einen Arzt aufzusuchen, anstatt den sofortigen Weg in die Notaufnahme zu empfehlen. Die KI erkannte im Text zwar teils die kritischen Symptome, gewichtete diese aber oft falsch (etwa mit dem Argument, der Patient spreche trotz Atemnot noch in ganzen Sätzen).
Über-Triage (übertriebene Vorsicht bei leichten Beschwerden)
Umgekehrt zeigte sich ChatGPT Health bei harmlosen Beschwerden oft sehr vorsichtig. Fast 65 Prozent der Fälle, die laut Leitlinien problemlos zu Hause beobachtet werden könnten, stufte das System als behandlungsbedürftig ein und riet zu einem Arztbesuch. Dies birgt laut den Forschern potenziell das Risiko, Ressourcen im Gesundheitssystem unnötig zu belasten.
Beide Fehler (Unter- und Über-Triage) sind natürlich problematisch, wobei insbesondere eine Unter-Triage gefährlich sein kann, wenn Patientinnen und Patienten zu spät die notwendige medizinische Hilfe bekommen. Bei Routinefällen, welche weder besonders dringend, noch harmlos waren, zeigte ChatGPT Health eine gute Leistung und stimmte in 93 Prozent der Fälle mit der ärztlichen Empfehlung überein.
Einfluss von externen Informationen auf die KI-Entscheidung
Die Studie untersuchte außerdem, inwieweit psychologische Effekte die KI-basierte Ersteinschätzung beeinflussen. Es zeigte sich, dass ChatGPT Health anfällig für den sogenannten „Anchoring Bias“ (Ankereffekt) ist. Wurde in einem medizinischen Grenzfall beiläufig erwähnt, dass Freunde die Symptome als nicht besorgniserregend einstuften, ließ sich die KI davon oft beeinflussen. Die Wahrscheinlichkeit, dass das System daraufhin eine weniger dringliche Einschätzung abgab, stieg deutlich an (Odds Ratio von 11,7).
Keinen statistisch signifikanten Einfluss auf die Triage-Empfehlungen hatten hingegen demografische Faktoren wie Hautfarbe oder Geschlecht der Patientinnen und Patienten in den konstruierten Fällen.
Unzuverlässige Sicherheitsmechanismen für psychische Krisen
Ein weiterer Schwerpunkt der Untersuchung war der Umgang der KI mit psychischen Notlagen. Um Nutzer zu schützen, verfügt ChatGPT Health über einen Mechanismus, der bei Suizidgedanken ein Warnbanner mit dem Hinweis „Hilfe ist verfügbar“ und einem Verweis auf Krisenhotlines einblendet.
Die Studie zeigte hier verschiedene Mängel auf. Dieser Schutzmechanismus funktioniert in der Untersuchung zuverlässig bei vagen, eher passiven Aussagen zu Suizidgedanken. Äußerte ein fiktiver Patient jedoch einen konkreten Suizidplan (beispielsweise die Absicht, bestimmte Tabletten einzunehmen) und lieferte gleichzeitig unauffällige medizinische Laborwerte mit, blieb das Warnbanner meist aus. Das System fokussierte sich in diesen Fällen stark auf die körperlichen Parameter – mit Hinweisen wie „Ihre Laborwerte sind normal und deuten auf keine medizinische Ursache für diese Gedanken hin“ und erkannte den akuten psychischen Notfall oft nicht.
Bedeutung für die Regulierung von Gesundheits-KI
Die Autoren der Studie leiten aus ihren Ergebnissen Empfehlungen für den künftigen Einsatz von KI im Gesundheitsmarkt ab. Anbieter wie OpenAI versehen ihre Systeme mit rechtlichen Hinweisen, dass diese keine ärztliche Diagnose ersetzen. Es ist aber nicht unwahrscheinlich, dass viele Menschen einen Arztbesuch verschieben oder vermeiden würden, wenn ihnen die KI versichert, es bestehe kein ernsthaftes Problem.
Die Wissenschaftler schlussfolgern, dass Systeme, die als erster Kontaktpunkt für medizinische Einschätzungen genutzt werden, strengeren Prüfungen unterliegen sollten. Sie schlagen vor, dass patientengerichtete KI-Tools im Gesundheitsbereich vor einer breiten Veröffentlichung ähnliche externe Sicherheits- und Zulassungsprüfungen durchlaufen sollten wie klassische Medizinprodukte, um den Patientenschutz verlässlich zu gewährleisten.
(mack)
Künstliche Intelligenz
Startup Photreon will Wasserstoff mit Sonnenlicht ohne Elektrolyse gewinnen
Grüner Wasserstoff gilt als wichtige Komponente der Energiewende, als Speicher für Wind- und Solarstrom, als Rohstoff oder als Treibstoff. Bisherige Konzepte gehen davon aus, das Element mit grünem Strom per Elektrolyse zu gewinnen. Das Startup Photreon will das nur mit Sonnenlicht schaffen.
Weiterlesen nach der Anzeige
„Wir überspringen den Umweg über stromgebundene Elektrolyse und produzieren chemische Energie aus Sonne und Wasser“, sagt Paul Kant, einer der Gründer. Das Spinoff des Karlsruher Instituts für Technologie (KIT), will dazu Photokatalyse einsetzen. Dabei löst Licht eine chemische Reaktion aus.
Die von Photreon entwickelten Solarmodule bestehen aus speziellen lichtaktiven Materialien. Diese absorbieren Sonnenlicht und versetzen Elektronen in einen angeregten Zustand. Diese zerlegen dann Wasser in seine Bestandteile Wasserstoff und Sauerstoff. Das Team hat ein Prototyp-Paneel mit einem Quadratmeter Fläche gebaut und damit die Funktionsweise seiner Entwicklung demonstriert. Das Design der Module sei „auf Serienfertigung durch gängige Massenproduktionsverfahren ausgelegt“.
Keine Angaben zum Wirkungsgrad
Woraus die Photoreaktorpaneele bestehen, verrät Photreon nicht – die Technik ist zum Patent angemeldet. Auch weitere technische Details wie etwa den Wirkungsgrad, die produzierte Menge von Wasserstoff pro Stunde oder die Kosten für den so erzeugten Wasserstoff nennt das Startup nicht.
„Photovoltaik und Elektrolyseur werden in einem Prozessschritt durch das Photoreaktorpaneel ersetzt“, erläutert Photreon-Mitgründerin Maren Cordts. „Das senkt die Systemkosten und -komplexität bei der Produktion von grünem Wasserstoff erheblich.“
Den Einsatz der Photoreaktormodule sieht Photreon dort, „wo weder Stromnetze noch eine Anbindung an ein Wasserstoffnetz vorhanden sind, eröffnet unsere Technologie neue Spielräume für die lokale Erzeugung“, sagt Cordts. Abnehmer könnten beispielsweise Unternehmen aus der Chemiebranche, der Lebensmittelindustrie oder der Metallverarbeitung sein, die mit einem solchen System ihren Wasserstoffbedarf selbst decken könnten.
Weiterlesen nach der Anzeige
Daneben könnten die Paneele in Solarparks in Regionen mit hoher Sonneneinstrahlung aufgestellt werden.
(wpl)
Künstliche Intelligenz
Microsoft übernimmt Rechenzentrum von OpenAI in Norwegen
Microsoft statt OpenAI. Der Windows-Konzern hat die Anmietung von Rechenzentrumskapazität im norwegischen Narvik, nördlich des Polarkreises, vereinbart. Das Rechenzentrum war ursprünglich für OpenAI als Teil von dessen Stargate-Projekt geplant. Das berichtete am Dienstag die Nachrichtenagentur Bloomberg.
Weiterlesen nach der Anzeige
Dem Bericht zufolge wird Microsoft 30.000 zusätzliche Nvidia-Vera-Rubin-Chips von dem britischen KI-Infrastrukturanbieter Nscale auf einem Campus in der Ortschaft Narvik anmieten. Ursprünglich hatte OpenAI mit Nscale über Kapazitäten für seine KI-Workloads auf dem Campus verhandelt, konnte aber laut Insidern keine Einigung erzielen, so Bloomberg. Der ChatGPT-Entwickler hatte das Projekt als sein erstes europäisches Riesenrechenzentrum unter dem Label „Stargate Norway“ vermarktet. Im Rahmen seines KI-Infrastrukturprojekts „Stargate Project“ will OpenAI mit Partnern in den kommenden Jahren mindestens 500 Milliarden US-Dollar in neue KI-Rechenzentren stecken.
Zweiter Rückschlag für OpenAIs Pläne
Die Aufgabe der Rechenzentrumspläne in Norwegen ist der zweite Dämpfer für OpenAI innerhalb kurzer Zeit. In der vergangenen Woche legte OpenAI sein vergleichbares Rechenzentrumsprojekt Stargate UK in Großbritannien vorerst auf Eis, da die Rahmenbedingungen für die Realisierung nicht gegeben seien. Als Gründe für den überraschenden Schritt nannte das Unternehmen regulatorische Hürden und hohe Energiekosten. Dabei handelte es sich ebenfalls um einen von Nscale entwickelten Standort.
Bloomberg berichtet nun, dass Nscale mit Google einen weiteren Kunden für ein separates, mit Nvidias Grace-Blackwell-Chips ausgestattetes Rechenzentrum in West-London gefunden hat. Dies habe eine mit dem Deal vertraute Person mitgeteilt, die anonym bleiben wollte, da die Vereinbarung noch nicht öffentlich ist.
OpenAI agiert zurückhaltender
OpenAI scheint angesichts der steigenden Kosten für seine Serverfarmen entgegen vollmundigen Ankündigungen in der Vergangenheit nun vorsichtiger vorzugehen, vermutet Bloomberg. Ein Sprecher von OpenAI erklärte gegenüber der Nachrichtenagentur, das Unternehmen prüfe weiterhin eine Vereinbarung über Kapazitäten in Norwegen und arbeite mit verschiedenen Partnern am Ausbau seiner Infrastruktur.
Weiterlesen nach der Anzeige
Microsoft wiederum hat seinerseits mehrere Verträge mit Rechenzentrumsbetreibern wie Nscale abgeschlossen, um die steigende Nachfrage nach eigenen Rechenzentren zu decken. Im vergangenen Monat kündigte Microsoft zudem die Übernahme eines Datacenter-Projekts im US-Bundesstaat Texas an, das ursprünglich für OpenAI und Oracle entwickelt worden war. In Deutschland hat Microsoft im vergangenen Monat den ersten Spatenstich für ein Rechenzentrum im rheinischen Braunkohlerevier gesetzt, das im Endausbau rund 520 Megawatt (MW) leisten soll.
(akn)
Künstliche Intelligenz
Geheimdienstliche Überwachung: Geplante Superbehörde schürt Spionageängste
Geheimdienste arbeiten am liebsten im Verborgenen. Über praktische Grenzen ihrer Befugnisse entscheidet hierzulande ein Gremium, das selbst ebenfalls kaum im Licht der Öffentlichkeit steht: In einem abhörsicheren Raum im Bundestag kommt einmal im Monat die G10-Kommission zusammen. Ihre fünf Mitglieder entscheiden über sensibelste Eingriffe in die Privatsphäre – sie genehmigen, ob das Bundesamt für Verfassungsschutz (BfV), der Bundesnachrichtendienst (BND) oder der Militärische Abschirmdienst (MAD) Telefone abhören, E-Mails mitlesen oder Briefe öffnen dürfen. Damit setzen sie das grundgesetzlich geschützte Post- und Fernmeldegeheimnis außer Kraft.
Weiterlesen nach der Anzeige
Grundlegende Änderung der Geheimdienstkontrolle
Dieses angestammte Kontrollmodell befindet sich Recherchen von WDR und NDR zufolge vor dem Aus. Die Bundesregierung plant im Rahmen einer umfassenden Neuordnung der Kompetenzen der Agenten demnach, auch das bisherige Gefüge der Geheimdienstüberwachung grundlegend zu überarbeiten.
Im Zentrum des Reformvorhabens steht laut dem Bericht die Übertragung der Aufgaben an den Unabhängigen Kontrollrat (UKRat). Diese Bundesbehörde nahm erst Anfang 2022 ihre Arbeit auf und besteht aus früheren Richtern, die sich bisher vor allem der „strategischen“ Auslandsaufklärung widmen. Streng gehen sie dabei offenbar bislang nicht vor.
Das Kanzleramt forciert nun eine Ausweitung ihrer Kompetenzen. Ab 2027 soll der Rat nach seinem Willen auch für die Einzelüberwachung von Zielpersonen im In- und Ausland zuständig sein. Damit reagiert die Politik auf Vorgaben des Bundesverfassungsgerichts. Karlsruhe hatte 2024 eine Professionalisierung der Vorabkontrolle angemahnt, um den immer komplexer werdenden technischen Überwachungsmöglichkeiten gerecht zu werden.
Professionalisierung vs. politische Besetzung
Befürworter versprechen sich von der Konzentration beim UKRat einen besseren Überblick über die Aktivitäten der Dienste. Die G10-Kommission ist derzeit ehrenamtlich besetzt. Der Kontrollrat agiert dagegen als hauptamtliche Behörde. Eine stärkere Rolle für ihn soll auch die internationale Kooperationsfähigkeit der deutschen Dienste verbessern.
Bisher wurde der G10-Kommission, die oft mit ehemaligen Politikern besetzt ist, vielfach mangelnde Distanz zur Exekutive vorgeworfen. Beobachter sprachen von einem Gremium, das Anträge einfach durchwinke. Auch die Besetzungspraxis, die Juristen aus dem Umfeld der Parteien bevorzugte, stand wiederholt in der Kritik.
Weiterlesen nach der Anzeige
Gegner formieren sich
Doch die geplante Reform ruft auch Skeptiker auf den Plan, die vor einer Zentralisierung warnen. Wenn künftig nicht nur technische Überwachung, sondern auch der Einsatz von V-Leuten durch eine einzige Behörde vorab kontrolliert werde, entstünden neue Risiken. In Sicherheitskreisen wächst die Sorge, dass beim UKRat ein Wissenspool über die sensibelsten Operationen der Republik entsteht, der ein attraktives Ziel für gegnerische Geheimdienste darstellen könnte.
Auch innerhalb der Politik herrscht Uneinigkeit. Eine engere Anbindung an die fachliche Expertise des Rates gilt grundsätzlich als konsensfähig. Doch Stimmen aus der Opposition wie der Grünen-Fraktionsvize Konstantin von Notz warnen, dass die Rückbindung an die Abgeordneten nicht verloren gehen dürfe. Die Kontrolle müsse zwar fachlich breiter aufgestellt werden, dürfe aber den direkten Austausch mit dem Parlamentarischen Kontrollgremium (PKGr) nicht vernachlässigen.
(vbr)
-
Künstliche Intelligenzvor 2 Monaten
Top 10: Die beste kabellose Überwachungskamera im Test – Akku, WLAN, LTE & Solar
-
Social Mediavor 1 MonatCommunity Management und Zielgruppen-Analyse: Die besten Insights aus Blog und Podcast
-
Social Mediavor 2 MonatenCommunity Management zwischen Reichweite und Verantwortung
-
UX/UI & Webdesignvor 2 MonatenEindrucksvolle neue Identity für White Ribbon › PAGE online
-
Entwicklung & Codevor 1 MonatCommunity-Protest erfolgreich: Galera bleibt Open Source in MariaDB
-
Künstliche Intelligenzvor 3 MonatenInterview: Massiver Anstieg der AU‑Fälle nicht durch die Telefon‑AU erklärbar
-
Künstliche Intelligenzvor 2 MonatenSmartphone‑Teleaufsätze im Praxistest: Was die Technik kann – und was nicht
-
Entwicklung & Codevor 3 MonatenKommentar: Entwickler, wacht auf – oder verliert euren Job
