Generative Künstliche Intelligenz neigt zu sogenannten Halluzinationen. Oft fällt das nicht auf, speziell dann, wenn das Ergebnis dem Nutzer zusagt. Von KI erfundene Behauptungen, Studien, Zitate oder Präzedenzfälle landen immer häufiger in Eingaben zu Gericht; dafür sind mehrfach sich selbst vertretende Parteien und Anwälte bestraft worden. Leider sind auch Richter nicht gegen die Versuchungen Künstlicher Intelligenz gefeit. In den USA sind jetzt zwei Fälle KI-verschmutzter Urteile aufgeflogen. Persönliche Verantwortung übernehmen die zuständigen Richter keine.

Die beiden US-Bundesbezirksrichter, Henry Wingate vom Bundesbezirksgericht für den Süden Mississippis, und Julien Neals vom Bundesbezirksgericht für New Jersey, haben Entscheidungen ausgefertigt, die so offensichtlich fehlerhaft waren, dass es den Verfahrensparteien gleich auffiel. Nach deren Rüge haben die beiden Richter ihre fehlerhaften Entscheidungen aus dem Akt gelöscht und durch verbesserte Versionen ersetzt.

Diese Vorfälle riefen US-Senator Charles Grassley auf den Plan, der sich um die Integrität der US-Justiz sorgt. Er richtete Fragen an die beiden Bundesrichter. Ihre nun vorliegenden Antwortschreiben zeigen, dass Verantwortungsbewusstsein bei den beiden Richtern gering ausgeprägt ist.

An keiner Stelle gestehen sie ein, selbst Schuld zu tragen. Richter Neals lässt Selbstmitleid durchblicken, wenn er schreibt, dass seine „Erfahrung“ in dem Fall „höchst unglücklich und unvorhersehbar“ gewesen sei.

Richter schiebt es auf den Praktikanten

Richter Wingate schiebt den Fehler auf einen juristischen Mitarbeiter, der das Große Sprachmodell Perplexity genutzt habe, „ausschließlich als Unterstützung für einen grundlegenden Entwurf, um im Akt öffentlich verfügbare Informationen zusammenzustellen.“

Laut Neals soll gar ein Rechtswissenschaften studierender Praktikant Schuld tragen. Dieser habe ChatGPT genutzt, „ohne Genehmigung, ohne Offenlegung, entgegen nicht nur der Gerichtsregeln, sondern auch anwendbarer Regeln (seiner) Universität“. Dazu verweist der Richter ausdrücklich auf eine Mitteilung der Uni, die ihm dies bestätige.

Beide Richter betonen, dass solche Entwürfe normalerweise einer mehrstufigen Prüfung unterzogen würden (unter anderem mit Software, die Verweise auf Präzedenzfälle prüft und dabei selbst KI einsetzt). In diesen Fällen seien die Prüfungen vor Veröffentlichung unterblieben. Sie geloben Besserung, verraten den Grund für das Unterlassen der Überprüfung aber nicht.

Die Löschung ihrer fehlerhaften Entscheidung aus dem Akt begründen beide Männer damit, vermeiden zu wollen, dass die fehlerhaften Entscheidungen später als Präzedenzfälle herangezogen würden. In Wingates Verfahren ist die zurückgezogene Entscheidung noch als Anhang zu einer Eingabe einer Partei im Akt erhalten.

Maue KI-Regeln bei Gericht

Ein verschriftlichtes Regelwerk zum Einsatz von KI hatten beide Gerichte offenbar nicht. Neals will KI-Einsatz mündlich untersagt haben; jetzt hat er einen schriftlichen Regelentwurf, wartet aber noch auf Vorgaben der Bundesgerichtsverwaltung.

Diese hat einen Arbeitskreis zum Thema eingerichtet, der im Sommer vorläufige Richtlinien für alle US-Bundesgerichte herausgegeben hat. Diese Richtlinien sind erstaunlich schwammig. Sie verbieten nicht etwa, das Fällen von Urteilen an Künstliche Intelligenz auszulagern, sondern regen lediglich „Vorsicht“ (caution) an. Besondere Vorsicht (extreme caution) wird „empfohlen“, wenn es um neue Rechtsfragen geht.

Nicht einmal die Offenlegung des Einsatzes Künstlicher Intelligenz ist demnach verpflichtend. Richtern und Justizbediensteten wird lediglich nahegelegt, darüber nachzudenken, ob KI-Nutzung offengelegt werden sollte.

Die Justizverwaltung sammelt auch ausdrücklich keine Daten darüber, ob und wie oft Richter Maßnahmen gegen Verfahrensparteien wegen irreführenden Einsatzes von KI ergreifen. Öffentlich konsultiert wird derzeit eine Novelle der Beweisregeln für Bundesgerichte. Laut Entwurf der Rule 707 sollen KI-erzeugte Beweise den gleichen Regeln unterliegen wie Aussagen Sachverständiger. Das bedeutet, dass Gerichte KI-Erzeugnisse als Beweise akzeptieren sollen, wenn die Wahrscheinlichkeit überwiegt (more likely than not), dass das Vorbringen Richter oder Geschworenen hilft und auf ausreichend Fakten oder Daten sowie auf verlässlichen Prinzipien und Methoden beruht, die auf die Fakten des Falles angewendet wurden.

Das betroffene Verfahren am US-Bundesbezirksgericht für New Jersey heißt In re CorMedix Inc. Securities Litigation, Az. 2:21-cv-14020. Das betroffene Verfahren am US-Bundesbezirksgericht für den Süden Mississippis heißt Jackson Federation of Teachers, et al v Lynn Fitch, et al, Az. No. 3:25-cv-00417.

(ds)

Krankenhäuser sehen in Künstlicher Intelligenz (KI) große Zukunftschancen, warnen aber vor strukturellen Hürden. In einem Positionspapier fordert die Deutsche Krankenhausgesellschaft (DKG), dass Bund und Länder gezielt rechtliche, technische und finanzielle Grundlagen schaffen, um KI-Anwendungen in der Versorgung sinnvoll und sicher einsetzen zu können. „Eine erfolgreiche Implementierung von KI erfordert klare rechtliche Rahmenbedingungen, eine breite, interoperable Datenbasis, KI-fähige Infrastrukturen, effektive Vernetzung und gezielte Unterstützungsprojekte für Kliniken“, sagt dazu die stellvertretende Vorstandsvorsitzende der Deutschen Krankenhausgesellschaft (DKG) Prof. Dr. Henriette Neumeyer.

KI-Systeme könnten laut DKG helfen, Diagnosen zu verbessern, Behandlungsprozesse zu personalisieren und Ärzte sowie Pflegepersonal von Routineaufgaben zu entlasten. Schon heute werden Algorithmen in Bereichen wie der Radiologie oder der Pathologie eingesetzt. Das eigentliche Problem liege aber nicht in der Technik, sondern in der Umsetzung.

Kritik äußert die DKG etwa am Krankenhauszukunftsgesetz (KHZG), das zwar digitale Anwendungen fördert, aber keine Mittel für den Aufbau von KI-fähigen Infrastrukturen vorsieht. Auch beim Gesundheitsdatennutzungsgesetz (GDNG) gebe es Lücken – so müsse klargestellt werden, wie pseudonymisierte Patientendaten auch zum Training von KI-Modellen verwendet werden dürfen. Dafür schlägt die DKG einen Broad Consent vor – eine einmalige, transparente Einwilligung der Patienten zur Datenverwendung für Forschungszwecke.

Um vertrauenswürdige Modelle zu entwickeln, brauche es laut DKG „hochwertige, vielfältige und interoperable Real-World-Daten“ aus Forschung und Versorgung. Hier verweisen die Krankenhäuser auf bereits bestehende Initiativen wie die vom Bund geförderte Medizininformatik-Initiative (MII) oder das Netzwerk Universitätsmedizin (NUM), die jedoch dringend ausgebaut und mit anderen Einrichtungen und Leistungserbringern verknüpft werden müssten.

Schutz der Therapiehoheit

Zudem verlangt die DKG eine klare Linie bei der Haftung für fehlerhafte oder schwer nachvollziehbare KI-Entscheidungen. Die neue EU-KI-Verordnung weise zwar den Weg, lasse aber noch viele Fragen offen – etwa, wo die Verantwortung von Herstellern ende und die der Anwender beginne. Wichtig sei auch, Mechanismen gegen einen „Automation Bias“ zu entwickeln, damit der KI nicht blind vertraut werde.

Die Therapiehoheit von Ärzten, Pflegekräften und Mitgliedern anderer Gesundheitsfachberufe in Krankenhäusern müsse zudem geschützt werden. „Aus der Nutzung von KI-Anwendungen ein Rechtfertigungsdruck für den Anwender bzw. die Anwenderin entstehen, insbesondere wenn dieser/diese von den Vorschlägen der KI abweicht“, heißt es im Positionspapier (PDF).

Schulungen, Förderung und klare Zuständigkeiten

Ein weiterer Punkt des Papiers ist der Aufbau von KI-Kompetenz. Krankenhäuser sollen Beschäftigte systematisch schulen können, um Anwendungen sicher zu bedienen und Risiken zu erkennen. Dies müsse in der Finanzierung berücksichtigt werden. Die DKG schlägt darüber hinaus vor, „KI-Hubs“ als Unterstützungsstrukturen auf Länder- oder Bundesebene aufzubauen, die Kliniken bei Strategie, Entwicklung und Vernetzung helfen.

Auch im ambulanten Bereich wächst das Interesse an anwendungsnaher KI-Schulung: Die Kassenärztliche Bundesvereinigung (KBV) startet im November ihre KI-Roadshow, um Ärzten und Psychotherapeutinnen Grundlagen und rechtliche Aspekte des KI-Einsatzes zu vermitteln. „Anwendungen der Künstlichen Intelligenz bieten große Chancen, die Patientenversorgung nachhaltig zu verbessern“, sagte KBV-Vorständin Dr. Sibylle Steiner. Die Veranstaltungsreihe soll praktische Impulse für den verantwortungsvollen Umgang mit KI geben – von Datenschutz über die EU-KI-Verordnung bis zu Haftungsfragen.

Besonders hohe Erwartungen richtet die Branche auf generative KI und personalisierte Medizin. Anwendungen, die Arztbriefe automatisiert erstellen oder genetische Daten auswerten, könnten laut DKG Versorgungsqualität und Effizienz erhöhen – vorausgesetzt, ethische Standards und Datenschutz blieben gewahrt. KI sei ein Werkzeug, das helfen könne, Fachkräftemangel zu lindern und die Versorgung zu verbessern. Dafür brauche es aber klare politische Prioritäten.

Wie KI im Klinikalltag praktisch eingesetzt werden kann, zeigen große Häuser. So betreibt das Universitätsklinikum Essen mit seinem Institut für Künstliche Intelligenz in der Medizin (IKIM) eine der größten FHIR-Implementierungen Europas. Das Institut analysiert Daten über Milliarden klinischer Ressourcen und nutzt KI, um medizinische Dokumente automatisiert zu strukturieren und durchsuchbar zu machen.

Auch am Universitätsklinikum Hamburg-Eppendorf (UKE) ist KI längst Teil des Alltags. Die dortige Tochtergesellschaft IDM gGmbH hat unter anderem mit Orpheus eine KI-Spracherkennung für den Medizinbereich und mit Argo ein Modell zur automatischen Erstellung von Arztbriefen entwickelt – beide werden im Klinikbetrieb eingesetzt und sollen auch anderen Einrichtungen und Interessenten offenstehen.

(mack)

Die gezielte Abgabe von Aerosolen in die Atmosphäre, um damit den Klimawandel zu verlangsamen, ist deutlich schwieriger und riskanter, als vielfach behauptet. Das hat eine US-amerikanische Forschungsgruppe ermittelt und ihr Ergebnis jetzt veröffentlicht. Wie die Columbia Climate School von der gleichnamigen Universität aus New York zusammenfasst, unterschätzen Verfechter solcher Pläne „dramatisch“, wie schwierig und kompliziert es wäre, das Klima auf diesem Weg gezielt abzukühlen, ohne katastrophale Nebenwirkungen heraufzubeschwören. Sollte die Menschheit das tatsächlich einmal versuchen, müsste sie international koordiniert vorgehen, was angesichts geopolitischer Realitäten unwahrscheinlich sei.

Viel zu wenig Fokus auf die Risiken

Die sogenannte „Stratospheric aerosol injection“ (SAI) ist eine vorgeschlagene Maßnahme zum Geoengineering, so nennt man großräumige technische Eingriffe in Kreisläufe der Erde – besonders im Kampf gegen den Klimawandel. Anfangs habe man sich dabei vor allem auf sulfatreiche Gase konzentriert, weil sie den Vulkanwolken ähneln, die bereits für messbare Abkühlungen des Klimas gesorgt haben, schreibt die Gruppe. Wegen unerwünschter Nebeneffekte – etwa für den Monsun in Südasien oder für die schützende Ozonschicht – sei zuletzt das Interesse an anderen Stoffen gestiegen, dabei gehe es vor allem um Mineralien wie Calciumcarbonat, Zirkoniumoxid und Diamant. Dabei habe man sich aber auf deren optische Eigenschaften beschränkt, andere Umstände seien ignoriert worden.

Wie das Team um Miranda Hack jetzt ausführt, sei Diamant tatsächlich gut geeignet für die vorgeschlagene Aufgabe. Aber es gebe einfach nicht genug von dem wertvollen Mineral. Andere seien zwar besser verfügbar, aber wenn man damit anfangen würde, immense Mengen davon in die Atmosphäre zu verbringen, würden Lieferketten unter Druck geraten und die Preise für die Stoffe rasch stark ansteigen. Mineralien, für die beides nicht gelten würde, hätten andere praktische Probleme, die dafür sorgen würden, dass sie in der Atmosphäre keine große Hilfe wären. All das würde dafür sorgen, dass solch ein Vorgehen größere Risiken mit sich bringen würde, als die Mehrzahl der bisherigen Vorschläge anerkannt hätten.

Im Ergebnis untermauert die Forschungsgruppe damit bereits geäußerte Warnungen mit dem Ergebnis ihrer Simulationen. Ohne eine internationale Kooperation in einem Umfang, wie sie aktuell nur schwer vorstellbar ist, würde der Versuch, das Klima mit Aerosolen in der Atmosphäre abzukühlen, mehr schaden als nutzen. Sollte ein Land oder eine Gruppierung eigenmächtig vorgehen, könnte das Dürren verschlimmern, den nicht nur für Indien unabdingbaren Monsun unterbrechen, sondern auch Sturmmuster verändern. Es reiche eben nicht, einfach „fünf Megatonnen an Schwefel in die Atmosphäre zu bringen“, es sei immens wichtig, wo und wann man das tue, ergänzt Faye McNeill, die an der Arbeit beteiligt war. Die wurde jetzt im Fachmagazin Scientific Reports veröffentlicht.

(mho)