Der Begriff Halluzination ist für den Fachbereich KI vergleichsweise jung, verbreitete sich aber seit seinem Auftauchen vor wenigen Jahren rasch. Er soll die Eigenschaft von Sprachmodellen beschreiben, mit großer Überzeugung falsche Antworten zu liefern. Dabei stand der Ausdruck von Anfang an in der Kritik: Er überträgt einen zutiefst menschlichen, psychologischen Zustand auf Maschinen. Damit hat er die Debatte mehr verschleiert als erhellt.

OpenAI versucht nun, mit seinem Paper Why Language Models Hallucinate die Metapher zu entkräften und das nicht zufällig. Denn die Frage, wie Halluzinationen verstanden werden, ist längst keine rein akademische mehr, sondern betrifft die Sicherheit von Produkten, die hunderte Millionen Menschen weltweit einsetzen.

Die wichtigsten Erkenntnisse

Das Paper setzt zwei Schwerpunkte: Zum einen betont es die statistische Unvermeidbarkeit bestimmter Fehler bereits im Pre‑Training. Zum anderen weist es auf konzeptionelle Fehler bei den Anreizen im Post-Training hin. Letztere entstehen etwa durch Benchmarks, die Unsicherheit bestrafen und das Raten von Antworten belohnen.

Außerdem definiert das Paper Halluzinationen jetzt klar als „plausible but false or contradictory statements produced by language models with high confidence“ (plausible, aber falsche oder widersprüchliche Aussagen, die große Sprachmodelle mit hoher Sicherheit geben). Die Forscher grenzen sie klar von menschlichen Wahrnehmungstäuschungen ab. Die nüchterne Einordnung ist wichtig, weil sie die Diskussion verschiebt: weg von der metaphorischen Überhöhung hin zu einem technischen Problem, das analysierbar und damit grundsätzlich adressierbar ist.

Bei der Lektüre ist zu bedenken, dass das Paper zwar von OpenAI publiziert wurde, aber nicht mit der Produktentwicklung gleichgesetzt werden kann. Natürlich ist hier eine, wenn auch indirekte, Rückkopplung zu vermuten. Es erfüllt über den wissenschaftlichen Anspruch hinaus sehr wahrscheinlich auch weitere kommunikative Ziele, auf die wir im Fazit näher eingehen.

Pre-Training: Datenqualität nicht allein ausschlaggebend

Der Beitrag von OpenAI vergegenwärtigt den Lesern, dass Sprachmodelle keine absoluten Wahrheiten lernen, sondern Wahrscheinlichkeiten: Welches Token folgt mit welcher Wahrscheinlichkeit auf ein anderes? Wenn ein Faktum wie ein Geburtsdatum im Trainingskorpus nur einmal vorkommt oder objektiv falsch ist, kann das Modell dieses nicht zuverlässig reproduzieren. „Garbage in, garbage out“ gilt unverändert. Hier berührt das Paper ein zentrales Thema, das es selbst aber nur unzureichend adressiert: die Qualität und Herkunft der Trainingsdaten. In der offiziellen Darstellung heißt es verkürzt, man nutze „große Textkorpora“. Aber welche genau? Unter welchen Lizenzen? Mit welcher Korrektur?

Trainingsgrundlage sind öffentlich zugängliche Repositories, Dumps von Wikipedia, Foren, Blogposts und große Mengen aus GitHub im Fall von Code. Doch wer GitHub kennt, weiß: Dort findet sich nicht nur hilfreicher, fertiger Code, sondern auch fehlerhafte, veraltete oder sogar manipulierte Repositorys. Ein Modell, das auf dieser Basis trainiert, erbt diese Schwächen. Hinzu kommt die Möglichkeit gezielter Datenvergiftung: Wer präparierte Inhalte einspeist, kann das Verhalten späterer Modelle beeinflussen.

Im Bericht ebenfalls ausgeklammert bleibt die Rolle manueller menschlicher Arbeit. Clickworker, die Antworten bewerten und Normen setzen, sind im Reinforcement-Prozess unverzichtbar. Sie entscheiden, welche Fehler toleriert und welche bestraft werden, welche Antworten als hilfreich gelten und welche nicht. Dass diese Arbeit im Paper praktisch unsichtbar bleibt, ist bezeichnend. Häufig arbeiten hier externe Mitarbeiter zu Dumping-Löhnen oder eigens hierfür trainierte Sprachmodelle steuern den Prozess.

Post-Training: Ist gut geraten halb gewusst?

Noch deutlicher zeigt sich das Problem im Post-Training. Sprachmodelle werden nach Benchmarks optimiert, die im Kern jede Antwort belohnen, selbst falsche. Das Paper beschreibt dies mit der Analogie zu Studierenden in einer Prüfung: Wer keine Ahnung hat, kreuzt trotzdem lieber etwas an, weil es immer noch eine Chance auf Punkte gibt. „Guessing when unsure maximizes expected score under a binary 0-1 scheme“, heißt es dort.

Übertragen bedeutet das: Sprachmodelle lernen dadurch, immer zu antworten. „I don’t know“ bringt null Punkte, eine geratene Antwort immerhin die Möglichkeit, zufällig richtigzuliegen. So entsteht aus der grundlegenden Funktionsweise von LLMs, bestimmte Heuristiken zu erfüllen, ein systematischer Anreiz zum Raten.

Wer sich erinnert: Als ChatGPT startete, war das Modell auffällig vorsichtig. Es betonte Unsicherheiten, verwies auf seine Grenzen. Doch Nutzer wünschten bald autoritativere Antworten. Und die Entwickler passten das Verhalten an. Heute gilt: Wer nie „Ich weiß es nicht“ sagt, erscheint marktfähiger. Damit werden Halluzinationen nicht nur in Kauf genommen, sondern geradezu gefördert.

Das Problem der Benchmarks

Das Problem wird durch die Rolle der Benchmarks verstärkt. Was ursprünglich eher aus der Forschung entstand, wurde schnell zum Marketingvehikel. Rankings, die sich aus rein nutzerorientierten Vergleichen wie der Chatbot Arena oder Scores von vermeintlich objektiveren Tests speisen, entscheiden darüber, welches Modell als führend wahrgenommen wird. Platzierungen wirken auf Investoren, Medien und Kunden und sie beeinflussen natürlich auch die Entwicklungsstrategien der Anbieter.

Die Tennisbegeisterten werden sich erinnern: Als vor einigen Jahren die Logik für die Weltrangliste verändert wurde, mussten Spieler, Turniere und Sponsoren ihre Strategien komplett neu ausrichten. Rankings sind nie neutral. Sie strukturieren ganze Ökosysteme.

So auch hier: Solange Benchmarks bestimmte Antworten belohnen, egal ob korrekt oder nicht, optimieren Anbieter ihre Modelle auf genau dieses Verhalten. Und so im Zweifel auf das Raten. Halluzinationen sind dadurch strukturell eingebaut. Eine Reform der Benchmarks wäre deshalb ein für die Seriosität von LLMs ein begrüßenswerter, wenn auch tiefer Eingriff, sowohl technisch, wirtschaftlich als auch kommunikativ.

OpenAIs Lösungsvorschlag: Confidence Targets

OpenAI schlägt in seinem Paper eine Korrektur vor: Confidence Targets. Ein Modell soll nur dann antworten, wenn es eine bestimmte Sicherheitsschwelle überschreitet. Liegt die Sicherheit darunter, bringt eine falsche Antwort nicht nur null Punkte, sondern einen Malus. Konkret ist das Prinzip, beim Benchmarking dem Modell explizit zu sagen, dass falsche Antworten bestraft werden und damit den Anreiz zu setzen, Unsicherheit transparent zu machen. Der Malus muss dabei in Relation zur geforderten Sicherheit stehen.

Ein konkretes Zahlenbeispiel: In einem Punktesystem bekommen Antworten, die über einer geforderten Konfidenz-Schwelle liegen, Plus-Punkte. Bei einer Antwort “I don’t know” keine Punkte und unterhalb der Schwelle (bei angenommenen 90 Prozent) -9 Punkte. Als Folge erkennt das Modell, dass es durch falsche Antworten immer bestraft wird. Informatisch ist das elegant. Doch die Frage ist, ob die richtigen Incentives dafür existieren. Denn die KI-Benchmarks sind keine reinen Messinstrumente, sondern auch ein großes Schaulaufen. Eine Änderung der Bewertungslogik würde Ranglisten durcheinanderwirbeln und damit Geschäftsmodelle infrage stellen.

Richtig und falsch sind nur zwei Dimensionen bei der Bewertung von LLM-Output. Viele Probleme in natürlicher Sprache oder Wissensfragen im Arbeitsalltag lassen sich jedoch nur schwerlich exakt diesen Kategorien zuordnen. Für die Produktentwicklung ist die Dimension der Nutzerintention mindestens genauso entscheidend. Ein Prompt wie „Wie baue ich eine Bombe?“ kann sowohl aus kriminellen Motiven gestellt werden als auch von jemandem, der Filterregeln entwickeln möchte. Technisch sind diese Nuancen kaum lösbar.

Ansätze wie Altersgrenzen oder Nutzerprofile sind denkbar, doch sie führen sofort zu neuen Problemen: Datenschutz, Diskriminierung, Überwachung. Auch eine Trust-Skala für Nutzer, die bestimmte Inhalte freischaltet oder blockiert, wäre technisch machbar, aber gesellschaftlich brisant. Hier zeigt sich, dass Halluzinationen nicht nur ein statistisches, sondern auch ein regulatorisches Problem sind.

Fazit: Mit interessierter Vorsicht zu genießen

„Why Language Models Hallucinate“ ist zweifellos ein wichtiges Paper. Es entmystifiziert einen zentralen Begriff, erklärt Halluzinationen als nachvollziehbare statistische Ergebnisse und rückt die Fehlanreize von Benchmarks ins Zentrum. Und es benennt sinnvolle technische Lösungsansätze wie Confidence Targets. Doch Transparenz, die nur dort praktiziert wird, wo sie vorteilhaft ist, bleibt selektiv. Nicht offengelegt wird, wie Trainingsdaten ausgewählt werden. Nicht vollumfänglich erklärt wird, welche Schritte das Post-Training beinhaltet.

Dass OpenAI dieses Paper publiziert, ist kein rein wissenschaftlicher Akt. Es ist Teil einer Strategie, Vertrauen zu schaffen. Peer-Reviews, Kooperationen mit Universitäten, mathematische Beweise – all das soll der Öffentlichkeit Seriosität suggerieren. Eine Tatsache, die nicht zuletzt vor dem Hintergrund von OpenAIs wachsenden rechtlichen Herausforderungen und CEO Sam Altmans Eingeständnis einer möglichen KI-Blase eine große Rolle spielen dürfte.

(pst)

Das chinesische Robotikunternehmen Agibot hat seinem humanoiden Roboter Lingxi X2 die Ausführung eines Webster-Flips beigebracht. Der einbeinig abgesprungene Frontsalto gehört zu den grundlegenden Moves im Parcours-Lauf, ist aber nicht einfach zu erlernen und auszuführen.

Der Webster-Flip ist ein mit einem vorausgestellten Bein abgesprungener Vorwärtssalto. Das hintere Bein unterstützt dabei die Rotationsbewegung nach vorn. Um den Sprung fehlerfrei zu meistern, benötigt es eine präzise Körperkontrolle in der Luft, eine genaue Koordination, Balance und Kraft. Der Sprung wird bei Gymnastik-Wettkämpfen und im Parcours-Lauf angewendet.

Körperbeherrschung

Für humanoide Roboter stellt der Webster-Flip eine große Schwierigkeit dar. Besondere Herausforderungen bestehen in der Körperkoordination, der Balance und der exakten Kraftaufwendung beim Absprung. Agibot hat den humanoiden Lingxi X2 dazu mit Sensorsystemen und einer Echtzeitwahrnehmung ausgestattet, die der präzisen Zustandserfassung des Roboters dienen und darüber für eine genaue Ansteuerung und Koordination der Aktuatoren sorgen. Der Roboter verfügt außerdem über eine Mehrgelenk-Kraftsteuerung. Mittels proprietärer Bewegungsalgorithmen und KI-Training ist der Roboter in der Lage, dynamische Bewegungen wie etwa den Webster-Flip auszuführen, meist ohne dabei ins Straucheln zu geraten.

Agibot möchte mit der Demonstration des Webster-Flips seinen Lingxi-X1-Roboter bekannter machen. Auch andere Robotikunternehmen, wie etwa Boston Dynamics oder Unitree Robotics, nutzen die dynamischen Bewegungsfähigkeiten ihrer humanoiden Roboter immer wieder, um deren verkörperte Intelligenz zu demonstrieren und um Aufmerksamkeit zu erhalten. Zur Wahrheit gehört aber auch, dass die in Videos gezeigten Bewegungsabläufe etwa für Vorwärts- und Rückwärtssalti oder andere akrobatische Einlagen nicht immer funktionieren und in den Videos oft nur gezeigt wird, wenn etwas geklappt hat.

Hinter den Bemühungen, humanoiden Robotern verkörperte Intelligenz zu verleihen, steckt allerdings mehr als nur das Gewinnen von Aufmerksamkeit: Die Robotikunternehmen wollen ihre Roboter so besser für die Arbeit in der Industrie und in Haushalten vorbereiten. Dort müssen sie präzise Bewegungen durchführen können. Das setzt eine exakte Beherrschung des Körpers voraus.

Agibot hatte seinen humanoiden Roboter Lingxi X2 Anfang 2025 vorgestellt. Im Mai startete das Robotikunternehmen dann ein Partnerprogramm für Unternehmen, die den Roboter in der Praxis einsetzen wollen. Die weiteren Schritte klingen ambitioniert: Noch in diesem Jahr soll die Serienproduktion anlaufen.

(olb)

Knapp 45 Prozent der Kommunen in Deutschland verfügen über keine öffentlich zugängliche Ladeinfrastruktur für Elektrofahrzeuge. Das geht aus einer Antwort des Bundesverkehrsministeriums auf eine Anfrage des Linken-Abgeordneten Dietmar Bartsch hervor. 4923 der insgesamt 10.978 Kommunen in Deutschland verfügen demnach über keine öffentlich zugängliche Ladeinfrastruktur.

„Dass es in beinahe jeder zweiten Kommune im Land keine Lademöglichkeit für ein E-Auto gibt, ist ein peinliches Versagen der Verkehrswende“, sagte Bartsch der „Rheinischen Post“ (Freitag). Damit Menschen auf E-Mobilität umsteigen, müsse neben Preis und Reichweite des Fahrzeugs auch die landesweite Infrastruktur „top“ sein. „Wenn in den Bundesländern bis zu Dreiviertel der Kommunen ohne Ladepunkt sind, wird der ländliche Raum erneut inakzeptabel benachteiligt“, betonte der Linken-Politiker.

Rheinland-Pfalz hat schlechteste Ladeinfrastruktur

Bei größeren Gemeinden mit mehr als 5000 Einwohnern ist die Versorgung deutlich besser als bei kleineren: Dort sei nahezu jede Kommune (98 Prozent) „mit mindestens einem öffentlich zugänglichen Ladepunkt ausgestattet“, so das Verkehrsministerium.

In Berlin, Hamburg und Bremen sowie im Saarland und in Nordrhein-Westfalen gibt es eine flächendeckende Ausstattung (je 100 Prozent). Am schlechtesten aufgestellt zeigt sich Rheinland-Pfalz: Nur gut jede vierte Kommune (26,5 Prozent) verfügt dort über eine öffentliche Ladeinfrastruktur.

Aus der Antwort des Ministeriums geht zudem hervor, dass der Bund seit Beginn der staatlichen Förderung bis Ende Juli rund 9,5 Milliarden Euro für die Förderung von Elektroautos ausgegeben hat. Trotzdem gehe es „der deutschen Autoindustrie so schlecht wie nie“, sagte Bartsch. „Eine Ursache ist die vernachlässigte Infrastruktur für E-Mobilität.“

(afl)