Der Begriff Halluzination ist für den Fachbereich KI vergleichsweise jung, verbreitete sich aber seit seinem Auftauchen vor wenigen Jahren rasch. Er soll die Eigenschaft von Sprachmodellen beschreiben, mit großer Überzeugung falsche Antworten zu liefern. Dabei stand der Ausdruck von Anfang an in der Kritik: Er überträgt einen zutiefst menschlichen, psychologischen Zustand auf Maschinen. Damit hat er die Debatte mehr verschleiert als erhellt.

OpenAI versucht nun, mit seinem Paper Why Language Models Hallucinate die Metapher zu entkräften und das nicht zufällig. Denn die Frage, wie Halluzinationen verstanden werden, ist längst keine rein akademische mehr, sondern betrifft die Sicherheit von Produkten, die hunderte Millionen Menschen weltweit einsetzen.

Die wichtigsten Erkenntnisse

Das Paper setzt zwei Schwerpunkte: Zum einen betont es die statistische Unvermeidbarkeit bestimmter Fehler bereits im Pre‑Training. Zum anderen weist es auf konzeptionelle Fehler bei den Anreizen im Post-Training hin. Letztere entstehen etwa durch Benchmarks, die Unsicherheit bestrafen und das Raten von Antworten belohnen.

Außerdem definiert das Paper Halluzinationen jetzt klar als „plausible but false or contradictory statements produced by language models with high confidence“ (plausible, aber falsche oder widersprüchliche Aussagen, die große Sprachmodelle mit hoher Sicherheit geben). Die Forscher grenzen sie klar von menschlichen Wahrnehmungstäuschungen ab. Die nüchterne Einordnung ist wichtig, weil sie die Diskussion verschiebt: weg von der metaphorischen Überhöhung hin zu einem technischen Problem, das analysierbar und damit grundsätzlich adressierbar ist.

Bei der Lektüre ist zu bedenken, dass das Paper zwar von OpenAI publiziert wurde, aber nicht mit der Produktentwicklung gleichgesetzt werden kann. Natürlich ist hier eine, wenn auch indirekte, Rückkopplung zu vermuten. Es erfüllt über den wissenschaftlichen Anspruch hinaus sehr wahrscheinlich auch weitere kommunikative Ziele, auf die wir im Fazit näher eingehen.

Pre-Training: Datenqualität nicht allein ausschlaggebend

Der Beitrag von OpenAI vergegenwärtigt den Lesern, dass Sprachmodelle keine absoluten Wahrheiten lernen, sondern Wahrscheinlichkeiten: Welches Token folgt mit welcher Wahrscheinlichkeit auf ein anderes? Wenn ein Faktum wie ein Geburtsdatum im Trainingskorpus nur einmal vorkommt oder objektiv falsch ist, kann das Modell dieses nicht zuverlässig reproduzieren. „Garbage in, garbage out“ gilt unverändert. Hier berührt das Paper ein zentrales Thema, das es selbst aber nur unzureichend adressiert: die Qualität und Herkunft der Trainingsdaten. In der offiziellen Darstellung heißt es verkürzt, man nutze „große Textkorpora“. Aber welche genau? Unter welchen Lizenzen? Mit welcher Korrektur?

Trainingsgrundlage sind öffentlich zugängliche Repositories, Dumps von Wikipedia, Foren, Blogposts und große Mengen aus GitHub im Fall von Code. Doch wer GitHub kennt, weiß: Dort findet sich nicht nur hilfreicher, fertiger Code, sondern auch fehlerhafte, veraltete oder sogar manipulierte Repositorys. Ein Modell, das auf dieser Basis trainiert, erbt diese Schwächen. Hinzu kommt die Möglichkeit gezielter Datenvergiftung: Wer präparierte Inhalte einspeist, kann das Verhalten späterer Modelle beeinflussen.

Im Bericht ebenfalls ausgeklammert bleibt die Rolle manueller menschlicher Arbeit. Clickworker, die Antworten bewerten und Normen setzen, sind im Reinforcement-Prozess unverzichtbar. Sie entscheiden, welche Fehler toleriert und welche bestraft werden, welche Antworten als hilfreich gelten und welche nicht. Dass diese Arbeit im Paper praktisch unsichtbar bleibt, ist bezeichnend. Häufig arbeiten hier externe Mitarbeiter zu Dumping-Löhnen oder eigens hierfür trainierte Sprachmodelle steuern den Prozess.

Post-Training: Ist gut geraten halb gewusst?

Noch deutlicher zeigt sich das Problem im Post-Training. Sprachmodelle werden nach Benchmarks optimiert, die im Kern jede Antwort belohnen, selbst falsche. Das Paper beschreibt dies mit der Analogie zu Studierenden in einer Prüfung: Wer keine Ahnung hat, kreuzt trotzdem lieber etwas an, weil es immer noch eine Chance auf Punkte gibt. „Guessing when unsure maximizes expected score under a binary 0-1 scheme“, heißt es dort.

Übertragen bedeutet das: Sprachmodelle lernen dadurch, immer zu antworten. „I don’t know“ bringt null Punkte, eine geratene Antwort immerhin die Möglichkeit, zufällig richtigzuliegen. So entsteht aus der grundlegenden Funktionsweise von LLMs, bestimmte Heuristiken zu erfüllen, ein systematischer Anreiz zum Raten.

Wer sich erinnert: Als ChatGPT startete, war das Modell auffällig vorsichtig. Es betonte Unsicherheiten, verwies auf seine Grenzen. Doch Nutzer wünschten bald autoritativere Antworten. Und die Entwickler passten das Verhalten an. Heute gilt: Wer nie „Ich weiß es nicht“ sagt, erscheint marktfähiger. Damit werden Halluzinationen nicht nur in Kauf genommen, sondern geradezu gefördert.

Das Problem der Benchmarks

Das Problem wird durch die Rolle der Benchmarks verstärkt. Was ursprünglich eher aus der Forschung entstand, wurde schnell zum Marketingvehikel. Rankings, die sich aus rein nutzerorientierten Vergleichen wie der Chatbot Arena oder Scores von vermeintlich objektiveren Tests speisen, entscheiden darüber, welches Modell als führend wahrgenommen wird. Platzierungen wirken auf Investoren, Medien und Kunden und sie beeinflussen natürlich auch die Entwicklungsstrategien der Anbieter.

Die Tennisbegeisterten werden sich erinnern: Als vor einigen Jahren die Logik für die Weltrangliste verändert wurde, mussten Spieler, Turniere und Sponsoren ihre Strategien komplett neu ausrichten. Rankings sind nie neutral. Sie strukturieren ganze Ökosysteme.

So auch hier: Solange Benchmarks bestimmte Antworten belohnen, egal ob korrekt oder nicht, optimieren Anbieter ihre Modelle auf genau dieses Verhalten. Und so im Zweifel auf das Raten. Halluzinationen sind dadurch strukturell eingebaut. Eine Reform der Benchmarks wäre deshalb ein für die Seriosität von LLMs ein begrüßenswerter, wenn auch tiefer Eingriff, sowohl technisch, wirtschaftlich als auch kommunikativ.

OpenAIs Lösungsvorschlag: Confidence Targets

OpenAI schlägt in seinem Paper eine Korrektur vor: Confidence Targets. Ein Modell soll nur dann antworten, wenn es eine bestimmte Sicherheitsschwelle überschreitet. Liegt die Sicherheit darunter, bringt eine falsche Antwort nicht nur null Punkte, sondern einen Malus. Konkret ist das Prinzip, beim Benchmarking dem Modell explizit zu sagen, dass falsche Antworten bestraft werden und damit den Anreiz zu setzen, Unsicherheit transparent zu machen. Der Malus muss dabei in Relation zur geforderten Sicherheit stehen.

Ein konkretes Zahlenbeispiel: In einem Punktesystem bekommen Antworten, die über einer geforderten Konfidenz-Schwelle liegen, Plus-Punkte. Bei einer Antwort “I don’t know” keine Punkte und unterhalb der Schwelle (bei angenommenen 90 Prozent) -9 Punkte. Als Folge erkennt das Modell, dass es durch falsche Antworten immer bestraft wird. Informatisch ist das elegant. Doch die Frage ist, ob die richtigen Incentives dafür existieren. Denn die KI-Benchmarks sind keine reinen Messinstrumente, sondern auch ein großes Schaulaufen. Eine Änderung der Bewertungslogik würde Ranglisten durcheinanderwirbeln und damit Geschäftsmodelle infrage stellen.

Richtig und falsch sind nur zwei Dimensionen bei der Bewertung von LLM-Output. Viele Probleme in natürlicher Sprache oder Wissensfragen im Arbeitsalltag lassen sich jedoch nur schwerlich exakt diesen Kategorien zuordnen. Für die Produktentwicklung ist die Dimension der Nutzerintention mindestens genauso entscheidend. Ein Prompt wie „Wie baue ich eine Bombe?“ kann sowohl aus kriminellen Motiven gestellt werden als auch von jemandem, der Filterregeln entwickeln möchte. Technisch sind diese Nuancen kaum lösbar.

Ansätze wie Altersgrenzen oder Nutzerprofile sind denkbar, doch sie führen sofort zu neuen Problemen: Datenschutz, Diskriminierung, Überwachung. Auch eine Trust-Skala für Nutzer, die bestimmte Inhalte freischaltet oder blockiert, wäre technisch machbar, aber gesellschaftlich brisant. Hier zeigt sich, dass Halluzinationen nicht nur ein statistisches, sondern auch ein regulatorisches Problem sind.

Fazit: Mit interessierter Vorsicht zu genießen

„Why Language Models Hallucinate“ ist zweifellos ein wichtiges Paper. Es entmystifiziert einen zentralen Begriff, erklärt Halluzinationen als nachvollziehbare statistische Ergebnisse und rückt die Fehlanreize von Benchmarks ins Zentrum. Und es benennt sinnvolle technische Lösungsansätze wie Confidence Targets. Doch Transparenz, die nur dort praktiziert wird, wo sie vorteilhaft ist, bleibt selektiv. Nicht offengelegt wird, wie Trainingsdaten ausgewählt werden. Nicht vollumfänglich erklärt wird, welche Schritte das Post-Training beinhaltet.

Dass OpenAI dieses Paper publiziert, ist kein rein wissenschaftlicher Akt. Es ist Teil einer Strategie, Vertrauen zu schaffen. Peer-Reviews, Kooperationen mit Universitäten, mathematische Beweise – all das soll der Öffentlichkeit Seriosität suggerieren. Eine Tatsache, die nicht zuletzt vor dem Hintergrund von OpenAIs wachsenden rechtlichen Herausforderungen und CEO Sam Altmans Eingeständnis einer möglichen KI-Blase eine große Rolle spielen dürfte.

(pst)