Warum Sprachmodelle halluzinieren

„Why language models hallucinate“ heißt ein Beitrag auf dem OpenAI-Blog. Dort lässt sich das Unternehmen in die Karten blicken und erklärt genau das – also wie es dazu kommt, dass Sprachmodelle wie Gemini, Grok oder eben auch ChatGPT halluzinieren. Wer nicht im Thema ist: Mit „Halluzinieren“ ist gemeint, dass das Sprachmodell die richtige Antwort nicht kennt und nicht nennt, sondern sich stattdessen sehr souverän eine alternative, aber faktisch leider komplett falsche Antwort ausdenkt. 

Tatsächlich ist die Antwort auf die Frage, wieso die LLMs (Large Language Models) halluzinieren, sogar erschreckend einfach: Weil sie es so beigebracht bekommen! Beim Training werden die LLMs so geschult, dass sie eben lieber eine beliebige Antwort geben, als stumpf den Mund zu halten. 

OpenAI betont, dass Halluzinationen kein bloßer Bug sind – sondern eine systemische Folge von Sprachmodellen, die auf Wahrscheinlichkeiten trainiert und bewertet werden. Weil sie dafür optimiert sind, möglichst präzise Antworten zu geben, werden diese präzisen Antworten – selbst wenn sie falsch sind – belohnt. Das ist in der Konsequenz für ein so trainiertes Modell die deutlich richtigere Antwort als ein „Ich weiß es nicht“.

Ein Beispiel, wieso Halluzinieren für eine KI richtig ist

Stellt Euch eine Klassenarbeit vor, für die Ihr nicht gelernt habt. Ihr sollt bei einer Aufgabe etwas ins Feld schreiben, habt aber keinen blassen Schimmer, wie die Antwort lautet. Schreibt Ihr nichts hinein, sind es null Punkte für die Aufgabe. Schreibt Ihr stattdessen irgendetwas hinein, was Euch schlüssig erscheint, habt Ihr zwei Chancen: 

• Entweder ist das Geschriebene einfach zufällig richtig, dann gibt es die volle Punktzahl. 
• Oder Ihr ratet falsch, habt aber vielleicht einen Teilaspekt richtig, der immerhin mit einer geringeren Punktzahl geahndet wird.

Im allerschlimmsten Fall schreibt Ihr kompletten Quatsch, aber auch das wäre nicht schlimmer, als das Feld leer zu lassen. Genau so arbeitet auch eine KI: Sie wägt Wahrscheinlichkeiten ab und sagt lieber etwas theoretisch Mögliches als zu erklären, dass sie absolut keine Ahnung hat. 

Eine Mitschuld tragen also auch die Benchmark-Tests, für die KI-Modelle ebenfalls optimiert werden, und die ähnlich funktionieren wie in dem genannten Beispiel. Somit werden die LLMs durch diese falschen Anreize zum Raten verleitet, was dann zu den Halluzinationen führt. 

Und was kann man gegen das Halluzinieren unternehmen?

Die Wissenschaftler:innen, die an dieser Studie beteiligt waren, sind sich einig, dass man das Halluzinieren nie zu 100 Prozent verhindern kann. Aber zumindest gibt es Ideen, wie man das Risiko minimieren kann. Dazu müssten beim Training lediglich falsche Antworten auch tatsächlich negativ bewertet werden. Nicht beantwortete Fragen sollen hingegen auch Teilpunkte erhalten können.

Bei OpenAI heißt es dazu: „Es gibt eine einfache Lösung: Bestrafen Sie selbstbewusste Fehler stärker als Unsicherheit und vergeben Sie Teilpunkte für angemessene Begründungen dieser Unsicherheit“. So soll das blinde Raten verhindert werden, indem man die KI eben auch dafür belohnt, wenn sie lieber keine als eine falsche Antwort äußert. Dazu braucht es aber auch ganz neue Tests und Testmethoden – und bis die etabliert sind, wird sicher noch Zeit vergehen.

Was bedeutet das für uns? Dass wir weiterhin haargenau aufpassen müssen, was uns ChatGPT oder ein anderes KI-Modell vorsetzt. Das ist übrigens generell eine gute Idee, bevor man sich blind den Antworten ausliefert, die eine KI oder wer auch immer einem auftischt. 

Samsung hat die zweite Beta-Version der Benutzeroberfläche One UI 8 auf Basis von Android 16 für das Galaxy Z Fold 5 und das Galaxy Z Flip 5 (Test) veröffentlicht. Die Aktualisierung enthält ausschließlich Korrekturen und bringt keine neuen Funktionen mit sich, soll aber verschiedene Probleme der ersten Beta-Version beheben.

Das Update mit der Versionsnummer ZYI6 soll den Release Notes nach unter anderem einen schwerwiegenden Fehler beseitigen, bei dem sich das Smartphone während der Nutzung zurücksetzte. Zudem sollen die DeX-Einstellungen nun erhalten bleiben, wenn von einer früheren OS-Version auf One UI 8 aktualisiert wird. Auch die Wetteranzeige auf der Galaxy Watch 7 soll sich nach dem Update wieder in Echtzeit aktualisieren. Darüber hinaus sollen sich Multi-Fenster beim Einsatz des KakaoTalk-Chats nicht mehr schließen, wenn parallel die Kamera genutzt wird.

Derzeit wird das Update in Südkorea verteilt, weitere Regionen dürften erfahrungsgemäß in Kürze folgen. Nutzer können die zweite Beta-Version über die Softwareaktualisierung in den Einstellungen anstoßen.

Gigabyte erweitert sein Mainboard-Portfolio um gleich sechs weitere X870E-Platinen. Die „X870E X3D“-Serie bringt unter anderem offizielle Unterstützung für schnellen DDR5‑9000 Arbeitsspeicher und gemeinsame Komfortfunktionen für die gesamte Serie mit. Eines der Boards wird darüber hinaus von Holzdekor geschmückt.

Gemeinsames Featureset für alle neuen Boards

Die neue X3D-Serie von Mainboards bringt ein über weite Strecken einheitliches Featureset mit sich. Den Anfang macht Version 2.0 des letztes Jahr eingeführten X3D-Turbo-Modes. Gigabyte verspricht durch die BIOS-Funktion erneut Leistungszuwächse sowohl für Spiele (bis zu 25 Prozent) als auch für Anwendungen (bis zu 14 Prozent). Möglich werden soll dies durch ein „dynamisches AI-Overclocking-Modell“, das den Workload und Temperaturen in Echtzeit überwache und dementsprechend Taktraten und Spannungsversorgung anpasse. Verschiedene Modi für maximale Gaming- oder Anwendungsleistung lassen sich über Software unter Windows aktivieren.

Etwas handfester und weniger großspurig sind die Ankündigungen der Hardware-Features der neuen Mainboards. Die Kühlung der Spannungswandler wird nun mit 6 mm starken Heatpipes ausgestattet, die die Abwärme effizienter an die großflächigen Kühler abführen. Das soll laut Gigabyte für bis zu 8°C kühlere Temperaturen sorgen. Ebenfalls bei der Kühlung helfen sollen großflächige Backplates. Das gesamte Aorus-Lineup aus der neuen X3D-Serie wird hier mit identischen Backplates ausgestattet.

In puncto Support für schnellen Arbeitsspeicher macht Gigabyte einen großen Sprung und verspricht Kompatibilität für Kits mit 9.000 MT/s und mehr. Diese Ankündigung gilt erneut für das gesamte Lineup, nicht nur für die absolute Speerspitze der Overclocking-Boards.

Darüber hinaus bringen alle Boards Komfortfunktionen zur Montage und Demontage von Hardware mit sich. Die meisten davon sind bereits von früheren Boards bekannt. Über „EZ-Latch“ können arretierte Erweiterungskarten bequem über einen mechanisch mit dem PCIe-Slot verbundenen Knopf gelöst und entfernt werden. Die werkzeuglos abnehmbaren Abdeckungen beziehungsweise Kühlkörper für M.2 SSDs sind ebenfalls bereits vom Vorgänger bekannt. Neu ist hingegen die (werkzeuglose) Montage der SSDs auf einem entkoppelt gelagerten Pad, das auch Wärme abführen soll.

Die letzte mit den Mainboards vorgestellte Funktion ist DriverBIOS: Gigabyte verdoppelt den Speicher für das BIOS auf 64 MB. Der so gewonnene Speicherplatz wird genutzt, um einen WLAN-Treiber direkt auf dem Board zu hinterlegen und somit bei der Installation des Betriebssystems direkt auf das Internet zugreifen zu können, ohne ein eingestecktes Ethernet-Kabel oder Hilfe durch ein zweites Gerät zu benötigen.

Das sind die neuen Aorus-Boards

Gigabyte zeigte im Rahmen seiner „Beyond Edge“-Präsentation sechs neue Mainboards, von denen vier unter dem Gaming-Label Aorus zeitnah auf dem Markt erhältlich sein sollen.

Die Speerspitze stellt das X870E Aorus Master X3D Ice dar, welches über eine Spannungsversorgung im 18+2+2-Design und VRMs mit 110-Ampere-Rating verfügt. Neben dem PCIe-5.0-Slot für die Grafikkarte wird ein weiterer Slot mit PCIe 4.0 x4 geboten. Es können bis zu fünf M.2-SSDs installiert werden (2 × PCIe 5.0, 3 × PCIe 4.0). Eine großflächige RGB-Beleuchtung kennzeichnet das Board klar als Topmodell des Lineups.

Darunter findet sich das X870E Aorus Pro X3D Ice wieder. Es ähnelt seinem großen Bruder über weite Strecken und verfügt über dasselbe VRM-Design. Die auffälligste Änderung gibt es beim Layout: Es verfügt über einen dritten Slot für Erweiterungskarten (mit PCIe 3.0 x2) und verzichtet im Gegenzug auf einen M.2-Slot mit PCIe 4.0. Die Beleuchtung fällt weniger imposant aus, darüber hinaus sinkt die Anzahl der Lüfteranschlüsse von 10 auf nunmehr 8.

Die beiden nächsten vorgestellten Mainboards sind das schwarze X870E Aorus Elite X3D und dessen weiße „Ice“-Variante. Das VRM-Design wird bei diesen Boards auf 16+2+2 abgespeckt, abseits davon ähnelt die Konfiguration stark der des X870E Aorus Pro X3D Ice mit insgesamt vier M.2-Slots (je zwei PCIe 5.0/PCIe 4.0) und drei Slots für Erweiterungskarten. Es ist das erste Modell der neuen X3D-Serie, das überhaupt in Schwarz erhältlich ist.

Aero mit Holzakzenten und High-End „AI Top“ folgen später

Die letzten beiden Neuankündigungen sind nicht direkt zum Start verfügbar, sondern sollen später folgen. Beim ersten handelt es sich um ein Mainboard aus der Aero-Serie, das dem aktuellen Trend von Holzapplikationen auf PC-Hardware folgt. Das X870E Aero X3D Wood bringt zwei Zierholzleisten auf dem hinteren VRM-Kühler sowie neben der M.2-Abdeckung mit. Gigabyte erklärt nicht, ob es sich um echtes Holz handelt. Falls das nicht der Fall sein sollte, muss man dem Hersteller aber wenigstens zum täuschend echten Imitat gratulieren. In den Nahaufnahmen in der Videopräsentation sehen die Zierleisten zumindest stark nach dem echten Naturmaterial aus.

Den Abschluss bildet das X870E Aorus Extreme AI TOP X3D. Das High-End-Board im großen E-ATX-Format soll sich an die Spitze des gesamten Lineups setzen und selbst das eingangs erwähnte X870E Aorus Master X3D Ice in den Schatten stellen. Gigabyte hat aber noch keine Details zu dem Board verraten und hat im Video nur ein Renderbild gezeigt, dem deutlich sichtbar noch die Details des Platinendesigns fehlten. Auffällig ist allerdings ein massiver und hoch aufbauender Kühler für die primäre M.2-SSD oberhalb des Grafikkartenslots.

Preise und Verfügbarkeit

Gigabyte nannte im Rahmen der Präsentation nur UVPs für die initial erscheinenden vier Mainboards und diese lediglich in US-Dollar vor Steuern. Angaben zum genauen Marktstart fehlen ebenso, dieser ist aber in naher Zukunft zu erwarten. Das gilt allerdings nicht für das X870E Aero X3D Wood sowie für das X870E Aorus Extreme AI TOP X3D. Beide Mainboards sollen deutlich später auf den Markt kommen und verfügen im Gegensatz zu den anderen Boards aktuell noch über keine eigenen Produktseiten auf der Webseite des Herstellers.