KI-Überblick 6: Large Language Models – warum sie so beeindruckend wirken

Large Language Models (LLMs) wie GPT, LLaMA oder Claude prägen die aktuelle Diskussion rund um Künstliche Intelligenz. Sie schreiben Texte, beantworten Fragen, übersetzen Inhalte und lösen scheinbar komplexe Aufgaben. Ihr Auftreten wirkt oft fast menschlich, weshalb viele Menschen ihnen ein Verständnis oder gar eine Form von Intelligenz zuschreiben.

In Wirklichkeit sind LLMs jedoch keine denkenden Systeme, sondern extrem leistungsfähige statistische Modelle, die Wahrscheinlichkeiten für Wortfolgen berechnen. Ihr Erfolg beruht auf drei Faktoren: enormen Datenmengen, gigantischen Modellgrößen und der Transformer-Architektur.

Dieser Beitrag erklärt, was LLMs sind, wie sie trainiert werden und warum sie wirken, als könnten sie „denken“.

Was ein Large Language Model ist

Ein LLM ist ein neuronales Netz – in der Regel ein Transformer-Decoder –, das auf die Vorhersage des nächsten Tokens in einer Zeichen- oder Wortfolge trainiert wird. Vereinfacht gesagt: Es lernt, welches Wort mit welcher Wahrscheinlichkeit folgt.

Ein Token kann dabei ein ganzes Wort, eine Silbe oder sogar nur ein Zeichen sein. Indem das Modell diese Wahrscheinlichkeiten Schritt für Schritt nutzt, kann es Texte generieren, die flüssig und plausibel wirken.

Die Bezeichnung „Large“ hat dabei zwei Dimensionen:

1. Modellgröße: Moderne LLMs besitzen Milliarden von Parametern.
2. Datenmenge: Sie werden auf gigantischen Textkorpora trainiert, die aus Büchern, Webseiten, Artikeln und Code bestehen.

Die Kombination aus Größe und Datenvielfalt erlaubt es den Modellen, extrem viele sprachliche Muster zu erfassen.

Training durch Vorhersage

Das Training eines LLM folgt einem simplen Prinzip, der „Next Token Prediction“: Das Modell sieht eine Sequenz von Token und soll das nächste Token vorhersagen. Diese Vorhersage wird mit der tatsächlichen Fortsetzung verglichen, der Fehler berechnet und die Modellgewichte werden per Gradientenverfahren angepasst.

Dieses Verfahren nennt man „Self-Supervised Learning“, da die Trainingsdaten automatisch Zielwerte liefern. Jeder Text bietet unzählige Trainingsbeispiele, ohne dass jemand manuell Labels erstellen muss.

Durch Milliarden von Trainingsschritten lernt das Modell:

• Grammatik und Syntax,
• typische Wortkombinationen und Redewendungen und
• implizite Strukturen wie Fakten, logische Muster oder sogar einfache Rechenregeln.

All das entsteht rein statistisch, ohne dass das Modell die Bedeutung der Wörter versteht.

Warum LLMs so kompetent wirken

Die Wirkung eines LLM beruht darauf, dass Sprache selbst ein enorm starkes Trägermedium für Wissen ist. Wer genügend Sprachmuster gesehen hat, kann in vielen Fällen den Anschein von Verständnis erzeugen.

Wenn Sie eine Frage stellen, produziert das Modell die wahrscheinlichste Wortfolge, die in seinem Trainingsuniversum auf diese Eingabe folgen könnte. Da menschliche Antworten auf Fragen oft konsistent sind, entsteht der Eindruck von Intelligenz.

Dieses Verhalten erklärt zugleich aber auch typische Schwächen:

• Halluzinationen: Modelle erfinden plausible, aber falsche Fakten, weil sie nicht prüfen können, ob etwas wahr ist.
• Mangel an echtem Verständnis: LLMs wissen nicht, was ihre Ausgaben bedeuten.
• Sensibilität für Formulierungen: Kleine Änderungen im Prompt können große Unterschiede in der Ausgabe bewirken.

LLMs sind also kompetente Sprachmustermaschinen, aber keine wissenden Systeme.

Der Einfluss von Feintuning und RLHF

Viele bekannte Modelle werden nach dem Grundtraining noch optimiert, zum Beispiel durch:

• Instruction Tuning: Das Modell lernt, Eingaben wie Anweisungen zu interpretieren und höflich zu antworten.
• RLHF (Reinforcement Learning from Human Feedback): Menschliche Bewertungen lenken das Modell in Richtung erwünschter Antworten.

Diese Schritte tragen stark dazu bei, dass ein LLM „hilfreich“ und „menschlich“ wirkt. Es spiegelt aber weiterhin nur Muster, die in Daten und Feedback enthalten sind.

Grenzen und Einsatzbereiche

LLMs sind mächtig, aber nicht universell:

• Sie können keine aktuellen Informationen ohne externe Anbindung bereitstellen.
• Sie besitzen kein Weltmodell und können keine logischen Schlüsse jenseits der gelernten Muster ziehen.
• Sie sind rechen- und datenintensiv, was den Einsatz in Unternehmen erschwert.

Trotzdem bilden sie die Grundlage vieler moderner KI-Anwendungen: Textgenerierung, Chatbots, Code Completion, semantische Suche oder Dokumentenzusammenfassungen.

Ausblick

Der nächste Teil dieser Serie wird sich der symbolischen KI und hybriden Ansätzen widmen. Er wird zeigen, warum klassische Wissensrepräsentationen wieder an Bedeutung gewinnen und wie sich statistische und symbolische Verfahren kombinieren lassen.

(rme)