KI-Systeme bevorzugen eigene Texte: Studie warnt vor „Anti-Human-Bias“

Wenn Künstliche Intelligenz die Wahl zwischen Texten eines Menschen und einer anderen KI hat, bevorzugt sie ihresgleichen. Dies ist das Ergebnis einer Studie der Karlsuniversität Prag. Forscher testeten hierzu bekannte Modelle wie GPT-3.5, GPT-4 sowie Open-Weight-Modelle von Meta, Mistral und Alibaba in drei verschiedenen Szenarien. Dabei sollten die KI-Systeme zwischen Produktbeschreibungen von E-Commerce-Seiten, wissenschaftlichen Texten und Filmzusammenfassungen wählen – ohne zu wissen, ob der Text von Menschen oder Maschinen stammte.

Das Ergebnis war laut der Veröffentlichung der Forscher eindeutig: In allen drei Kategorien bevorzugten die LLMs die KI-generierten Inhalte deutlich häufiger als menschliche Probanden in Vergleichsstudien. Besonders ausgeprägt war dieser „AI-für-AI-Bias“ bei Produktbeschreibungen, wo GPT-4 in 89 Prozent der Fälle die KI-verfassten Texte wählte, während Menschen nur zu 36 Prozent diese Präferenz zeigten.

LLMs offenbar mit eigenen Bewertungskriterien

Um auszuschließen, dass die KI-Texte schlicht besser waren, führten die Wissenschaftler parallel Experimente mit menschlichen Bewertern durch. Diese zeigten deutlich schwächere oder gar keine Präferenz für KI-generierte Inhalte. „Das deutet darauf hin, dass LLMs spezifische Bewertungskriterien verwenden, die nicht auf objektiven Qualitätssignalen basieren“, erklären die Studienautoren.

Zusätzlich kontrollierten die Forscher systematisch für den sogenannten „First Item Bias“ – die Tendenz, das zuerst präsentierte Element zu wählen. Dazu präsentierten sie jedes Textpaar zweimal in unterschiedlicher Reihenfolge.

Wo dies zum Problem werden könnte

Die Wissenschaftler sehen diese Entwicklung vor allem mit Blick auf den zunehmenden KI-Einsatz bei Entscheidungssystemen als problematisch an. Wenn etwa Bewerbungen für Arbeitsplätze zunehmend durch KI-Tools vorsortiert werden, hätten jene einen Vorteil, die ihre Bewerbung mit KI-Hilfe geschrieben haben. Da die KI-Tools ab einer bestimmten Schwelle kostenpflichtig sind, müssten Menschen sich diese KI-Hilfe leisten können. Es drohe eine Art digitale Klassengesellschaft.

Mit Blick auf agentische Systeme, die komplexe Aufgaben selbst erledigen, seien sogar noch weitergehende Diskriminierungen von Menschen denkbar. So könnten KI-Systeme bei wirtschaftlichen Entscheidungen zugunsten anderer KI-Systeme und gegen den Einsatz von Menschen raten.

Noch viele offene Fragen

Gesetzgebungen wie der AI Act der Europäischen Union machen zwar Vorgaben zum Einsatz von KI-Systemen in kritischen Bereichen. Die Studie legt jedoch nahe, dass auch scheinbar neutrale Anwendungen wie Produktempfehlungen oder Bewerbungsvorauswahl systematische Verzerrungen enthalten könnten.

Die Forscher betonen, dass weitere Untersuchungen nötig sind, um die genauen Ursachen des Phänomens zu verstehen. Möglicherweise reagieren LLMs auf stilistische Marker in den Texten. Konkrete Lösungsansätze stehen noch aus. Dazu bedürfe es erstmal eines genaueren Verständnisses, warum KI-Systeme diese Neigung zeigen. Per „Activation Steering“ einer Technik zur gezielten Beeinflussung des Modellverhaltens, könnte vielleicht Einfluss genommen werden.

Forscher raten zur Vorsicht

Bis dahin sollten Unternehmen und Institutionen beim Einsatz von LLM-basierten Entscheidungssystemen diese systematische Verzerrung berücksichtigen, raten die Forscher – besonders in Bereichen wie Personalauswahl, Forschungsförderung oder Marktplatz-Algorithmen sollte stets im Hinterkopf behalten werden, dass die KI dazu neigt, ihresgleichen den Vorzug zu geben.

(mki)