Google AI Overviews: Wenn sich die KI auf KI als Quelle beruft

Seit einer Weile zeigt Google ganz oben statt echten Suchtreffern eine KI-Zusammenfassung (KI-Übersicht, AI Overview) an. Diese bedient sich einer Vielzahl von Quellen, die per Klick einsehbar sind. Doch längst sind es nicht nur von Menschen geschriebene Artikel, die dort als Quelle herhalten.

Jedes Zehnte Zitat ist KI-generiert

Die Schlange beißt sich in den eigenen Schwanz: Mit dieser durchaus passenden Überschrift weist das weitgehend noch von Menschen betriebene Online-Magazin The Register auf eine aktuelle Studie von Originality.ai hin. Die Firma hat unter anderem den AI Checker entwickelt, eine Software, die Artikel im Internet darauf prüft, ob diese mit KI generiert worden oder menschlichen Ursprungs sind.

Jüngst hat sich Originality.ai die Überprüfung der AI Overviews von Google vorgenommen. Dafür wurden nach Angaben der Forscher echte Suchanfragen von Bing-Nutzern aus einer Datenbank verwendet, um diese für Suchen zum durchaus sensiblen YMYL-Themengebiet (Your Money Your Life) auf Google zu nutzen. Insgesamt seien für die Analyse 29.000 Anfragen zufällig ausgewählt worden.

Mit Hilfe des AI Checkers seien die in der KI-Zusammenfassung von Google ausgegebenen Zitate sowie deren Quellenlinks untersucht worden. Das Ergebnis: Die Software erkannte rund drei Viertel der Inhalte als menschlich generiert und rund 10 Prozent als von KI generierten Content. Daher wird als Endresultat festgehalten: „Etwa 1 von 10 Zitaten in Googles KI-Zusammenfassung ist KI-generiert“.

KI-Erkennung kann auch Fehler machen

Anzumerken ist aber, dass auch diese KI-Erkennungs-Software nicht zu 100 Prozent richtig liegen kann, obgleich sie zu den besten zählen soll und auch von renommierten Medienhäusern wie Reuters, The Guardian oder der New York Times eingesetzt wird. Rund 15 Prozent der Resultate fielen zudem in die Kategorie „nicht klassifizierbar“, konnten also wegen zu kurzen Texten oder kaputten Links nicht klar zugeordnet werden.

Warnung vor Endlosschleifen

Dennoch ist das Ergebnis aus Sicht der Forscher bedenklich. Denn selbst ein nur kleiner Anteil von KI-generierten Beiträgen führe zu Bedenken bezüglich der Vertrauenswürdigkeit und Zuverlässigkeit solcher „Suchergebnisse“, wird Madeleine Lambert von Originality.ai in dem Bericht von The Register zitiert. Ergänzend warnt sie vor Endlosschleifen, wenn solche Ergebnisse mit KI-Ursprung von zukünftigen Modellen wiederverwendet werden. Die oben als Metapher angeführte Schlange würde sich also immer wieder in den Schwanz beißen.

The Register verweist in diesem Kontext auch auf eine Forschungsarbeit, die sich mit dem Zusammenbruch von KI-Modellen befasst, wenn diese immer wieder mit rekursiv generierten Daten gefüttert werden.

Google tut Studie als unzuverlässig ab

Der Bitte um eine Stellungnahme kam Google nach und erklärte gegenüber der Publikation, dass die mit dem KI-Detektor erstellte Studie nicht zuverlässig und sogar fehlerhaft sei. Außerdem würden sich die Links in der KI-Zusammenfassung auf Google dynamisch ändern, je nachdem welche dahinter steckende Information für eine bestimmte Suche gerade am „relevantesten, hilfreichsten und aktuellsten“ sei.

Dem Vorwurf von Google, dass solche KI-Erkennungstools generell nichts taugen, stellte The Register aber wissenschaftliche Studien gegenüber, die das Gegenteil behaupten.