KI-Müll: Consulter gibt Australien Geld zurück

Deloitte erstattet einem australischen Bundesministerium einen Teil der für einen Prüfbericht kassierten Gage zurück. Grund ist, dass der Bericht offenbar KI-halluzinierte Erfindungen enthielt. Deloitte gibt nun zu, ein generative Sprachmodell eingesetzt zu haben, das mehrere falsche Fußnoten erzeugt und nicht existente Quellen erfunden hat. An den grundsätzlichen Aussagen des Prüfberichts hält Deloitte hingegen fest.

Unter den erfundenen Quellen sind laut Financial Times nicht existierende akademische Studien, die die KI Forschern der Universitäten Lunds und Sydneys angedichtet hat. Das LLM soll eine von Microsoft bereitgestellte Instanz des LLMs GPT 4o von OpenAI sein, die das australische Arbeitsministerium lizenziert hat und in einer Azure-Instanz betreiben lässt.

Wie viel Geld Deloitte vom ursprünglichen Vertragswert von 439.000 australischen Dollar (rund 247.000 Euro) zurückerstattet, sagen die Beteiligten nicht. Sie hätten sich jedenfalls geeinigt. Der auf der Webseite des Ministeriums veröffentlichte Deloitte-Bericht ist am 26. September durch eine bereinigte Version ersetzt worden.

Automatisierte Sozialhilfe-Kürzung kaputt

Diese fällt ein schlechtes Urteil über das von Deloitte geprüfte IT-System namens Targeted Compliance Framework. Seit 2018 bestraft es automatisiert Empfänger von Sozialleistungen, wenn sie verdächtigt werden, bestimmte Auflagen nicht erfüllt zu haben, durch vorübergehenden Entzug der Leistungen. Allerdings hat das System zugrundeliegendes Recht sowie Vorgaben des Ministeriums seit jeher falsch umgesetzt. Zudem werden die Sozialleistungen oft zu lange gestoppt. Umgekehrt ist nicht gesichert, dass eigentlich gestoppte Leistungen nicht vielleicht doch ausgezahlt werden.

Beim Versuch, Fehler zu beheben, wurde ein weiterer Fehler eingebaut. In den geprüften fünf Jahren haben die automatischen Entscheidungen mindestens 1371 arme Australier zu Unrecht bestraft. Allerdings mangelt es auch an Nachverfolgbarkeit, Validierung, Risikomanagement und Aufsicht. Selbst Verfahren vor jenen Gremien, an die sich betroffene Bürger wenden können, sind laut Deloitte nicht transparent und nachvollziehbar.

Demnach gibt es keine Dokumentation der Programmlogik, keine verlässliche Versionierung und keine Standards oder Maßstäbe zur Feststellung der (Fehl)Leistung. Das geprüfte IT-System für automatisierte Entscheidungen über Sozialleistungen ist durchgefallen. Daran ändern auch die von GPT herbeiphantasierten Quellen nichts.

(ds)