KI-Nutzung der öffentlichen Verwaltung bleibt undurchsichtig

Ob zur Grundwasseranalyse oder um den Zustand von Straßen zu erfassen – in der öffentlichen Verwaltung kommen immer mehr Werkzeuge zum Einsatz, die auf sogenannter Künstlicher Intelligenz basieren. Kaum eine Verwaltungswebsite verzichtet noch auf einen Chatbot. Seit einer Woche steht für die Mitarbeiter:innen der Berliner Verwaltung der KI-Assistent BärGPT bereit. Und das Verbraucherportal der Bundesnetzagentur setzt KAI ein.

Geht es nach Digitalminister Karsten Wildberger (CDU), wird der Erfolg der Digitalisierung in der öffentlichen Verwaltung maßgeblich von KI-Systemen abhängen. Daher dürfte es auch immer wichtiger werden, KI-Anwendungen zu erfassen. Seit gut einem Jahr gibt es dafür unter anderem das nationale KI-Transparenzregister. Es ist Teil des Marktplatzes der KI-Möglichkeiten, kurz MaKI. Daneben gibt es ein Dashboard mit Daten über KI-Nutzung in der Verwaltung und Steckbriefen über einzelne KI-Tools.

Für das Transparenzregister ist das Bundesministerium für Digitales und Staatsmodernisierung zuständig. Den Grundstein für MaKI legte eine Pilotinitiative des Beratungszentrums für Künstliche Intelligenz (BeKI) des Bundesinnenministeriums. Das Zentrum ist im Aufbau und soll „eine zentrale Anlauf- und Koordinierungsstelle für KI-Vorhaben in der Bundesverwaltung“ sein.

Das KI-Transparenzregister soll die Vorgaben der KI-Verordnung umsetzen. Derzeit umfasst die Datenbank gut 240 Einträge zu KI-Anwendungen auf Bundesebene. Die Datensätze dazu liefern die nutzenden Bundesbehörden selbst. Zum 1. Dezember hat das Bund-Länder-Gremium IT-Planungsrat den Roll-out auf alle Verwaltungsebenen begonnen. Anfang 2027 will der IT-Planungsrat den MaKI samt Transparenzregister als eigenständiges Produkt unter seine Fittiche nehmen.

Register setzt auf Freiwilligkeit

Dass der Rat die anderen Verwaltungsebenen einbeziehen will, sei zu begrüßen, sagt der Jurist Jonas Botta gegenüber netzpolitik.org. Das sei eine wichtige Voraussetzung dafür, um ein umfassendes Bild über den behördlichen KI-Einsatz zu erhalten. Botta leitete ein Drittmittelprojekt zum KI-Transparenzregister, an dem auch die Nichtregierungsorganisation AlgorithmWatch, die gemeinnützige Verwaltungsplattform NExT e. V. und das Deutsche Forschungsinstitut für öffentliche Verwaltung (FÖV) beteiligt waren.

Im KI-Transparenzregister geben Behörden verschiedene Informationen zu ihren KI-Anwendungen an. Etwa dazu, ob diese gerade entwickelt werden oder schon im Einsatz sind. Das Register umfasst außerdem Daten zu nicht länger genutzten KI-Tools und Projektstarts. Daneben können Behörden eine Kontakt-E-Mail-Adresse und das nutzende Ressort angeben oder auch, ob der Auftrag extern oder inhouse vergeben wurde.

Ausschlaggebend ist hier jedoch das Wort „können“. Denn bislang geben Behörden die Angaben zu ihren KI-Tools freiwillig weiter. Damit sei das Register nach wie vor kein „umfassender, grundrechtssichernder Transparenz-Mechanismus“, sagt Jonas Botta.

Das KI-Transparenzregister müsste aber für die öffentliche Verwaltung verpflichtend sein, um den staatlichen KI-Einsatz grundrechtlich abzusichern. Als Vorbild könne ein entsprechendes Register namens Algoritmeregister aus den Niederlanden dienen.

Intransparentes Verwaltungshandeln

Wäre es verpflichtend, würde das Register Verwaltungshandeln verlässlich transparent machen. Das sei „im demokratischen Rechtsstaat nicht nur allgemein von hoher Bedeutung“, sagt Jonas Botta, sondern werde „angesichts des ‚Blackbox‘-Phänomens von KI-Systemen“ immer wichtiger.

Eine große Schwäche des Registers in seiner jetzigen Form sind die Hürden für Bürger:innen. Die zur Verfügung gestellten Daten sind unübersichtlich aufbereitet und in einer schier endlos langen Tabelle aufgeführt. Sie können zwar etwa nach Entwicklungsstatus oder Verwaltungsebene gefiltert werden. Exportieren lassen sie sich dann aber nur in Form einer Excel-Tabelle. Darüber hinaus sind die angegebenen Daten lückenhaft. So gibt es etwa nicht immer eine Angabe zum Lizenztyp oder zum Kooperationspartner.

Auch sind Angaben zu rechtlichen Grundlagen für den Einsatz von KI-Systemen unvollständig oder es fehlen Angaben dazu, welche Daten die Behörden während des Einsatzes erheben und nutzen, kritisiert Pia Sombetzki von AlgorithmWatch. „Wenn hinter der Angabe zur ‚Beschreibung der Verfahren des Betriebs‘ beispielsweise steht ‚vorhanden’“, sei das keine hilfreiche Auskunft, weil diese zu unspezifisch sei.

Risikostatus: unklar

Bürger:innen können kaum nachvollziehen, „wann sie mit welchem KI-System konfrontiert sind, warum die Behörde dieses System verwendet und welche potenzielle Risiken“ sie bergen, sagt Botta. Auch Abwägungsprozesse der jeweiligen Behörde blieben undurchsichtig: Welche KI setzt die Behörde aus welchen Gründen und für welchen Anwendungsfall ein? Welche Risiken spielen dabei eine Rolle? Und wie kann sie Risiken minimieren oder umgehen?

„Von echter Nachvollziehbarkeit über die KI-Einsätze beim Staat sind wir noch meilenweit entfernt“, sagt Sombetzki. Das Register versäume es, eine lückenlose Nachvollziehbarkeit beim Thema Risikobewertung zu schaffen. Hier fehlten klare Vorgaben. Das verdeutliche auch die Antwort der Bundesregierung auf eine Kleine Anfrage der Partei Die Linke. Die dort gemachten Angaben seien nicht mit denen im Transparenzregister deckungsgleich. Gleichzeitig verweise die Bundesregierung auf die Angaben im Register.

Zudem hätten Behörden bei mehr als einem Drittel der KI-Anwendungen keinerlei Risikobewertungen vorgenommen. Obwohl die KI-Verordnung voraussetze, dass die Bundesverwaltung das Risiko ihrer KI-Einsätze abschätzt, wie Pia Sombetzki anmerkt.

An der Verwaltung ausgerichtet

Botta kritisiert zudem die Anbindung des Transparenzregisters an den MaKI. Damit stünden bislang die Behördeninteressen im Fokus, wie die Qualitätssicherung und Nachnutzung von KI-Tools durch die Behörden selbst. Diese Interessen betonte auch Heiko Geue beim Pressegespräch anlässlich der 48. Sitzung des IT-Planungsrats Ende November. Geue ist Finanz- und Digitalisierungsminister Mecklenburg-Vorpommerns sowie Vorsitzender des Rats.

Doch Behördeninteressen bildeten nur eine der Anforderungen an das Transparenzregister ab. Dieses solle, so Bolle, aber auch für Bürger:innen, die organisierte Zivilgesellschaft und die Wissenschaft KI-Tools und deren Einsatz in der Verwaltung transparent machen. Für sie halte sich der Nutzen aber bislang stark in Grenzen, so der Jurist. Pia Sombetzki sieht derweil die Gefahr, dass das MaKI „zu einem unwirksamen Marktplatz unter vielen“ verkommt und mit ihm das Register.