Mit Hilfe Künstlicher Intelligenz prüfen, ob eingereichte Anträge vollständig sind? Nicht alles, was technisch möglich ist, darf die öffentliche Verwaltung rechtlich tun. Wollen Behörden Technologien testen, brauchen sie sogenannte Erprobungs-Klauseln in einzelnen Gesetzen.

Ende Juni verabschiedete der Bundestag ein Gesetz, das Erprobungen auch dann erlaubt, wenn es eine solche Klausel nicht gibt: das „Gesetz zur Verbesserung der Rahmenbedingungen für die Erprobung von „Innovationen“ in Reallaboren und zur Förderung des regulatorischen Lernens“. Der kurze Name: Bundeserprobungsgesetz, auch Reallabore-Gesetz. Den Entwurf des Bundeserprobungsgesetzes haben die Bundesregierung und Regierungsfraktionen wortgleich eingebracht.

Die Verwaltung soll also auch dann Technologien testen können, wenn es das jeweilige Gesetz wie etwa das Registerzensus-Erprobungsgesetz nicht explizit vorsieht. „Die allgemeine Erprobungsklausel ist wirklich ein Novum im Bundesrecht“, sagt Philipp Amthor (CDU), Parlamentarischer Staatssekretär beim Bundesministerium für Digitales und Staatsmodernisierung. Sie erlaube es Bundesbehörden, von Bundesrecht abzuweichen. „Dadurch können Verwaltungsverfahren unter anderem digitaler und bürgerfreundlicher gestaltet werden“, so Amthor.

Drei gravierende Probleme

Erprobungs-Klauseln in Gesetzen gibt es seit den 1960er-Jahren. Neu ist der umfassende Ansatz des Bundeserprobungsgesetzes. Im Vorfeld bewarb die parlamentarische Initiative um Ralph Brinkhaus (CDU) das Gesetz damit, man könne dringend benötigtem Fortschritt schneller den Weg ebnen. Kürzere Wege, damit Gesetze schneller angepasst werden können. Das läuft unter dem Schlagwort „regulatorisches Lernen“.

Laut Gesetz ist damit gemeint, dass die Verwaltung „Wissen über die Auswirkungen der erprobten Technologien, Produkte, Dienstleistungen, Verwaltungsverfahren“ erwirbt und anhand des Wissens das Gesetz „möglichst schnell“ angepasst werden kann. Das Wissen generiert die Verwaltung in sogenannten Reallaboren, also unter „möglichst realen“ Bedingungen. Die Erprobungsphasen sind dabei zeitlich begrenzt.

Doch hat das Gesetz mindestens drei gravierende Probleme, die der Forderung nach Innovation zuwiderlaufen und demokratische Mechanismen stören: Das Bundeserprobungsgesetz greift erstens empfindlich in den Grundsatz der Gewaltenteilung ein. Zweitens müssen Behörden ihre Erprobungen nicht wissenschaftlich evaluieren. Und schließlich verpflichtet das Gesetz sie auch nicht dazu, ihre Erprobungen öffentlich einsehbar zu dokumentieren. Wie und was die Verwaltung erprobt, entzieht sich damit weitgehend öffentlicher Kontrolle.

Im Widerspruch zur Gewaltenteilung

„Gewaltenteilung schützt die Grundrechte und dient damit dem Schutz der Freiheit der Bürgerinnen und Bürger vor Machtmissbrauch“, so erklärt es das Bundesministerium der Justiz. Doch dieser demokratische Grundsatz wurde im Gesetz aufgeweicht. Der ursprüngliche Gesetzentwurf sah nur Spezial-Erprobungsklauseln vor, etwa für die EUDI-Wallet, der digitalen Brieftasche für Bürger:innen, mit der sie sich ab dem 2. Januar 2027 online ausweisen können.

Erst über die Formulierungshilfe hat der Gesetzgeber einen allgemeinen Teil hinzugefügt und damit den Anwendungsbereich für die Erprobungsklauseln ausgeweitet: Demnach könnten Verwaltungen mit behördlicher Genehmigung für einen bestimmten Zeitraum aus dem normalen Verwaltungsverfahren ausscheren.

Dass eine Behörde als Teil der Exekutiven eine solche Entscheidung treffen darf, lasse sich „schwer mit unseren Gewaltenteilungsgrundsätzen in Einklang bringen“, sagt Sabine Fuhrmann, Rechtsanwältin und Vizepräsidentin der Bundesrechtsanwaltskammer (BRAK). Denn verbindliche Regelungen des Verfahrensrechts auszusetzen, obliegt normalerweise dem Parlament als Teil der Legislative.

Im Klartext: Normalerweise dürfen Verwaltungen nur auf Grundlage von geltendem Recht handeln. Mit dem neuen Gesetz können Behörden nun aber ihr Handeln auf der Basis interner Verwaltungsentscheidungen wesentlich ändern.

Erproben ohne System

Wie mehrere Sachverständige bei einer Anhörung im Mai anmerkten, sei außerdem nicht nachvollziehbar, dass das Gesetz keine Pflicht zur wissenschaftlichen Evaluierung enthalte. Die sei für „regulatorisches Lernen“ jedoch Voraussetzung, so etwa Carlo Zensus von der Bitkom. Wie geht es weiter, wenn das Reallabor erfolgreich war? Wie werden die Reallabore ausgewertet? Wann mündet eine erfolgreiche Erprobung in ein Gesetz? Diese Fragen lasse das Gesetz offen, kritisierte auch Moritz Heuberger von den Grünen bei der zweiten Lesung im Bundestag.

Warum Behörden nicht dazu verpflichtet sind, ihre Erprobungen wissenschaftlich auszuwerten, fragte Sonja Lemke von der Linkspartei im Digitalausschuss. „Es ist unsere Freiheit als Parlament zu entscheiden, wie wir mit der Sache umgehen oder nicht“, so die Antwort von Ralph Brinkhaus (CDU). „Wir halten sehr wenig davon, verpflichtende Mechanismen einzubringen, die die Souveränität des Parlamentes in seiner Entscheidungsfindung unterhöhlen. Das heißt, wir gucken uns an, was passiert ist, wir entscheiden dann, wie wir damit umgehen. Das ist unsere Aufgabe als höchster Souverän.“

Brinkhaus’ Aussage sei ungewöhnlich, erklärt Fuhrmann gegenüber netzpolitik.org. Das Parlament sei nicht dazu gezwungen, Empfehlungen in einem Evaluationsbericht umzusetzen. Das folge aus der bloßen Pflicht zur Evaluation nicht. Ein solcher Bericht sei vielmehr dazu gedacht, den Souverän inhaltlich zu unterstützen. Auch mit einer Pflicht, die Ergebnisse aus Reallaboren wissenschaftlich zu bewerten, liege die Entscheidung klar beim Parlament.

Eigenwillige Definition

Dass die Definition der „Reallabore“ im Gesetz von der wissenschaftlichen Definition abweicht, die sich im Wissenschaftsbetrieb durchgesetzt hat, lässt zudem Zweifel am Innovationswillen der Gesetzgeber aufkommen. Das merkte etwa Oliver Parodi vom Karlsruher Institute of Technology bei der Sachverständigen-Anhörung im Digitalausschuss an. Wissenschaftliche Reallabore seien „Forschungs- und Entwicklungseinrichtungen, die dazu dienen, in einem räumlich abgegrenzten gesellschaftlichen Kontext unter anderem wissenschaftliche wie gesellschaftliche Lernprozesse zu verstetigen.“

Dabei sei es wesentlich, dass Wissenschaft und Gesellschaft zusammenarbeiten. „Reallabore forschen in der, mit der und für die Gesellschaft und vereinen stets Forschungs‑, Gestaltungs- und Bildungsziele“, so Parodi in seiner Stellungnahme. Laut Bundeserprobungsgesetz sei die Beteiligung der Wissenschaft am Prozess der Erprobung aber nur optional.

Tests im Verborgenen

Was die Verwaltung erprobt und zu welchem Zweck, bleibt mit dem Gesetz zudem im Verborgenen. Denn das Gesetz enthält keine Pflicht zur Transparenz. Zwar gibt es eine Reallabore-Innovationsportal vom Bundesministerium für Wirtschaft und Energie, bei dem auch die Federführung für das Bundeserprobungsgesetz liegt. Laut Ministerin Katharina Reiche soll die Plattform Vernetzung und Austausch von Wissen unterstützen und umfasst unter anderem die Themen Bildung, Energie und Klimaschutz, Gesundheitsdigitalisierung und eGovernment. Allerdings müssen die erprobenden Stellen ihre Projekte dort nicht melden, die Teilnahme ist freiwillig.

Von einem Transparenzregister, mit dem Bürger:innen etwa nachvollziehen können, ob der Bund oder ihre Gemeinde bestimmte Technologien erprobt und welche Verwaltungsdaten sie dabei verwenden, ist dieses Portal weit entfernt. Praktisch teste die öffentliche Verwaltung hier unter Ausschluss der Öffentlichkeit, kritisierte die Abgeordnete Lemke im Digitalausschuss.

Für die von Hochschulen, Kliniken und anderen öffentlichen Institutionen genutzte offene Lernplattform ILIAS stehen Aktualisierungen bereit. Die neuen Versionen 9.21, 10.9 und 11.2 schließen Sicherheitslücken, von denen alle früheren Ausgaben betroffen waren. Von drei Lücken geht ein hohes, von den übrigen ein mittleres Sicherheitsrisiko aus.

Der Warn- und -Informationsdienst des CERT-Bund bewertet die Gefahr in ihrer Gesamtheit gar als kritisch. Angreifer könnten sie demnach unter bestimmten Voraussetzungen missbrauchen, um Sicherheitsvorkehrungen zu umgehen, sensible Informationen offenzulegen oder Cross-Site-Scripting-Angriffe durchzuführen.

Admins sollten die bereitstehenden Updates einspielen. Aktive Angriffe auf Basis der Lücken wurden indes noch nicht beobachtet.

Release- und weitere Informationen

Das Entwicklerteam hat allgemeine Informationen zu den Neuerungen der aktuellen Versionen veröffentlicht. Ihnen sind zugleich auch die Download-Links zum Aktualisieren zu entnehmen.

Zusätzlich wurden separate Sicherheitshinweise – allerdings von eher geringem Informationsgehalt – veröffentlicht:

(ovw)

Zahlreiche Bundesländer haben ihren Polizeien bereits Software-gestützte Echtzeit-Videoanalyse erlaubt, nun zieht die Bundesregierung nach. Die Bundespolizei soll künftig automatisiert die Bilder von Kameras prüfen. Software soll nach bestimmten Gesichtern suchen und identifizieren, wer gerade was tut. Die Bundespolizei könnte die Technologien an Bahnhöfen, aber auch an Häfen und Flughäfen einsetzen.

Ein Änderungsantrag zu einem der drei Sicherheitsgesetze, die gerade durch den Bundestag gedrängt werden, erweitert die geplanten KI-Überwachungsbefugnisse massiv. Bislang beinhalteten sie die Erlaubnis, im Internet nach bestimmten Gesichtern zu suchen und Datenanalysen nach Palantir-Art durchzuführen. Nun kommt noch die automatisierte Auswertung von Videobildern hinzu. Der Antrag wurde gestern eingereicht und wird am heutigen Mittwoch im Innenausschuss debattiert. Das entsprechend reformierte Bundespolizeigesetz soll bereits am Freitag im Bundestag verabschiedet werden.

Mit zwei verschiedenen Technologien soll die Bundespolizei künftig die Live-Streams von Videokameras untersuchen dürfen. Eine wird aktuell bereits in Frankfurt am Main getestet. Dabei werden die Gesichter aller Passant*innen vermessen und mit einer Liste von gesuchten Gesichtern abgeglichen. Stimmt ein Gesicht im videoüberwachten Areal mit einer gewissen Wahrscheinlichkeit mit einem gesuchten Gesicht überein, schlägt die Software Alarm.

Alles, was erlaubt ist

Die KI-Verordnung der EU setzt derartiger Live-Gesichtserkennung enge Grenzen. Sie darf nur in bestimmten Fällen angewendet werden. Die Bundespolizei soll beinahe alle diese Verbotslücken ausnutzen. Sie soll mit der Technologie nach Menschen suchen, die das Leben einer Person oder die Sicherheit der Bundesrepublik gefährden, nach Menschen, denen vorgeworfen wird, eine kriminelle Vereinigung gebildet zu haben, nach Menschen, die mutmaßlich Opfer von Entführung, Menschenhandel oder sexueller Ausbeutung sind oder vermissten Personen, die sich in Lebensgefahr befinden. Die Maßnahme muss richterlich angeordnet werden, Treffer müssen von zwei Polizist*innen geprüft werden. Mit der Begrenzung glaubt die Bundesregierung, sich noch innerhalb des Rahmens der KI-Verordnung zu bewegen.

Die andere Technologie, mit der die Bundespolizei Videostreams durchsuchen soll, prüft automatisiert, was die abgebildeten Menschen gerade tun. Derartige Software wird bereits in der Mannheimer und der Hamburger Innenstadt erprobt. Berlin bereitet den Einsatz vor. Sie ordnet menschliche Bewegungen in Kategorien ein wie: „Tanzen“, „Rennen“ oder „einander Umarmen“. Findet sie etwa Bewegungen, die auf einen Kampf hindeuten, weist sie die wachhabenden Beamt*innen auf die Situation hin. Auch die Wahrnehmung mutmaßlich hilfloser Menschen führt zu einer derartigen Alarmierung. Die Hilflosigkeit wird dann wohl mindestens bei liegenden Tätigkeiten angenommen. Kritiker*innen weisen darauf hin, dass dieser polizeiliche Fokus zu einer Diskriminierung von obdachlosen Menschen führt.

Außerdem soll die Software selbstständig Waffen detektieren und Personen, die einer Straftat verdächtig sind, automatisiert über mehrere Kameras hinweg verfolgen. Laut Gesetzesbegründung ist es auch möglich, Personen zu identifizieren, die sich ungewöhnlich lange in einem Bereich aufhalten. So sollen potenziell suizidale Menschen von der Umsetzung des Suizids abgehalten werden.

Laut dem Gesetzespaket dürfen die beiden Programme dann auch mit den Gesichtern und dem Verhalten von Bürger*innen trainiert werden. Nach zwei Jahren soll es eine Evaluierung der Befugnisse geben. Die wird „im Zusammenwirken mit“ einer wissenschaftlichen Einrichtung, also nicht unabhängig, erstellt.