Datenschutz & Sicherheit
Maschinen sollen Papierkram erledigen: „Kollege KI“ steht auf wackeligen Beinen
Sogenannte KI-Agenten sollen die Arbeit von Behörden einfacher machen und Personal entlasten. Digitalminister Karsten Wildberger verspricht sich viel davon. Für KI-Experimente gibt die Verfassung der öffentlichen Verwaltung aber wenig Spielraum.

Digitalminister Karsten Wildberger (CDU) lässt wenig Gelegenheiten aus, um über sogenannte Künstliche Intelligenz zu sprechen. Sein Plan: KI in die Workflows der öffentlichen Verwaltung bringen und die KI-Branche in Deutschland ankurbeln. Im Blick hat er dabei nicht mehr nur Chatbots wie BärGPT vom CityLab Berlin oder LLMoin des öffentlichen IT-Dienstleisters Dataport aus Hamburg. Der neue Hype ist sogenannte agentische KI.
Um diese flächendeckend in der öffentlichen Verwaltung einzuführen, hat das Bundesministerium für Digitales und Staatsmodernisierung (BMDS) im Februar den Agentic AI Hub gestartet. Die Idee des Hubs: KI-Start-ups entwickeln KI-Tools, zugeschnitten auf die Bedürfnisse von Behörden und Ämtern. Staatssekretär Thomas Jarzombek (CDU) sagt dazu: „Wir wollen Start-ups eine Rampe in die Verwaltung bauen.“
Mit KI-Agenten soll die öffentliche Verwaltung effizienter arbeiten und Verwaltungsverfahren sollen insgesamt schneller werden, teilt das BMDS auf Anfrage mit. Das könne man dadurch erreichen, dass agentische KI die Entscheidungsfindung von Sachbearbeiter:innen unterstützt.
„Kollege KI“
Personal in Behörden ist vielerorts überlastet. Unter anderem liegt das an Personalknappheit. Schon jetzt zeichnet sich ab, dass sich das Problem weiter verschärfen wird, wenn Mitarbeiter:innen aus der Boomer-Generation in den Ruhestand gehen.
Mit KI will das BMDS gegen diese Entwicklung ankommen. Die Idee dahinter ist ein „Kollege KI“. Den solle man in die Verwaltung bringen, sagte Heiko Geue im Kontext des KI-Marktplatzes beim Pressegespräch im November. Er ist Vorsitzender des IT-Planungsrats und Finanz- und Digitalminister des Landes Mecklenburg-Vorpommern. Agentische KI könne ähnlich wie ein:e Mitarbeiter:in damit beauftragt werden, bestimmte Aufgaben selbstständig zu erledigen, so das BMDS gegenüber netzpolitik.org. Generative KI könne eine Aufforderung wie „Schreibe einen Bescheid“ in Text umsetzen.
Agentische KI hingegen generiere keine Inhalte wie Texte, Code oder Bilder, sondern könne Aufgaben übernehmen, etwa Antragsunterlagen auf Vollständigkeit prüfen oder personenbezogene Daten in Dokumenten schwärzen. Die Entscheidung solle am Ende aber immer der Mensch treffen, so das Ministerium.
Kommunale KI-Piloten
Ob KI-Programme Mitarbeiter:innen wirklich entlasten und die Arbeit beschleunigen, hierfür legt das BMDS gegenüber netzpolitik.org keine Belege vor. Auf die Frage, welche KI-Projekte Verwaltungsarbeit übernehmen können sollen, verweist die Pressestelle auf den KI-Marktplatz und die H2KI-Plattform. Diese Plattform nutzt KI um Genehmigungsverfahren abzuwickeln. Laut BMDS sei sie „eine Blaupause für den KI-Einsatz bei der Genehmigung von Infrastrukturprojekten“.
Ähnliche Projekte aus Kommunen wählte das BMDS Anfang März aus. Davon gehen zunächst 18 in die Pilotphase und sollen langfristig Verwaltungen bundesweit zur Verfügung stehen. Das Programm Forml der Städte Frankfurt am Main und Düsseldorf richtet sich etwa an Sachbearbeiter:innen von Anträgen auf einen Wohnberechtigungsschein. Laut Produktbeschreibung ist Forml eine Cloud-Software, die „unstrukturierte Daten aus Dokumenten, Scans oder Bildern“ verarbeitet. Es soll eingehende Anträge „auf Vollständigkeit und Einkommen“ prüfen.
Formfix, entwickelt in Köln, Heinsberg und zwei Berliner Bezirken, soll Antragsprozesse auf Hilfe zur Pflege vereinfachen; sowohl für die Antragstellenden als auch für das Amt, das die eingereichten Unterlagen schneller bearbeiten können soll.
Aus dem Neckar-Odenwald-Kreis stammt Lector.ai. „Mittels Vision-LLMs“ verarbeitet die Software Behördenpost und soll „den hohen manuellen Sortieraufwand großer Dokumentenmengen“ reduzieren.
Mehr als Marketing?
Wie viel Zeit können die Werkzeuge in der Praxis einsparen; wie viel Arbeit machen sie langfristig durch Pflege und Fehler? Während solche Fragen noch unbeantwortet sind, rührt der Digitalminister die Werbetrommel. Im Januar warb er damit, dass die KI-Agenten Genehmigungsverfahren zu über 80 Prozent beschleunigen könnten.
Die Bundestagsabgeordnete Rebecca Lenhard von den Grünen fragte nach, wie er zu dieser Einschätzung komme. Weder Methodik noch Vergleichsmaßstäbe hat der Minister offengelegt. „Für eine so weitreichende Behauptung ist das zu wenig“, kommentiert Lenhard in einem Pressestatement.
Effekte der KI-Nutzung müssten „transparent, nachvollziehbar und belastbar evaluiert werden“. Da KI bereits in Genehmigungsverfahren eingesetzt werde, brauche es umso dringlicher „klare Standards für Qualitätssicherung, Nachvollziehbarkeit und Verantwortlichkeit“, fordert die Abgeordnete.
KI ist nicht neutral
Technisch beruhen agentische und generative KI auf denselben großen Sprachmodellen und teilen deren strukturelle Schwächen: KI ist eine Black Box und liefert Output, der nicht neutral ist, sondern „biased“, verzerrt. Black Box meint, es lässt sich nicht genau nachvollziehen, warum KI-Programme zu einem bestimmten Ergebnis kommen.
Das Bias-Problem besteht darin, dass KI-Systeme auf Trainingsdaten basieren, die ihrerseits von Vorurteilen und Ressentiments geprägt sein können. KI-Output kann daher je nach Kontext diskriminierend sein, rassistisch, ableistisch, sexistisch oder ageistisch.
Dieser Effekt kann sich durch kognitive Verzerrungen bei Menschen verstärken, die mit KI-Erzeugnissen arbeiten. Vorurteile und Ressentiments verbergen sich nicht nur in Trainingsdaten, sondern auch in der Interaktion zwischen Mensch und KI. Welche Fragen Menschen KI stellen, wie sie den Output interpretieren und wie sie darauf reagieren, kann beeinflussen, was diese Systeme tun. Zudem kann der sogenannte Automation Bias dazu führen, dass Menschen die Ergebnisse einer Maschine weniger kritisch hinterfragen als Ergebnisse von Kolleg:innen.
Weiter sind Ergebnisse von KI-Systemen sind nicht verlässlich reproduzierbar. Das macht das Arbeiten nach Grundsätzen wie Nachvollziehbarkeit und Verantwortlichkeit schwer.
Verwaltung muss neutral arbeiten
Wenn Unternehmen mit KI experimentieren, haben sie größere rechtliche Spielräume. Die Verwaltung wiederum muss laut Verfassung neutral, objektiv und gesetzestreu handeln. KI-Systeme sind durch ihre Funktionsweise allerdings nicht in der Lage, Normen anzuwenden oder ethische Verantwortung zu übernehmen – ihre Outputs basieren auf berechneten Wahrscheinlichkeiten. Wie lässt sich das mit der Arbeit der Verwaltung vereinbaren?
David Wagner von der Kanzlei Spirit Legal untersucht, wie die öffentliche Verwaltung KI dennoch in verfassungskonformer Weise nutzen kann. Der Rechtsanwalt beschäftigt sich mit Legal Requirement Engineering, er übersetzt also rechtliche Vorgaben methodisch in technische Anforderungen. Unternehmen regulatorische Anforderungen effizient und rechtskonform in technische Lösungen überführen Zwar schließe das Grundgesetz den KI-Einsatz nicht aus. Doch bedürfe es technischer und rechtlicher Leitplanken. Ein Baustein könne eine Protokollpflicht sein, die Sachbearbeiter:innen verpflichtet, Eingaben, Ausgaben und eigene Änderungen am Ergebnis zu dokumentieren. Das allein genüge aber nicht.
Das BMDS betont, am Ende treffe immer ein Mensch die Entscheidung. Wagner hält dagegen: Wenn KI-Systeme Anträge vorprüfen oder Bescheide vorbereiten, präge ihr Output die Entscheidung der Sachbearbeiter:innen. Das europäische Datenschutzrecht schränke solche Konstellationen ein. Demnach dürften Entscheidungen gegenüber Betroffenen nicht allein auf automatisierter Verarbeitung beruhen.
Der EuGH habe klargestellt, dass das Verbot auch greife, wenn die Verarbeitung eine menschliche Entscheidung maßgeblich beeinflusse, so Wagner. Menschliche Kontrolle sei ohnehin gefordert. Im Kontext der Verwaltung entbinde sie den Gesetzgeber aber nicht, den Einsatz von KI durch spezielle Rechtsgrundlagen einzuhegen.
Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.
Datenschutz & Sicherheit
Die Woche, in der fast niemand vom Überwachungspaket sprach
Liebe Leser:innen,
Begriffe wie Notstandsgesetze, Volkszählung, Rasterfahndung, Großer Lauschangriff oder die Otto-Kataloge haben sich in das kollektive Gedächtnis eingebrannt. Und das nicht nur bei Menschen, denen eine freie, unüberwachte Gesellschaft und Grundrechte am Herzen liegen. Rund um diese Projekte wurde in diesem Land protestiert, heftig gestritten und große gesellschaftliche Debatten geführt.
Gerade kommt ein neuer Begriff dazu, den man ohne weiteres in diese Reihe stellen kann: Das Überwachungspaket. Doch im Gegensatz zu seinen Vorgängern ist das Überwachungspaket nicht von einer großen öffentlichen Debatte begleitet. Dabei haben alle zivilgesellschaftlichen Organisationen mit Rang und Namen laut aufgeschrien. Sie haben in Stellungnahmen überdeutlich gemacht, dass diese Gesetze den Charakter des Landes verändern werden, dass sie verfassungswidrig sein werden, dass sie eine vollkommen neue Form Überwachung etablieren.
Doch in der medialen Berichterstattung tröpfelt es, wenn überhaupt. Während bei Wal Timmy jede Geschwindigkeitsänderung des Transports ein Update des Tickers wert ist, Benzin- und Heizkosten die Nachrichten beherrschen, läuft dieses gesellschaftsverändernde Überwachungspaket unter ferner liefen. Ein paar unkritische Artikel mit Titeln wie „Dobrindt jagt mit KI Kriminelle im Netz“ suggerieren Normalität.
Dabei ist gar nichts normal an diesen Gesetzen, über die wir schon lange berichten. Sie bringen die drastischste Verschärfung seit der Überwachungswelle nach dem Anschlag auf das World Trade Center am 11. September 2001.
Durch die automatisierte Datenanalyse, ob nun mit oder ohne Palantir, werden unterschiedlichste Daten in noch nie geahnter Tiefe polizeilich zusammengeführt und ausgewertet, um Muster aufzuspüren oder zu kreieren. Das erlaubt Profilbildungen und Erkenntnisse, gegen die die Auswirkungen der Volkszählung wie ein fröhlicher Kinderbauernhof aussehen.
Auch die automatisierte Fotofahndung im Netz wird uns alle betreffen. Erstens werden alle, die irgendwie mit ihrem Bild im Netz sind, potentiell durchgemessen und mit gesuchten Personen verglichen. Private Fotos füttern also bald den staatlichen Überwachungsapparat. Noch schlimmer ist, was mit der Technik letztlich möglich ist.
Eine biometrische Suche im Netz legt ja nicht nur das Gesicht selbst offen, sondern den Kontext des Bildes, das gefunden wird: Wer hat welche Veranstaltung besucht, welche Demonstration, wer ist in welcher Community unterwegs, wer macht was? Wer ist da noch drauf? Das sind sensibelste Informationen, die Rückschlüsse auf politische Einstellungen und sexuelle oder religiöse Orientierung erlauben.
Dass von dieser neuen Dimension der Massenüberwachung und dem fehlgeleiteten Sicherheitsbegriff in der medialen und politischen Debatte bislang kaum die Rede ist, ist tragisch und gefährlich für unsere Zukunft. Gerade in Zeiten, in denen wir auf immer autoritärere Regierungen mit rechtsradikaler Beteiligung zusteuern.
Deshalb bleiben wir dran und laut. Und da sind wir alle gefragt, wenn wir das Überwachungspaket irgendwie noch stoppen oder abbremsen wollen. Erzählt anderen davon. Wendet euch an eure Abgeordneten. Und schreibt gerne auch mal ein paar der guten alten Leser:innenbriefe an andere Medien, damit sie verstehen, was für eine gefährliche Lücke sie hier lassen.
Trotz allem schöne Frühlingstage wünscht Euch
Markus Reuter
Datenschutz & Sicherheit
EU-Kommission will US-Behörden erlauben, politische Ansichten und „Herkunft“ abzufragen
Die Europäische Kommission hat nach Erteilung ihres Verhandlungsmandats im vergangenen Dezember ein Rahmenabkommen mit den USA über eine „Grenzpartnerschaft“ fertig ausgehandelt. Den Entwurf hat die britische Bürgerrechtsorganisation Statewatch veröffentlicht. Demzufolge geht das geplante Abkommen weit über die bislang bekannten US-Forderungen hinaus.
Den Abschluss einer „Enhanced Border Security Partnership“ (EBSP) hatte die US-Regierung bereits 2022 von allen Teilnehmerstaaten des Visa-Waiver-Programms (VWP) verlangt – mit einer Frist bis Ende 2026. Das VWP ermöglicht Staatsangehörigen aus 43 befreundeten Ländern im Rahmen von Kurzaufenthalten bis zu 90 Tagen visafreies Reisen in die USA – und umgekehrt.
Nun knüpft die Regierung in Washington die weitere Teilnahme an dem Programm an den Abschluss der „Grenzpartnerschaft“: Die beteiligten Staaten sollen ihre Polizeidatenbanken für US-Behörden öffnen. Wer sich weigert, verliert den visafreien Status. Das Abkommen soll dem Entwurf zufolge auf dem Prinzip der Gegenseitigkeit beruhen. EU-Mitgliedstaaten sollen also ihrerseits Zugriff auf US-Datenbanken erhalten – sofern sich die US-Regierung nicht dagegen sperrt.
Mehr als Fingerabdrücke und Gesichtsbilder
Im Entwurf für das Rahmenabkommen ist nun auch die Rede davon, die Datenabfrage dazu zu nutzen dass „Personen, die ein echtes Risiko für die öffentliche Sicherheit oder öffentliche Ordnung darstellen“, daran gehindert werden, in den USA „zu verbleiben“. Es geht also auch um Abschiebungen, wie sie derzeit monatlich tausendfach von der brutalen US-Einwanderungsbehörde ICE durchgeführt werden. Ursprünglich hieß es, die „Grenzpartnerschaft“ solle nur bei Einreisen in die USA angewandt werden.
Außerdem galt bislang, dass US-Grenzbehörden nur Zugriff auf Fingerabdrücke und Lichtbilder in Polizeidatenbanken der VWP-Staaten verlangen. Im von der EU-Kommission ausgehandelten Entwurf steht darüber hinaus, dass auch „alphanumerische Daten zur Identifizierung einer Person, wie Vorname, Nachname und Geburtsdatum“ abgefragt werden können.
Alles netzpolitisch Relevante
Drei Mal pro Woche als Newsletter in deiner Inbox.
Kommt es bei einer Anfrage zu einem Treffer, darf die angefragte Behörde – in Deutschland etwa das Bundeskriminalamt – ihrerseits nachfragen, was das Interesse an der Person ausgelöst hat und alle „bei der anfragenden zuständigen Behörde verfügbaren alphanumerischen und kontextuellen Daten zu derselben Person anfordern“.
Weitergabe an Drittstaaten möglich
Unter bestimmten Bedingungen dürfen laut Entwurf auch besonders sensible Kategorien personenbezogener Daten übermittelt werden, darunter Informationen zu „rassischer oder ethnischer Herkunft, politischen Ansichten oder religiösen oder sonstigen Überzeugungen, Gewerkschaftszugehörigkeit“ sowie Angaben zu „Gesundheit oder Sexualleben“.
Der Entwurf erlaubt sogar die Weitergabe empfangener Daten an Behörden in Drittstaaten oder internationale Organisationen – allerdings nur mit vorheriger Zustimmung der übermittelnden Behörde. Welche Drittstaaten konkret gemeint sein könnten, lässt der Entwurf offen. In Betracht kämen neben Interpol auch enge Verbündete der USA, etwa Großbritannien oder andere Staaten des Commonwealth sowie Israel, das eigene Abkommen zum Datentausch mit den USA geschlossen hat.
In Deutschland wären Millionen Datensätze betroffen
Angaben zu den abfrageberechtigten Behörden – auf US-Seite kämen vor allem der Zoll- und Grenzschutz (Customs and Border Protection, CBP) sowie ICE in Frage – enthält der nun veröffentlichte Rahmenentwurf nicht. Das soll jeweils in bilateralen Umsetzungsabkommen geregelt werden, die jeder betroffene Staat separat mit Washington schließen muss.
In Deutschland beträfe dies wohl die INPOL-Datenbank aller Polizeien des Bundes und der Länder, die derzeit Fotos und Fingerabdrücke von 5,4 Millionen Personen enthält – darunter mehr als die Hälfte Asylsuchende. Selbst innerhalb der EU gibt es bislang keinen gegenseitigen Direktzugriff auf derartig umfangreiche Informationssysteme einzelner Mitgliedstaaten – das geplante Abkommen mit den USA ist deshalb besonders intrusiv.
Wir sind ein spendenfinanziertes Medium.
Unterstütze auch Du unsere Arbeit mit einer Spende.
Das Rahmenabkommen regelt auch den Einsatz von Software zur Erstellung von Prognosen aus den abgefragten Datensätzen. Zwar sollen Entscheidungen mit „erheblichen nachteiligen Auswirkungen“ nicht ausschließlich automatisiert erfolgen, sondern stets mit „menschlicher Beteiligung“. Vollautomatische Entscheidungen sind aber erlaubt, wenn dies „nach dem jeweiligen Rechtsrahmen der Vertragsparteien zulässig“ ist. In der EU wäre dies nach der KI-Verordnung ausgeschlossen, in den USA gibt es einen vergleichbaren Rechtsakt nicht.
Eingeschränkte Rechte für Betroffene
Der Entwurf enthält auch Vorgaben zur Protokollierung für „Prüftätigkeiten“ unter anderem von Datenschutzbehörden. Das Abkommen sieht außerdem vor, dass betroffene Personen Auskunft über ihre gespeicherten Daten sowie deren Berichtigung oder Löschung beantragen können.
Diese Rechte stehen jedoch unter Einschränkungsvorbehalt: Verwehrt werden darf der Zugang unter anderem aus Gründen der nationalen Sicherheit, zum Schutz laufender Ermittlungen oder zur Strafverfolgung.
Den Entwurf des Rahmenabkommens werden die EU-Innen- und Justizminister*innen auf einer ihrer kommenden Sitzungen beraten. Nach derzeitigem Stand wird das Parlament daran nicht beteiligt. Die endgültige Entscheidung über den Abschluss wird dann im Rat der Europäischen Union von den 27 Mitgliedstaaten getroffen. Ob dies noch vor der Sommerpause erfolgt, ist unklar. Auch die US-Regierung muss ihre Zustimmung zu dem Entwurf geben. Bis zur Deadline am 31. Dezember 2026 könnte es dann in Kraft treten.
Datenschutz & Sicherheit
Der digitale Euro steht unter Druck.
Lieber Leser:innen,
mit dem digitalen Euro will sich die Europäische Union unabhängig von US-Zahlungsdienstleistern machen. Doch das Vorhaben steht doppelt unter Druck: Zum einen inhaltlich, weil Bankenverbände und Teile der Konservativen lieber einen schwachen D€ wollen. Zum anderen aber auch zeitlich, weil die Europäische Zentralbank schon nächstes Jahr mit einem Pilotprojekt starten und den digitalen Euro bis Ende des Jahrzehnts ausrollen will. Das Europäische Parlament aber ringt nach drei jahren noch immer um seine Position, kritische Themen wie Datenschutz wurden noch nicht mal verhandelt. Meine Kolleg:innen Anna und Leonhard erklären, was auf dem Spiel steht.
Habt ein schönes Wochenende
Euer Ingo
Lesenswert, wichtig und spannend – hier fasst die Redaktion netzpolitische Meldungen von anderswo als Linktipps zusammen.
-
Künstliche Intelligenzvor 2 Monaten
Top 10: Die beste kabellose Überwachungskamera im Test – Akku, WLAN, LTE & Solar
-
Social Mediavor 2 MonatenCommunity Management und Zielgruppen-Analyse: Die besten Insights aus Blog und Podcast
-
Social Mediavor 3 MonatenCommunity Management zwischen Reichweite und Verantwortung
-
Künstliche Intelligenzvor 3 MonatenSmartphone‑Teleaufsätze im Praxistest: Was die Technik kann – und was nicht
-
Apps & Mobile Entwicklungvor 3 MonatenIntel Nova Lake aus N2P-Fertigung: 8P+16E-Kerne samt 144 MB L3-Cache werden ~150 mm² groß
-
Entwicklung & Codevor 2 MonatenCommunity-Protest erfolgreich: Galera bleibt Open Source in MariaDB
-
Künstliche Intelligenzvor 2 MonatenBlade‑Battery 2.0 und Flash-Charger: BYD beschleunigt Laden weiter
-
Social Mediavor 1 MonatVon Kennzeichnung bis Plattformpflichten: Was die EU-Regeln für Influencer Marketing bedeuten – Katy Link im AllSocial Interview
