Connect with us

Datenschutz & Sicherheit

Maschinen sollen Papierkram erledigen: „Kollege KI“ steht auf wackeligen Beinen


Sogenannte KI-Agenten sollen die Arbeit von Behörden einfacher machen und Personal entlasten. Digitalminister Karsten Wildberger verspricht sich viel davon. Für KI-Experimente gibt die Verfassung der öffentlichen Verwaltung aber wenig Spielraum.

Schattenrisse von zwei Figuren, die Herren mit Jacket darstellen; der eine von beiden trägt statt eines Kopfes einen Computerbildschirm mit der Aufschrift "KI"
Der „Kollege KI“ soll Verwaltungsmitarbeiter:innen entlasten. (Symbolbild) – Alle Rechte vorbehalten Figuren: IMAGO / Zoonar; Macintosh: Wikimedia/Tmarki; Montage: netzpolitik.org

Digitalminister Karsten Wildberger (CDU) lässt wenig Gelegenheiten aus, um über sogenannte Künstliche Intelligenz zu sprechen. Sein Plan: KI in die Workflows der öffentlichen Verwaltung bringen und die KI-Branche in Deutschland ankurbeln. Im Blick hat er dabei nicht mehr nur Chatbots wie BärGPT vom CityLab Berlin oder LLMoin des öffentlichen IT-Dienstleisters Dataport aus Hamburg. Der neue Hype ist sogenannte agentische KI.

Um diese flächendeckend in der öffentlichen Verwaltung einzuführen, hat das Bundesministerium für Digitales und Staatsmodernisierung (BMDS) im Februar den Agentic AI Hub gestartet. Die Idee des Hubs: KI-Start-ups entwickeln KI-Tools, zugeschnitten auf die Bedürfnisse von Behörden und Ämtern. Staatssekretär Thomas Jarzombek (CDU) sagt dazu: „Wir wollen Start-ups eine Rampe in die Verwaltung bauen.“

Mit KI-Agenten soll die öffentliche Verwaltung effizienter arbeiten und Verwaltungsverfahren sollen insgesamt schneller werden, teilt das BMDS auf Anfrage mit. Das könne man dadurch erreichen, dass agentische KI die Entscheidungsfindung von Sachbearbeiter:innen unterstützt.

„Kollege KI“

Personal in Behörden ist vielerorts überlastet. Unter anderem liegt das an Personalknappheit. Schon jetzt zeichnet sich ab, dass sich das Problem weiter verschärfen wird, wenn Mitarbeiter:innen aus der Boomer-Generation in den Ruhestand gehen.

Mit KI will das BMDS gegen diese Entwicklung ankommen. Die Idee dahinter ist ein „Kollege KI“. Den solle man in die Verwaltung bringen, sagte Heiko Geue im Kontext des KI-Marktplatzes beim Pressegespräch im November. Er ist Vorsitzender des IT-Planungsrats und Finanz- und Digitalminister des Landes Mecklenburg-Vorpommern. Agentische KI könne ähnlich wie ein:e Mitarbeiter:in damit beauftragt werden, bestimmte Aufgaben selbstständig zu erledigen, so das BMDS gegenüber netzpolitik.org. Generative KI könne eine Aufforderung wie „Schreibe einen Bescheid“ in Text umsetzen.

Agentische KI hingegen generiere keine Inhalte wie Texte, Code oder Bilder, sondern könne Aufgaben übernehmen, etwa Antragsunterlagen auf Vollständigkeit prüfen oder personenbezogene Daten in Dokumenten schwärzen. Die Entscheidung solle am Ende aber immer der Mensch treffen, so das Ministerium.

Kommunale KI-Piloten

Ob KI-Programme Mitarbeiter:innen wirklich entlasten und die Arbeit beschleunigen, hierfür legt das BMDS gegenüber netzpolitik.org keine Belege vor. Auf die Frage, welche KI-Projekte Verwaltungsarbeit übernehmen können sollen, verweist die Pressestelle auf den KI-Marktplatz und die H2KI-Plattform. Diese Plattform nutzt KI um Genehmigungsverfahren abzuwickeln. Laut BMDS sei sie „eine Blaupause für den KI-Einsatz bei der Genehmigung von Infrastrukturprojekten“.

Ähnliche Projekte aus Kommunen wählte das BMDS Anfang März aus. Davon gehen zunächst 18 in die Pilotphase und sollen langfristig Verwaltungen bundesweit zur Verfügung stehen. Das Programm Forml der Städte Frankfurt am Main und Düsseldorf richtet sich etwa an Sachbearbeiter:innen von Anträgen auf einen Wohnberechtigungsschein. Laut Produktbeschreibung ist Forml eine Cloud-Software, die „unstrukturierte Daten aus Dokumenten, Scans oder Bildern“ verarbeitet. Es soll eingehende Anträge „auf Vollständigkeit und Einkommen“ prüfen.

Formfix, entwickelt in Köln, Heinsberg und zwei Berliner Bezirken, soll Antragsprozesse auf Hilfe zur Pflege vereinfachen; sowohl für die Antragstellenden als auch für das Amt, das die eingereichten Unterlagen schneller bearbeiten können soll.

Aus dem Neckar-Odenwald-Kreis stammt Lector.ai. „Mittels Vision-LLMs“ verarbeitet die Software Behördenpost und soll „den hohen manuellen Sortieraufwand großer Dokumentenmengen“ reduzieren.

Mehr als Marketing?

Wie viel Zeit können die Werkzeuge in der Praxis einsparen; wie viel Arbeit machen sie langfristig durch Pflege und Fehler? Während solche Fragen noch unbeantwortet sind, rührt der Digitalminister die Werbetrommel. Im Januar warb er damit, dass die KI-Agenten Genehmigungsverfahren zu über 80 Prozent beschleunigen könnten.

Die Bundestagsabgeordnete Rebecca Lenhard von den Grünen fragte nach, wie er zu dieser Einschätzung komme. Weder Methodik noch Vergleichsmaßstäbe hat der Minister offengelegt. „Für eine so weitreichende Behauptung ist das zu wenig“, kommentiert Lenhard in einem Pressestatement.

Effekte der KI-Nutzung müssten „transparent, nachvollziehbar und belastbar evaluiert werden“. Da KI bereits in Genehmigungsverfahren eingesetzt werde, brauche es umso dringlicher „klare Standards für Qualitätssicherung, Nachvollziehbarkeit und Verantwortlichkeit“, fordert die Abgeordnete.

KI ist nicht neutral

Technisch beruhen agentische und generative KI auf denselben großen Sprachmodellen und teilen deren strukturelle Schwächen: KI ist eine Black Box und liefert Output, der nicht neutral ist, sondern „biased“, verzerrt. Black Box meint, es lässt sich nicht genau nachvollziehen, warum KI-Programme zu einem bestimmten Ergebnis kommen.

Das Bias-Problem besteht darin, dass KI-Systeme auf Trainingsdaten basieren, die ihrerseits von Vorurteilen und Ressentiments geprägt sein können. KI-Output kann daher je nach Kontext diskriminierend sein, rassistisch, ableistisch, sexistisch oder ageistisch.

Dieser Effekt kann sich durch kognitive Verzerrungen bei Menschen verstärken, die mit KI-Erzeugnissen arbeiten. Vorurteile und Ressentiments verbergen sich nicht nur in Trainingsdaten, sondern auch in der Interaktion zwischen Mensch und KI. Welche Fragen Menschen KI stellen, wie sie den Output interpretieren und wie sie darauf reagieren, kann beeinflussen, was diese Systeme tun. Zudem kann der sogenannte Automation Bias dazu führen, dass Menschen die Ergebnisse einer Maschine weniger kritisch hinterfragen als Ergebnisse von Kolleg:innen.

Weiter sind Ergebnisse von KI-Systemen sind nicht verlässlich reproduzierbar. Das macht das Arbeiten nach Grundsätzen wie Nachvollziehbarkeit und Verantwortlichkeit schwer.

Verwaltung muss neutral arbeiten

Wenn Unternehmen mit KI experimentieren, haben sie größere rechtliche Spielräume. Die Verwaltung wiederum muss laut Verfassung neutral, objektiv und gesetzestreu handeln. KI-Systeme sind durch ihre Funktionsweise allerdings nicht in der Lage, Normen anzuwenden oder ethische Verantwortung zu übernehmen – ihre Outputs basieren auf berechneten Wahrscheinlichkeiten. Wie lässt sich das mit der Arbeit der Verwaltung vereinbaren?

David Wagner von der Kanzlei Spirit Legal untersucht, wie die öffentliche Verwaltung KI dennoch in verfassungskonformer Weise nutzen kann. Der Rechtsanwalt beschäftigt sich mit Legal Requirement Engineering, er übersetzt also rechtliche Vorgaben methodisch in technische Anforderungen. Unternehmen regulatorische Anforderungen effizient und rechtskonform in technische Lösungen überführen  Zwar schließe das Grundgesetz den KI-Einsatz nicht aus. Doch bedürfe es technischer und rechtlicher Leitplanken. Ein Baustein könne eine Protokollpflicht sein, die Sachbearbeiter:innen verpflichtet, Eingaben, Ausgaben und eigene Änderungen am Ergebnis zu dokumentieren. Das allein genüge aber nicht.

Das BMDS betont, am Ende treffe immer ein Mensch die Entscheidung. Wagner hält dagegen: Wenn KI-Systeme Anträge vorprüfen oder Bescheide vorbereiten, präge ihr Output die Entscheidung der Sachbearbeiter:innen. Das europäische Datenschutzrecht schränke solche Konstellationen ein. Demnach dürften Entscheidungen gegenüber Betroffenen nicht allein auf automatisierter Verarbeitung beruhen.

Der EuGH habe klargestellt, dass das Verbot auch greife, wenn die Verarbeitung eine menschliche Entscheidung maßgeblich beeinflusse, so Wagner. Menschliche Kontrolle sei ohnehin gefordert. Im Kontext der Verwaltung entbinde sie den Gesetzgeber aber nicht, den Einsatz von KI durch spezielle Rechtsgrundlagen einzuhegen.


Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.



Source link

Datenschutz & Sicherheit

Webmailer Roundcube: Kritische Lücken erlauben Dateimanipulation und mehr


Im Webmail-System Roundcube klafften mehrere, teils kritische Sicherheitslücken. Das Entwicklerteam hat sie behoben und nun den fünften und „hoffentlich letzten“ Kandidaten für die Version 1.7 veröffentlicht. Auch ältere Versionen erhalten Flicken für die Lücken.

Weiterlesen nach der Anzeige

Die vermutlich gefährlichste Sicherheitslücke klafft in der Sessionverwaltung mittels Redis/memcache – sie erlaubt Angreifern ohne vorherige Anmeldung, beliebige Dateien auf den Webserver zu schreiben. Ebenfalls unangenehm: Eine weitere Sicherheitslücke erlaubte in manchen Fällen, das Passwort eines Roundcube-Nutzers zu ändern, ohne dessen altes Passwort zu kennen. CVE-Kennungen gibt es bis jetzt für keine der Sicherheitslücken.

Des Weiteren behoben die Roundcube-Entwickler verschiedene Wege, die Inhaltsfilter, speziell die Blockierung von Bildern in der E-Mail-Anzeige, zu umgehen. Auch eine IMAP-Injection, Cross-Site Scripting und SSRF fanden und meldeten unabhängige Sicherheitsforscher.

Fehlerbereinigte Ausgaben für die drei aktuell gepflegten Roundcube-Versionen sind erschienen:

  • Roundcube 1.7rc5,
  • Roundcube 1.6.14 und
  • Roundcube 1.5.14

Downloadlinks und einige knappe Informationen zu den einzelnen Sicherheitslücken finden sich auf der Versionsankündigung bei Github. Die Entwickler des Webmailers empfehlen dringend allen Admins, ihre Webmailer auf den neuesten Stand zu bringen. Exploits für Roundcube-Sicherheitslücken hatten erst Ende Februar für eine Warnung der US-Cybersicherheitsbehörde CISA gesorgt.

Weiterlesen nach der Anzeige


(cku)



Source link

Weiterlesen

Datenschutz & Sicherheit

Ministerien und Behörden auf X: Wenig Reichweite, viel Hass


Viele deutsche Bundesministerien und Behörden sind weiterhin auf dem umstrittenen Kurznachrichtendienst X aktiv. Meist begründen sie dies mit dem verfassungsrechtlichen Informationsauftrag, der sie angeblich dazu zwinge, auf der auf rechts gepolten Propagandaplattform des US-Unternehmers Elon Musk zu bleiben.

Sonderlich erfolgreich sind die Behörden damit jedoch nicht, wie nun eine Reichweitenanalyse des Zentrums für Digitalrechte und Demokratie zeigt. Ihre Beiträge werden in Summe kaum angesehen, kommentiert oder weiterverbreitet. Wenn es Interaktionen gibt, dann fallen diese selten konstruktiv aus. Stattdessen hetzen etwa unter Posts des Innenministeriums mal mutmaßliche, mal offen rechtsradikale Accounts gegen Geflüchtete oder verbreiten rassistische Kriminalitätserzählungen.

Es handle sich um eine kleine Stichprobe, die keine repräsentativen Aussagen erlaube, betont das Zentrum. Aber dabei enthüllte „deutliche Muster“, Tendenzen und beispielhafte Kommunikationsdynamiken deckten sich mit Forschungsergebnissen über Polarisierung, Plattformlogik und Benachteiligung sachlicher Kommunikation.

Zu einem ähnlichen Ergebnis ist im Februar netzpolitik.org gelangt, das die X-Accounts ausgewählter großer deutscher Medienhäuser analysiert hatte. Obwohl auch sie nur verhältnismäßig wenige Nutzer:innen erreichen, berufen sie sich unter anderem auf die Reichweite, die das vormals als Twitter bekannte soziale Netzwerk biete. Zudem sei der Online-Dienst genau der richtige Ort, um der auf X grassierenden Desinformation mit Fakten und Qualitätsjournalismus zu begegnen, so die befragten Medien.

Interaktionen im einstelligen Prozentbereich

Wie die Untersuchung des Zentrums nun offenlegt, ergeht es Behörden auf X kaum anders als journalistischen Inhalten. Die meisten untersuchten Accounts der Bundesministerien haben unter 200.000 Follower:innen und erzeugen kaum Resonanz. Selbst das Gesundheitsministerium (BMG), das immerhin knapp 330.000 folgende Accounts aufweist, geht auf der Spielwiese für Reaktionäre unter: Im Schnitt erreichte das BMG im Untersuchungszeitraum nicht einmal 1,3 Prozent seiner Follower:innen, wie das Zentrum vorrechnet. Gelingt es Behörden zuweilen, reichweitenstarke Posts abzusetzen, dann besetzen oft rechtsradikale Nutzer:innen den Debattenraum darunter.

Wir sind communityfinanziert

Unterstütze auch Du unsere Arbeit mit einer Spende.

Diesen Schnappschuss untermauern zahlreiche wissenschaftliche Studien, die das Zentrum heranzieht. So ist etwa belegbar, dass der Empfehlungsalgorithmus von X dafür anfällige Menschen nach rechts zieht. Faktenbasierte Kommunikation reicht in stark polarisierten Umfeldern nicht aus, um Desinformation wirksam zurückzudrängen, zeigt eine andere Studie – erst recht nicht in stark ideologisch aufgeladenen Kontexten. Und konstruktiver Dialog ist nur dann möglich, wenn Menschen wirklich miteinander reden und auf Argumente eingehen, was sich auf X nur selten beobachten lässt.

Damit verschiebe sich auch die Bedeutung des Informationsauftrags, schreibt das Zentrum: „Behörden sind auf X nicht einfach nur präsent. Sie kommunizieren in einer Umgebung, die aktiv gegen sie arbeitet – und der Algorithmus auf X ist ein mächtiger Gegner.“ Das zeige sich etwa daran, dass algorithmisch sortierte Kommentare immer wieder rechtsextremistische Accounts nach oben spülen, unter anderem die Identitäre Bewegung. Dass sich staatliche Behörden in einem derartigen Umfeld, selbst losgelöst von etwaigen Reichweitenargumenten, nicht mehr auf ihren verfassungsrechtlichen Informationsauftrag berufen können, hatte bereits im Vorjahr der Verfassungsblog ausgeführt.

Ein Abschied von X ist möglich

Indes sprechen deutsche Behörden nicht mit einer Stimme. Einige haben X dauerhaft verlassen, etwa die Berliner Staatsanwaltschaft oder die Antidiskriminierungsstelle des Bundes. X sei „für eine öffentliche Stelle kein tragbares Umfeld mehr“, erklärte Behörden-Chefin Ferda Ataman damals. Andere lassen ihren X-Account ruhen oder bespielen ihn nur mehr unregelmäßig, darunter das Verteidigungsministerium oder das Landwirtschaftsministerium. Ein sachlicher Austausch werde auf X „zunehmend erschwert“, begründete das Verteidigungsministerium den Schritt.

Auf die Kommunikation mit der Außenwelt verzichten sie deshalb jedoch nicht, schließlich existieren neben X zahlreiche weitere Online-Dienste mit grob vergleichbaren Funktionen. Dabei sei die „Förderung einer respektvollen und sachorientierten Diskussion“ maßgeblich, teilte ein Sprecher des Landwirtschaftsministeriums dem Zentrum mit. „Vor diesem Hintergrund setzen wir in unserer digitalen Kommunikation den Fokus auf Plattformen wie LinkedIn oder Instagram, auf denen erfahrungsgemäß häufiger ein fachlicher und konstruktiver Austausch stattfindet.“



Source link

Weiterlesen

Datenschutz & Sicherheit

DSGVO: EuGH schiebt systematischen Auskunftsmissbräuchen Riegel vor


Das Recht auf Auskunft über die eigenen personenbezogenen Daten gehört zu den schärfsten Schwertern der Datenschutz-Grundverordnung (DSGVO). Doch wer dieses Instrument zweckentfremdet, um daraus ein Geschäftsmodell zu machen, stößt nun an juristische Grenzen. Der Europäische Gerichtshof (EuGH) hat am Donnerstag in einem wegweisenden Urteil klargestellt, dass Auskunftsanträge eindeutig als rechtsmissbräuchlich eingestuft werden können. Voraussetzung ist, dass sie allein mit der Absicht gestellt werden, später Schadenersatzansprüche zu provozieren.

Weiterlesen nach der Anzeige

Mit der Entscheidung in der Rechtssache C-526/24 stärkt das höchste europäische Gericht die Verteidigungsmöglichkeiten von Unternehmen gegen sogenannte Datenschutz-Trolle. Der Fall nahm seinen Ausgang vor dem Amtsgericht Arnsberg. Dort entwickelte sich eine Art Lehrstück über eine moderne juristische Grauzone.

Eine in Österreich wohnhafte Person hatte sich für den Newsletter des Optikerunternehmens Brillen Rottler angemeldet und dabei freiwillig ihre Daten in die Maske eingegeben. Nur 13 Tage später forderte sie das Unternehmen nach Artikel 15 DSGVO auf, umfassend Auskunft über die verarbeiteten Daten zu erteilen. Als das Unternehmen den Antrag mit Verweis auf einen mutmaßlichen Missbrauch ablehnte, klagte die Person auf eine Entschädigung von mindestens 1000 Euro für den angeblich entstandenen immateriellen Schaden.

Das Optikerunternehmen konnte vor Gericht darauf verweisen, dass der Antragsteller kein Unbekannter war. Medienberichte und Informationen von Rechtsanwälten legten nahe, dass die Person systematisch Newsletter abonniert, unmittelbar danach Auskunft verlangt und bei der kleinsten Verzögerung oder Ablehnung Klagewellen wegen Datenschutzverstößen initiiert. Das Amtsgericht Arnsberg rief daraufhin den EuGH an. Es wollte klären lassen, ob bereits ein erster Auskunftsantrag als „exzessiv“ im Sinne der DSGVO gelten kann und unter welchen Bedingungen ein Schadenersatzanspruch in solchen Konstellationen besteht.

Lesen Sie auch

Die Luxemburger Richter stellten nun fest, dass der einschlägige Schutz der DSGVO nicht schrankenlos gilt. Zwar dient das Auskunftsrecht dazu, dass sich Bürger der Datenverarbeitung bewusst werden und deren Rechtmäßigkeit überprüfen können. Ziel ist es, gegebenenfalls Rechte auf Berichtigung oder Löschung wahrzunehmen. Wenn aber nachgewiesen werden kann, dass ein Antrag trotz formaler Korrektheit nur gestellt wurde, um künstlich die Voraussetzungen für eine Schadenersatzklage zu schaffen, liegt ein Rechtsmissbrauch vor.

Weiterlesen nach der Anzeige

Ein solcher Nachweis kann laut EuGH etwa durch das bisherige Verhalten der Person und öffentlich zugängliche Informationen über ähnliche Forderungen gegenüber anderen Unternehmen geführt werden.

Relevant für die Praxis ist die Klarstellung des EuGH zu den Voraussetzungen für Schadenersatz. Ein bloßer Verstoß gegen die DSGVO reicht demnach nicht automatisch für eine Geldentschädigung aus. Der Kläger muss vielmehr nachweisen, dass ihm tatsächlich ein konkreter materieller oder immaterieller Schaden entstanden ist.

Zwar umfasst ein immaterieller Schaden grundsätzlich auch den Kontrollverlust über die eigenen Daten. Doch setzt der EuGH hier jetzt eine entscheidende Hürde: Wer durch sein eigenes Verhalten die entscheidende Ursache für den Schaden gesetzt hat – etwa indem er die Datenverarbeitung nur provoziert, um sie später zu „verklagen“ – kann keinen Ersatz verlangen.

Firmen verspricht dieses Urteil eine Erleichterung. Sie können bei exzessiven Anträgen unter Berufung auf Artikel 12 Absatz 5 DSGVO entweder die Auskunft verweigern oder ein angemessenes Entgelt für den Verwaltungsaufwand verlangen. Trotzdem bleibt die Beweislast beim Verantwortlichen.

Das Amtsgericht Arnsberg muss nun im konkreten Einzelfall prüfen, ob das Verhalten des Klägers die Schwelle zum Missbrauch überschritten hat, wobei Faktoren wie die kurze Zeitspanne zwischen Anmeldung und Antrag sowie die Freiwilligkeit der Datenpreisgabe eine zentrale Rolle spielen.


()



Source link

Weiterlesen

Beliebt