Mit der Handreichung „KI in Behörden – Datenschutz von Anfang an mitdenken“ will die Bundesbeauftragte für den Datenschutz und die Informationsfreiheit (BfDI), Prof. Dr. Louisa Specht-Riemenschneider, öffentliche Stellen des Bundes beim datenschutzkonformen KI-Einsatz unterstützen. Zu Unsicherheiten führt insbesondere der Umgang mit personenbezogenen Daten beim Training und bei der Nutzung von Large Language Models (LLMs). Im Fokus der Handreichung stehen außerdem Herausforderungen mit in LLMs memorisierten Daten sowie die Anforderungen an Rechtmäßigkeit und Transparenz. Die Publikation soll dabei helfen, eine strukturierte, lösungsorientierte Herangehensweise an KI-Projekte zu entwickeln.

Große Sprachmodelle bilden die Grundlage für Chatbots und werden zur Bewältigung etlicher Aufgaben im Arbeitsalltag eingesetzt. Rechtlich relevant für den Umgang mit ihnen ist die KI-Verordnung, die das Inverkehrbringen, die Inbetriebnahme und die Verwendung von KI-Systemen regelt. Maßgeblich sind des Weiteren datenschutzrechtliche Bestimmungen. So regelt die DSGVO die Rechtmäßigkeit und Grenzen der Verarbeitung personenbezogener Daten. KI-Verordnung und DSGVO „ergänzen sich zu einem kohärenten unionsrechtlichen Regelungsrahmen für KI-Systeme“, erklärt die Handreichung.

Datenschutzrechtliche Herausforderungen gibt es beim LLM-Einsatz viele. Die Handreichung nennt unter anderem den Blackbox-Charakter, der das Nachvollziehen der Datenverarbeitung aufgrund der technischen Beschaffenheit der Systeme verhindert, das Halluzinieren, das eine Herausforderung für den Grundsatz der Datenrichtigkeit darstellt, die Memorisierung (Einprägen) personenbezogener Daten in der KI, die unabsichtlich oder durch gezielte Attacken zur Datenausgabe führen kann, und den Aspekt der (mangelnden) Fairness/Bias, der aufgrund einer Über- oder Unterrepräsentation in den Trainingsdaten entsteht.

Maßnahmen gegen zu starke Eingriffe

Die nachfolgenden Kapitel analysieren die rechtlichen Grundlagen im Detail und nennen konkrete Maßnahmen, mit denen sich die Auswirkungen der beschriebenen Herausforderungen abschwächen lassen – sie reichen von organisatorischen Maßnahmen wie Zugriffs- und Rechtekonzepten bis zu technischen Maßnahmen. Um die Eingriffstiefe beim Verarbeiten personenbezogener Daten zu reduzieren, nennt die Handreichung beispielsweise die Pseudonymisierung der Trainingsdaten, bestmögliches Entfernen personenbezogener Daten wie Namen, Telefon- und Steuernummern, Differential Privacy, anhand derer der Datensatz möglichst anonymisiert wird oder das Nutzen von Filtern im KI-System, die eine Extraktion personenbezogener Daten aus dem KI-Modell möglichst mindern – jeweils vor dem Training.

„Gerade beim Einsatz von Large Language Models bestehen für öffentliche Stellen erhebliche Unsicherheiten“, resümiert die Bundesdatenschutzbeauftragte. „Mit dieser Handreichung will ich zur Rechtssicherheit beitragen und aufzeigen, an welche datenschutzrechtlichen Aspekte man beim Einsatz von Künstlicher Intelligenz in den meiner Aufsicht unterliegenden Behörden denken sollte.“ Auch stünde ihre Behörde für die weitere Prüfung konkreter Vorhaben beratend zur Seite. Die vollständige Veröffentlichung steht auf der Website der BfDI zur Verfügung (PDF, 46 Seiten).

(ur)

Seit dem 6. Dezember 2025 ist die NIS-2-Richtlinie in Deutschland in Kraft getreten. Sind Sie unsicher, ob Ihr Unternehmen betroffen ist und was Sie nun tun müssen, finden Sie hier eine kurze Übersicht über Hilfsangebote, die Sie bei Ihrer Suche nach Antworten unterstützen.

Worum geht es?

Die NIS-2-Richtlinie soll nun pünktlich zu Nikolaus für eine höhere Cybersicherheit in der Europäischen Union sorgen. Im Vergleich zur bisherigen NIS-Richtlinie sind mehr Unternehmen betroffen, da nicht nur die kritische Infrastruktur einbezogen wird. Viele kleine und mittlere Unternehmen müssen prüfen, ob sie in den Anwendungsbereich der Richtlinie fallen und wie sie die neuen Vorgaben umsetzen müssen. Doch dazu fehlt es oft an Fachpersonal.

Die Richtlinie fokussiert sich auf Risikomanagement, die verpflichtende Meldung von Sicherheitsvorfällen sowie die Gewährleistung der Dienstleistungskontinuität. NIS-2 verpflichtet Unternehmen dazu, belastbare Sicherheitsvorkehrungen einzuführen und kontinuierlich Risikobewertungen durchzuführen. Eine fehlende oder mangelhafte Umsetzung kann deutliche Konsequenzen nach sich ziehen. So können Geschäftsführer beispielsweise persönlich haftbar gemacht werden.

Was tun?

Einen kurzen Überblick über die Problematik erhalten Sie in diesem Beitrag zu der verpflichtenden Cyberrüstung und in dieser Ausgabe des Podcasts Café Datenschutz auf Youtube durch Dr. Sebastian Kraska von der IITR Datenschutz GmbH.

Die offizielle Betroffenheitsprüfung und ein passendes Informationsvideo finden Sie direkt beim Bundesamt für Sicherheit in der Informationstechnik.

Wie Sie NIS-2- in der Praxis umsetzen und die IT-Sicherheit Ihres Unternehmens ganz praktisch stärken, können Sie unter anderem in der Schulung NIS-2 in der Praxis – EU-Richtlinie umsetzen und Sicherheit steigern an der heise academy ab dem 22. Januar 2026 lernen.

(cbr)

Nils Rollshausen von der TU Darmstadt hat auf dem 39. Chaos Communication Congress (39C3) in Hamburg gravierende Schwachstellen in Kinder-Smartwatches des norwegischen Herstellers Xplora präsentiert. Der Vortrag „Watch Your Kids: Inside a Children’s Smartwatch“ basierte weitgehend auf den Arbeiten eines Masterstudenten, der die Sicherheitsarchitektur systematisch analysierte. Die Uhren werden nicht nur in Norwegen, sondern weltweit verkauft – nach eigenen Angaben über 1,5 Millionen Stück. In Deutschland werden sie unter anderem von der Telekom in Bundle-Deals angeboten.

„Wir sind eine kinderfressende Hexe“

Rollshausen wählte einen ungewöhnlichen narrativen Rahmen: „Für die Zwecke dieses Talks sind wir eine kinderfressende Hexe, die im Wald lebt.“ Das Problem der Hexe: Früher wanderten Kinder einfach zur Hütte, doch heute tragen alle GPS-Tracker und die Eltern können sie finden. „Wenn wir nicht verhungern wollen, müssen wir wohl etwas Recherche betreiben.“

Der Einstieg gelang über FCC-Zulassungsdokumente, in denen Fotos eines Entwickler-Ladegeräts mit vier statt zwei Pins auftauchten. Die Forscher bastelten einen Adapter – und tatsächlich meldete sich die Uhr als USB-Gerät.

Für den Debug-Modus fragten sie sich: „Was ist die dümmste mögliche Lösung?“ Mehrfaches Tippen auf die Versionsnummer, wie sonst auch bei Android. Es funktionierte. Dann erschien ein PIN-Feld. Während Rollshausen über automatisierte Angriffe nachdachte, ging der Masterstudent nach Hause und tippte zwei Stunden lang jede vierstellige Kombination manuell ein und fand die richtige Kombination.

Statische Schlüssel ermöglichen Vollzugriff

Da sich die Uhr mit aktiviertem Debug-Zugang wie ein normales Android-Gerät verhielt, konnten die Forschenden mit Standardtools als Hersteller-Apps extrahieren. Dabei fanden sie das Kernproblem: Die Authentifizierung basierte auf statischen Geheimnissen in der Firmware.

In Kombination mit öffentlich zugänglichen Daten wie Zeitstempeln und Seriennummern konnten Angreifer gültige API-Schlüssel für beliebige Uhren generieren – und damit alles tun, was die echte Uhr auch kann.

Kinder virtuell nach Pjöngjang teleportieren

Live demonstrierte Rollshausen die möglichen Folgen – weiterhin aus Hexenperspektive:

• Nachrichten mitlesen: „Sehr nützlich für die Kommunikation“
• Gefälschte Nachrichten senden: „Damit die Kinder wissen, wo sie uns finden, denn sie sind so beschäftigt mit ihren Handys, dass sie den Wald nicht mehr finden“
• Standort manipulieren: Für dies Manipulation braucht es laut Rollshausen immer zwei Versuche. Doch dann klappt die „Teleportation“ – dann stand das Kind plötzlich in Pjöngjang, Nordkorea, oder einem anderen frei wählbaren Ort.
• Uhren aus der Ferne zurücksetzen: „Das sieht auf dem Bildschirm nicht sehr interessant aus“, räumte er ein, bevor die Uhr auf der Bühne herunterfuhr

„Das ist eine For-Schleife davon entfernt, alle Uhren mit diesem Modell zu kompromittieren. Und das sind viele Uhren“, so Rollshausen.

Zähe Kommunikation mit dem Hersteller

Die Offenlegung der Schwachstellen verlief zunächst holprig. Das Vulnerability-Disclosure-Programm auf der Website war falsch verlinkt, E-Mails blieben unbeantwortet – bis etwa eine Woche vor dem 39C3-Talk.

Ein Firmware-Update im August sorgte bei Rollshausen für Nervosität: Würde der Debug-Zugang weiterhin funktionieren? Vorsorglich installierte Rollshausen eine eigene App, die das Debug-Menü direkt aufruft. Diese Maßnahme erwies sich als sinnvoll, denn die bisherige PIN war anschließend ungültig. Die Analyse zeigte, dass die PIN nun sechs statt vier Stellen umfasste und das System nach drei Fehlversuchen gesperrt wurde. An den eigentlichen Schwachstellen hatte sich jedoch nichts geändert. „Sie haben nicht einmal die Zugangsdaten rotiert“, so Rollshausen.

Auch das Firmware-Update im Oktober erforderte lediglich minimale Anpassungen der bestehenden Exploits. Erst kurz vor dem Congress nahm Xplora direkt Kontakt auf. In einem Gespräch am 22. Dezember versicherte das Unternehmen, die Ursachen mit einem Update im Januar 2026 beheben zu wollen. Zudem wurde das Disclosure-Programm überarbeitet, und der beteiligte Masterstudent erhielt eine „ansehnliche“ Bug-Bounty-Vergütung.

Signal auf der Kinderuhr

Als ironische Zwischenlösung zeigte Rollshausen den Signal-Messenger auf einer Xplora-Uhr: „Ich musste alle Größenwerte durch zehn teilen, damit das auf den Bildschirm passt – aber technisch können Sie Signal auf der Smartwatch Ihres Kindes laufen lassen.“

Die Botschaft: „Wir können mit Herstellern zusammenarbeiten, um Dinge sicherer zu machen – aber wir müssen nicht. Wir können auch einfach unser eigenes Ding machen.“

(vza)