Kritiker bezeichnen es als Strategie zur Datenbeschaffung und Überwachung. Europol nennt es in seinem Arbeitsprogramm „Strategisches Ziel Nr. 1“: durch eine Strategie der massenhaften Datenbeschaffung zum „Kriminalinformationszentrum“ der EU zu werden.
Die Beamt*innen von Europol haben keinen Hehl daraus gemacht, dass sie Zugang zu so vielen Daten wie möglich bekommen wollen. Im Zentrum von Europols Hunger nach personenbezogenen Daten stehen wachsende KI-Ambitionen.
Diese Ambitionen werden in einem Strategiepapier der Behörde aus dem Jahr 2023 offen beschrieben. Unendlich viele Daten aus EU-Datenbanken, die fast alle Daten über EU-Bürger*innen und Migrant*innen enthalten, gehen Hand in Hand mit der Möglichkeit, KI-Tools zu nutzen.
Seit 2021 hat sich die in Den Haag ansässige EU-Polizeibehörde einer immer ehrgeizigeren, aber weitgehend geheimen Mission verschrieben, automatisierte Modelle zu entwickeln. Sie sollen die Polizeiarbeit in allen EU-Mitgliedstaaten verändern.
Diese Recherche basiert auf internen Dokumenten der Behörde, die Datenschutz- und KI-Experten analysiert haben, und wirft ernsthafte Fragen auf – nicht nur zu den Auswirkungen von Europols KI-Programms auf die Privatsphäre der Bürger*innen. Sondern auch dazu, wie sich automatisierte Prozesse ohne eine angemessene Aufsicht auf den europäischen Polizeialltag auswirken werden.
Europol teilte dem Recherche-Team auf Anfrage mit, dass es „gegenüber allen Beteiligten eine unvoreingenommene Haltung einnimmt, um sein Mandat zu erfüllen – nämlich die nationalen Behörden bei der Bekämpfung von schwerer und organisierter Kriminalität sowie Terrorismus zu unterstützen“ – und dass die Behörde „an der Spitze der Innovation und Forschung im Bereich der Strafverfolgung stehen wird“.
Europol hat bei drei Hacking-Operationen der letzten Jahre eine entscheidende Rolle gespielt. 2020 und 2021 zerschlug die Behörde gemeinsam mit anderen internationalen Partnern die vermeintlich sicheren, verschlüsselten Kommunikationssysteme EncroChat, SkyECC und ANOM. Das bescherte Europol eine riesige Menge an Daten. In verschiedenen Ländern führte der Hack der Anbieter zu unzähligen Ermittlungsverfahren und Verurteilungen, viele davon wegen Drogenhandels.
Bei den Operationen agierte Europol hauptsächlich als Übergabestelle und Vermittler für Daten: von den Behörden, die diese erhielten, zu den Behörden der betroffenen Länder. Es kopierte ohne großes Aufsehen die Datensätze aus den drei Operationen in seine Datenbestände und beauftragte seine Analysten, das Material zu untersuchen. Bei EncroChat ging es dabei um mehr als 60 Millionen, bei ANOM um mehr als 27 Millionen ausgetauschte Nachrichten – eine schier unmöglich auszuwertende Menge an Material.
Diese Datendimensionen verstärkten das Interesse der Behörde, KI-Tools zu trainieren, um die Arbeit der Analysten zu beschleunigen. Die Motivation war klar: Es ging um flüchtige Kriminelle und um Menschenleben.
Im September 2021 kamen zehn Mitarbeitende der Europäischen Datenschutzbehörde nach Den Haag zum Hauptsitz von Europol. Sie sollten Europols erste Schritte beim Algorithmen-Training untersuchen. Wie sie im Oktober 2020 herausfanden, hatte Europol bereits Pläne, die EncroChat-Daten für maschinelles Lernen zu nutzen. „Das Ziel von Europol war es, sieben Machine-Learning-Modelle zu entwickeln, die einmal über den gesamten EncroChat-Datensatz laufen sollten“. Das sollte Analysten helfen, die Menge der händisch zu prüfenden Nachrichten zu reduzieren.
Bereits im Februar 2021 hatte Europol das ambitionierte Programm wieder eingestellt, als es die EU-Datenschutzbehörde nicht davon überzeugen konnte, dass es nicht notwendig sei, seine Versuche im Bereich des maschinellen Lernens zu überwachen.
Dennoch brachte die Untersuchung ans Licht, dass Europol Datenschutzvorkehrungen missachtet hatte. Die Behörde versuchte, die Entwicklung eigener KI-Modelle abzukürzen. Fast keine Unterlagen zur Überwachung des Trainings „wurden während der Zeit, in der die Modelle entwickelt wurden, erstellt“. Weiter heißt es, die Dokumente „spiegeln nur teilweise die Entwicklungspraktiken der Abteilung für Daten und KI wider”, stellten die EDSB-Mitarbeitenden fest. Der EDSB erwähnt auch, dass „Risiken im Zusammenhang von Verzerrungen beim Training und der Verwendung von ML-Modellen oder statistischer Genauigkeit nicht berücksichtigt wurden”.
Für die Analysten von Europol schien es jedoch keinen Grund zur Beunruhigung zu geben. Das geht aus Abschnitten des EDBS-Untersuchungsberichtes zu Europols frühen Machine-Learning-Tests aus dem Dezember 2022 hervor. Sie schätzten das Risiko als minimal ein, dass durch die automatisierten Verfahren eine Person fälschlicherweise in den Fokus von strafrechtlichen Ermittlungen gelangen könnte. Die in dieser Zeit entwickelten Modelle wurden aus operativen Gründen nie eingesetzt. Der Rechtsrahmen der Behörde sah kein ausdrückliches Mandat für die Entwicklung und den Einsatz von KI für Ermittlungen vor.
Das änderte sich bald, im Juni 2022 erhielt Europol neue Befugnisse. Bis dahin hatten sich die Vorhaben zur KI und die Bedeutung des Datenzugangs hin zu sexualisierten Missbrauchsdarstellungen von Minderjährigen (CSAM) verlagert. Im Mai 2022 hatte die Europäischen Kommission einen Gesetzesvorschlag zur sogenannten Chatkontrolle vorgelegt, um Inhalte von Nutzer*innen auf Missbrauchsdarstellungen zu scannen. Dieses Thema rückte in den Vordergrund der politischen Agenda und löste eine polarisierende Debatte über Pläne zur Aufhebung von Ende-zu-Ende-Verschlüsselung und die Gefahren der Massenüberwachung aus.
Diejenigen, die Europols Kapazitäten ausbauen wollten, sahen in der potenziellen Nutzung von KI zum Scannen digitaler Kommunikationsgeräte aller EU-Bürger*innen eine neue Chance. Bei einem Treffen mit einem Direktor der Generaldirektion Inneres der EU-Kommission legten Europol-Vertreter nach. Sie schlugen vor, die Technologie so anzupassen, dass sie auch für andere Zwecke als zur Erkennung von Missbrauchsdarstellungen genutzt werden könne: „Alle Daten sind nützlich und sollten an die Strafverfolgungsbehörden weitergegeben werden”.
Sie forderten von der Kommission außerdem, dass Strafverfolgungsbehörden wie Europol „KI-Tools für Ermittlungen nutzen können” sollten. Beschränkungen in der damals diskutierten KI-Verordnung zur Nutzung invasiver und riskanter KI-Systeme sollten vermieden werden.
Die Bedenken von Europol zu Beschränkungen durch die KI-Verordnung spiegelten die Bedenken großer privatwirtschaftlicher Akteure. Es ist kein Geheimnis, dass die Vorstellungen von Europol und Unternehmen zu Innovation und Entwicklung von KI-Modellen zusammenpassen. Im Gegenteil, in Dokumenten der Behörde wird oft erwähnt, dass enge Kontakte zur Wirtschaft als strategisch wichtig angesehen werden.
Ein relevanter Ansprechpartner für Europol war Thorn – eine US-amerikanische Non-Profit-Organisation und Entwickler eines KI-gestützten CSAM-Erkennungssystems. Strafverfolgungsbehörden können das Programm nutzen, um neue und unbekannte Missbrauchsdarstellungen zu suchen.
Seit 2022 steht Thorn an der Spitze einer Kampagne zur Unterstützung des Chatkontrolle-Vorschlags in Brüssel. Der Vorschlag würde Anbietern von Kommunikationsdiensten auf Anordnung vorschreiben, KI-Klassifikatoren wie den von Thorn entwickelten zu nutzen, um Inhalte zu durchsuchen.
Weniger bekannt ist jedoch die enge Zusammenarbeit zwischen Thorn und Europol. Eine Reihe von E-Mails zwischen dem Unternehmen und Europol zwischen September 2022 und Mai 2025 wurden durch Informationsfreiheitsanfragen öffentlich. Sie zeigen, wie eng Europols Pläne zur Entwicklung eines Erkennungsprogramms mit den Empfehlungen von Thorn verknüpft waren.
Im April 2022, kurz vor Inkrafttreten der neuen Europol-Verordnung, schickte ein Europol-Beamter eine E-Mail an Thorn, um „die Möglichkeit zu prüfen, dass die Europol-Mitarbeiter, die im Bereich Kindesmissbrauch arbeiten (das Analyseprojekt-Team „Twins”), Zugang erhalten” – zu einem Zweck, der weiterhin unklar ist. Thorn schickte ein Dokument zurück und informierte Europol darüber, welche weiteren Informationen erforderlich wären, um fortzufahren. „Ich muss betonen, dass dieses Dokument vertraulich ist und nicht weitergegeben werden darf“, steht am Ende von Thorns E-Mail.
Fünf Monate später bat Europol Thorn um Hilfe dabei, Zugang zu Bildklassifizierern zu erhalten. Diese wurden in einem Projekt entwickelt, an dem Thorn mitgearbeitet hatte. Europol wollte diese testen.
Nuno Moniz ist Associate Professor am Lucy Family Institute für Daten und Gesellschaft an der Universität Notre Dame. Für ihn wirft dieser Austausch ernsthafte Fragen hinsichtlich der Beziehung zwischen den beiden Akteuren auf: „Sie diskutieren Best Practices, erwarten den Austausch von Informationen und Ressourcen und behandeln Thorn im Wesentlichen als Partner der Strafverfolgungsbehörden mit privilegiertem Zugang.“
Die enge Zusammenarbeit zwischen Europol und Thorn ging seitdem weiter, unter anderem mit einem geplanten Treffen zum Mittagessen, gefolgt von der Präsentation des CSAM-Erkennungsprogramms von Thorn im Hauptquartier von Europol in Den Haag bei einem AP-Twins-Treffen.
In den aktuellsten Korrespondenzen, die im Rahmen dieser Recherche zugänglich gemacht wurden, zeigt ein Mail-Wechsel aus dem Mai 2025, dass Thorn mit seinen Kollegen bei Europol über seine neu gebrandeten CSAM-Erkennung diskutiert.
Europol sagt, dass es „bis heute keine CSAM-Softwareprodukte von Thorn gekauft hat“. Ein Großteil der Kommunikation mit Thorn aus den Informationsfreiheitsanfragen ist jedoch in weiten Teilen geschwärzt. Einige E-Mails wurden vollständig zurückgehalten, obwohl der Europäische Bürgerbeauftragte die Behörde aufforderte, einen breiteren Zugang zu den Dokumenten zu gewähren.
Europol behauptet, dass einige der nicht offengelegten Dokumente „strategische Informationen von operativer Relevanz über die Arbeitsmethoden von Europol im Zusammenhang mit der Verwendung von Bildklassifizierern enthalten, wobei bestimmte solche Klassifizierer konkret erwähnt werden und Gegenstand interner Beratungen, aber auch externer Diskussionen mit Thorn waren”.
Auf Anfrage zu den Recherche-Ergebnissen schrieb Thorns Policy-Direktorin Emily Slifer, dass Thorn angesichts „der Art und Sensibilität” der eigenen Tätigkeiten die Zusammenarbeit mit bestimmten Strafverfolgungsbehörden nicht kommentiere. „Wie bei all unseren Kooperationen arbeiten wir in voller Übereinstimmung mit den geltenden Gesetzen und halten uns an die höchsten Standards in Bezug auf Datenschutz und ethische Verantwortung.“
Ein Sprecher von Europol erklärte gegenüber dem Rechercheteam, dass der „Kooperationsansatz der Behörde vom Grundsatz der Transparenz geleitet wird“. „Kein einziges KI-Modell von Thorn wurde für den Einsatz bei Europol in Betracht gezogen. Daher gibt es keine Zusammenarbeit mit den Entwicklern von Thorn hinsichtlich KI-Modellen, die von Europol verwendet werden oder verwendet werden sollen.“
Nicht nur die Beratungen zwischen Europol und Thorn bleiben opak. Die Behörde weigert sich hartnäckig, eine Reihe wichtiger Dokumente zu ihrem KI-Programm offenzulegen: von Datenschutz-Folgenabschätzungen über Informationen zu verwendeten Modellen bis hin zu Protokollen ihrer Verwaltungsratssitzungen. In vielen Fällen hat Europol die gesetzlichen Fristen für die Beantwortung von Anträgen um mehrere Wochen überschritten.
Die offengelegten Dokumente bleiben oft aus fragwürdigen Gründen stark geschwärzt. Meist nannte Europol „öffentliche Sicherheit“ oder „interne Entscheidungsprozesse“ als Begründung, um Informationen zurückzuhalten. Der Europäische Bürgerbeauftragte hat solche vagen Aussagen in seinen vorläufigen Berichten immer wieder in Frage gestellt und angemerkt, dass Europol nicht ausreichend begründet hat, wie ein Bekanntwerden seine Arbeit konkret beeinträchtigen würde.
Europol teilte dem Recherche-Team mit, dass Datenschutzfolgeabschätzungen „nicht der allgemeinen Offenlegungspflicht unterliegen“, da sie „kriminellen Akteuren Vorteile gegenüber dem Interesse der öffentlichen Sicherheit verschaffen könnten“.
Fünf Transparenzbeschwerden, die im Rahmen dieser Recherche eingereicht wurden, sind derzeit beim Europäischen Bürgerbeauftragten anhängig.
Europols offensichtliche Abneigung gegen Transparenz ist jedoch nur ein Teil einer mangelhaften Rechenschaftsarchitektur. Sie soll zumindest auf dem Papier sicherstellen, dass alle Aktivitäten von Europol grundrechtliche Standards beachten – auch die Einführung von KI-Tools.
Innerhalb von Europol fällt diese Aufgabe hauptsächlich dem Grundrechtsbeauftragten der Behörde zu. Das ist seit 2022 eine interne Kontrollinstanz, die Bedenken hinsichtlich schwacher Schutzmaßnahmen im Gegensatz zu einer Ausweitung der Befugnisse durch die Europol-Reform ausräumen soll.
2023 wurde die neu geschaffene Position mit Dirk Allaerts besetzt. Die Bedenken wegen mangelnder Aufsicht konnte das nicht ausräumen. Die Rolle genießt wenig Autorität, ihre Berichte sind nicht bindend und haben keine Durchsetzungskraft. „Der Grundrechtsbeauftragte von Europol fungiert nicht als wirksamer Schutz vor den Risiken, die mit dem zunehmenden Einsatz digitaler Technologien durch die Behörde verbunden sind. Die Rolle ist institutionell schwach und verfügt nicht über interne Durchsetzungsbefugnisse, um sicherzustellen, dass seine Empfehlungen befolgt werden“, sagt Bárbara Simão, Expertin für Rechenschaftspflichten bei Article 19. Die in London ansässige, internationale Menschenrechtsorganisation beobachtet den Einfluss von Überwachung und KI-Technologien auf die Meinungs- und Informationsfreiheit. Simão hat mehrere „unverbindliche“ Bewertungen der KI-Tools von Europol durch den FRO überprüft, die das Recherche-Team erhalten hat.
„Um seine Funktion als interne Kontrollinstanz zu erfüllen, muss der Grundrechtsbeauftragte mehr sein als eine symbolische Funktion. Er muss die eingesetzten Technologien ordnungsgemäß überprüfen und braucht echte Befugnisse”, fügte sie hinzu.
Viele der unverbindlichen Berichte des Grundrechtsbeauftragten enthalten die immer wieder kopierte Passage, dass Fähigkeiten zur gründlichen Überprüfung der KI-Tools von Europol nicht vorhanden sind. „Derzeit gibt es keine Instrumente für die grundrechtliche Bewertung von Tools, die künstliche Intelligenz nutzen. Die vom Grundrechtsbeauftragten verwendete Bewertungsgrundlage orientiert sich an einem Dokument der Strategic Group on Ethics and Technology und einer Methodik für den Umgang mit Dilemmata“, heißt es in den Berichten.
Die externe Aufsicht scheint nicht viel stärker zu sein. Der wichtigste Mechanismus – die „Joint Parliamentary Scrutiny Group“ (JPSG), in der nationale und Europa-Parlamentarier zusammenkommen, um die Aktivitäten von Europol zu überwachen – hatte nur begrenzten Zugang zu relevanten Dokumenten über die Forschungs- und Innovationsprogramme der Behörde.
Ironischerweise behauptet Europol in seiner Antwort auf die Anfragen des Europäischen Bürgerbeauftragten zu den fragwürdigen Transparenzpraktiken der Behörde, dass seine „Legitimität und Rechenschaftspflicht“ „bereits weitgehend und notwendigerweise durch die gesetzliche demokratische Kontrolle erfüllt wird, die vom Europäischen Parlament zusammen mit den nationalen Parlamenten durch die JPSG ausgeübt wird“.
Es bleibt dem EDSB überlassen, die übereilte Expansion der Behörde mit begrenzten Ressourcen und unzureichenden Befugnissen im Bereich des Datenschutzes zu überprüfen.
Bis zum Sommer 2023 war die Entwicklung eines eigenen CSAM-Klassifikators eine der obersten Prioritäten des KI-Programms von Europol. Ein zweiseitiges Beratungsdokument des Grundrechtsbeauftragten weist darauf hin, dass das Ziel darin bestand, „ein Tool zu entwickeln, das künstliche Intelligenz (KI) nutzt, um mutmaßliche Bilder und Videos von sexuellem Kindesmissbrauch automatisch zu klassifizieren”. In vier Zeilen ging Allaerts auf das Problem von Verzerrungen ein. Er wies darauf hin, dass eine ausgewogene Datenzusammensetzung bezüglich Alter, Geschlecht und ethnischer Zugehörigkeit notwendig sei, „um das Risiko zu begrenzen, dass das Tool CSAM nur für bestimmte ethnische Gruppen oder Geschlechter erkennt”. Die Entwicklungsphase würde in einer kontrollierten Umgebung stattfinden, um jegliches Risiko von Datenschutzverletzungen zu begrenzen.
Um das Tool zu trainieren, würde das Projekt Missbrauchsdarstellungen und Nicht-CSAM-Material verwenden. Während unklar ist, welches Material Europol für letzteres beschaffen würde, stammt das CSAM-Material größtenteils vom National Center for Missing and Exploited Children (NCMEC). NCMEC ist eine gemeinnützige Organisation aus den USA, die eng mit der US-amerikanischen Strafverfolgungsbehörden zusammenarbeitet.
Obwohl Europol die Pläne zum Training eines Erkennungsprogramms bis Ende 2023 zurückgestellt hat, fließen die vom NCMEC gelieferten Daten in das erste interne Modell ein, das im Oktober 2023 eingeführt wurde.
Die Maschine mit dem Namen EU CARES hat die Aufgabe, automatisch Daten herunterzuladen, die von US-amerikanischen Online-Dienstleistern gemeldet werden. Diese sind verpflichtet, verdächtiges Material an NCMEC zu melden. EU CARES gleicht die Daten dann mit den Beständen von Europol ab und leitet sie an die Strafverfolgungsbehörden der Mitgliedstaaten weiter.
Das Volumen des gemeldeten Materials – hauptsächlich von US-amerikanischen Digitalriesen wie Meta oder Google – wurde so groß, dass die manuelle Verarbeitung und Weitergabe nicht mehr möglich war, die Europol vor dem Einsatz von KI durchgeführt hatte.
Europol hatte in seiner eigenen Bewertung des Systems Risiken in Bezug auf „falsche Datenmeldungen durch das NCMEC“ und „falsche Treffer im Zusammenhang mit Meldungen“ festgestellt. Dennoch hat die Behörde bei ihren Berichten an den EDSB keines dieser Risiken vollständig bewertet.
Die Datenschutzbehörde betonte die „schwerwiegenden Folgen”, die Ungenauigkeiten haben könnten. Sie forderte die Europol auf, zusätzliche Maßnahmen zur Risikominderung zu ergreifen, etwa durch inkorrekt kategorisierte Informationen oder „falsche Abgleichberichte, die eine betroffene Person zu Unrecht in eine strafrechtliche Ermittlung ziehen können”. Die Folgen für eine Person wären in solchen Fällen schwerwiegend.
Als Reaktion darauf verpflichtete sich Europol, verdächtige Daten als „unbestätigt“ zu kennzeichnen, „verbesserte“ Warnungen für Auffälligkeiten hinzuzufügen und sein System zur Entfernung zurückgezogener Meldungen zu verbessern. Neben anderen Maßnahmen erklärte die Behörde, dass diese Schritte den Bedenken des EDSB hinsichtlich der Genauigkeit und der Fehler bei Querverweisen Rechnung tragen würden.
Im Februar 2025 erklärte die Europol-Direktorin Catherine De Bolle, dass EU CARES „bis Januar 2025 insgesamt 780.000 Meldungen mit ergänzenden Informationen übermittelt“ habe. Offen bleibt, wie viele davon falsch positive oder redundante Hinweise sind. Das Bundeskriminalamt, das Meldungen direkt vom NCMEC erhält, ohne das System von Europol zu nutzen, teilte auf Anfrage mit, dass von 205.728 im Jahr 2024 eingegangenen NCMEC-Meldungen 99.375 „strafrechtlich nicht relevant“ waren. Das entspricht 48,3 Prozent.
Obwohl Datenschutzbehörden auf Schutzmaßnahmen bei EU CARES drängten, weitete Europol den Einsatz von automatisierten Tools auf einen weiteren sensiblen Bereich aus: Gesichtserkennung.
Ab 2016 hat die Behörde mehrere kommerzielle Tools getestet und erworben. Die neueste Anschaffung, NeoFace Watch (NFW) des japanischen Technologieunternehmens NEC, sollte ein früheres internes System namens FACE ersetzen oder ergänzen, das Mitte 2020 bereits auf etwa eine Million Gesichtsbilder zugreifen konnte.
Stark geschwärzte Dokumente zeigen, dass Europol bis 2023 mit NEC an Plänen zur Datenmigration und Videoverarbeitung arbeitete. Als Europol später dem EDSB das neue Programm zur Überprüfung vorlegte, warnte dieser vor dem „Risiko einer geringeren Genauigkeit bei den Gesichtern von Minderjährigen (als eine Form der Verzerrung)” und vor einer „inkohärenten Verarbeitung”, wenn alte und neue Systeme (wie das bestehende FACE und NeoFace Watch) parallel laufen. Die Datenschutzbehörde forderte Europol auf, eine sechsmonatige Pilotphase durchzuführen, um einen akzeptablen Genauigkeitsschwellenwert zu ermitteln und falsch-positive Ergebnisse zu minimieren. Nach der Konsultation entschied Europol aus Vorsichtsmaßnahme, die Daten von Kindern unter 12 Jahren aus der Verarbeitung auszunehmen.
In seiner Vorlage an den EDSB verwies Europol auf zwei Studien des National Institute of Standards and Technology (NIST), einer US-amerikanischen Regierungsbehörde. Die Studien sollten eigentlich dazu dienen, die Entscheidung von Europol für NeoFace Watch als neues System zu untermauern. In einer der Studien gab NIST an, dass es keine „wilden Bilder“ aus dem Internet oder von Videoüberwachungskameras verwendet habe, wie sie Europol normalerweise verwenden würde.
In einem verwandten Bericht dokumentierte NIST in seinen Bewertungen des Algorithmus von NEC, dass die Verwendung von Fotos bei schlechten Lichtverhältnissen zu einer Falsch-Identizifierungsrate von bis zu 38 Prozent führe. Im Oktober 2024 wurde ein Vertrag mit NEC unterzeichnet. Gegen ähnliche Einsätze von NeoFace Watch in Großbritannien gibt es wegen Bedenken zu Verzerrungen und Datenschutz Klagen vor Gerichten.
In einer nicht bindenden Stellungnahme aus dem November desselben Jahres beschrieb der Grundrechtsbeauftragte von Europol das System als eines, das „das Risiko von Fehlalarmen erhöht“, was das Recht auf Verteidigung oder ein faires Verfahren beeinträchtigen könne. Das System wird nach der neuen KI-Verordnung der EU als Hochrisiko-System eingestuft. Dennoch gab der Grundrechtsbeauftragte das System frei und forderte die Behörde lediglich auf, bei grenzüberschreitenden Ermittlungen anzugeben, wenn das Tool eingesetzt wird, um „die Transparenz und Rechenschaftspflicht zu verbessern, die für die Aufrechterhaltung des Vertrauens der Öffentlichkeit von entscheidender Bedeutung sind“.
Der Hersteller NEC schrieb auf Anfrage, dass NeoFace Watch in der jüngsten Testrunde des NIST als „die weltweit genaueste Lösung“ abschnitt. NEC fügte hinzu, dass sein Produkt „umfangreichen unabhängigen Tests durch das National Physical Laboratory (NPL) unterzogen wurde und beim Live-Einsatz unter typischen Bedingungen keine falsch-positiven Identifizierungen aufwies“.
Hohe Genauigkeit allein macht Gesichtserkennung nicht sicher und beseitigt auch nicht die in diesem Fall dokumentierten rechtlichen Bedenken. Experten wie Luc Rocher, Professor am Oxford Internet Institute, haben gezeigt, dass die Bewertungsmethoden für die Gesichtserkennung immer noch nicht die tatsächliche Leistung in der Praxis vollständig erfassen, wo Faktoren wie Bildqualität, Bevölkerungsgröße und demografische Vielfalt zu einer erheblichen Verschlechterung der Genauigkeit führen – insbesondere bei Personen aus ethnischen Minderheiten und jungen Menschen.
Barbara Simao, Expertin bei Article 19, merkte an, dass die Betonung der technischen Performance dazu führe, „die mit Gesichtserkennungstechnologien verbundenen Risiken herunterzuspielen“, darunter die vom EDSB aufgezeigte Verzerrungen bei Minderjährigen und die von der eigenen Aufsichtsinstanz bei Europol identifizierten Gefahren für das Recht auf ein faires Verfahren.
Ein verbindlicher interner Fahrplan aus dem Jahr 2023 offenbart das wahre Ausmaß von Europols Bestrebungen: 25 potenzielle KI-Modelle, die von der Objekterkennung und Bildgeolokalisierung bis hin zur Deepfake-Identifizierung und der Extraktion persönlicher Merkmale reichen.
Diese Vision würde die Behörde ins Zentrum der automatisierten Polizeiarbeit in der EU befördern, da die von Europol eingesetzten Instrumente praktisch von allen Strafverfolgungsbehörden in der gesamten EU genutzt werden könnten.
Im Februar 2025 teilte Europol-Direktorin Catherine De Bolle den europäischen Gesetzgebern mit, dass die Behörde dem EDSB zehn Datenschutz-Folgenabschätzungen vorgelegt habe, sieben für bereits genutzte und drei für neue Modelle.
Mitglieder der parlamentarischen Kontrollgruppe JPSG baten Europol um einen detaillierten Bericht über sein KI-Programm. Als die Behörde diesen vorlegte, schickte sie den Abgeordneten ein vierseitiges Papier mit allgemeinen Beschreibungen ihrer internen Überprüfungsprozesse, ohne substanzielle Informationen über die KI-Systeme selbst.
Die EU-Parlamentarierin Saskia Bricmont, die Teil der JPSG ist, sagt:
Die entwickelten KI-Systeme können sehr große Risiken und Konsequenzen für Grundrechte beinhalten. Es ist von entscheidender Bedeutung, dass eine strenge und wirksame Aufsicht gewährleistet ist. Trotz der bereitgestellten Informationen ist es für die Mitglieder des EU-Parlaments nach wie vor sehr komplex, ihre Kontrollaufgabe zu erfüllen und die mit der Nutzung KI-basierter Systeme durch die Agentur verbundenen Risiken vollständig zu bewerten.
Gleichzeitig bereitet die EU-Kommission eine neue, umfassende Reform vor, um Europol zu einer „wirklich funktionsfähigen Behörde” zu machen. Das genaue Ausmaß und die Art dieser Umgestaltung ist noch unklar. Die Kommission hat jedoch vorgeschlagen, das Budget von Europol für die nächste Finanzperiode auf drei Milliarden Euro aus Steuergeldern zu verdoppeln.
Diese Recherche wurde von IJ4EU und Lighthouse Reports unterstützt und erscheint ebenfalls bei Solomon und Computer Weekly. Apostolis Fotiadis ist Journalist und recherchiert zu EU-Politik in den Bereichen Technologie, Überwachung und digitale Rechte. Giacomo Zandonini ist ein in Rom ansässiger Investigativjournalist mit einer Leidenschaft für Langformartikel, die Feldforschung mit der Analyse von Dokumenten und offenen Daten verbinden. Er berichtet über die Sicherheits- und Migrationspolitik der EU und deren Auswirkungen außerhalb der EU. Luděk Stavinoha ist Dozent für Medien und globale Entwicklung an der University of East Anglia. Er forscht zu EU-Transparenz und Migrationsmanagement.
Um Diagnosen, Laborberichte oder Therapiepläne untereinander auszutauschen, nutzen Arztpraxen und Krankenhäuser standardmäßig ein spezielles Mail-System namens „Kommunikation im Medizinwesen“, kurz: KIM.
KIM verspricht, sensible Daten verschlüsselt zu übermitteln, damit Unbefugte sie nicht abfangen und einsehen können. Doch bei der Sicherheit hapert es gewaltig, wie der IT-Sicherheitsforscher Christoph Saatjohann heute auf dem 39. Chaos Communication Congress in Hamburg zeigte. Der NDR und die Süddeutsche Zeitung hatten zuvor über die Recherchen zum Thema berichtet.
Demnach weist das KIM-System seit Jahren gravierende Sicherheitslücken auf. Mit geringem Aufwand können Angreifer unter anderem gefälschte Mail-Adressen anlegen und damit vermeintlich seriös wirkende Nachrichten versenden. Auf diese Weise lassen sich Praxissysteme infiltrieren, um beispielsweise Patient:innendaten zu stehlen.
KIM wurde 2021 bundesweit eingeführt, etwa 100 Millionen Nachrichten werden jedes Jahr über das System verschickt. Neben der elektronischen Patientenakte (ePA) und dem E-Rezept gilt der Dienst als weitere wichtige Säule des digitalen Gesundheitswesens.
Um einen sicheren Nachrichtenversand zu gewährleisten, versieht KIM Nachrichten mit einer digitalen Signatur. Diese bestätigt dem Empfänger, dass die Nachricht tatsächlich über das System verschickt wurde. Allerdings besteht laut Saatjohann keine Sicherheit darüber, ob der Absender der ist, der er vorgibt zu sein.
Um eine KIM-Mail-Adresse bei einem KIM-Fachdienst wie T-Systems registrieren zu lassen, braucht es aktuell nur einen Ausweis für eine medizinische Einrichtung, eine sogenannte SMB-C-Karte. Auf eine solche Karte haben mehrere hunderttausend Menschen im Gesundheitswesen Zugriff. Und auch auf eBay würden diese Ausweise hin und wieder verkauft, sagt Saatjohann.
Liegt eine solche Karte vor, können Angreifer eine beliebige Mail-Adresse nach einem bestimmten Muster erstellen: namederpraxis.ort@anbieter.kim.telematik. Die gewünschten Adressen werden nicht auf Plausibilität geprüft. Das Ergebnis ist Saatjohann zufolge vergleichbar mit einem versiegelten Brief, bei dem der Absendername aber falsch sein kann. Angreifer könnten die gefälschte Absender-Adresse dazu nutzen, echt erscheinende Mails zu versenden, die Schadsoftware oder Phishing-Links enthalten.
Saatjohann sieht die Verantwortung für die Lücken vorrangig bei der Gematik. Die staatseigene GmbH ist für die Spezifikation und Prüfung des KIM-Systems verantwortlich. Und die hier vorgegebenen Sicherheitsstandards habe die Agentur offenkundig nicht ausreichend überprüft, so Saatjohann.
Am 15. September übermittelte der IT-Forscher der Agentur seine Funde. Knapp zwei Monate später veröffentlichte die Gematik einen sogenannten Hotfix, der viele der aufgezeigten Sicherheitslücken schließt. Nach eigenen Angaben arbeitet die Gematik daran, die weiteren Lücken ebenfalls zu schließen. Auch T-Systems habe Saatjohann über die Lücken informiert, das Unternehmen habe bis zum heutigen Tag aber nicht reagiert.
Es werde noch dauern, bis alle Praxen die Sicherheitsupdates eingespielt haben. Vor allem aber sei es weiterhin mit geringem Aufwand möglich, eine eigene Mail-Adresse für das KIM-System zu erhalten, ohne dass diese auf Plausibilität geprüft wird. Ein Angreifer kann sich also auch weiterhin als eine behandelnde Person seiner Wahl ausgeben. „Ich sehe keine Möglichkeit, das schnell zu verbessern“, sagt Saatjohann. „In der aktuellen Architektur ist das kaum lösbar und deshalb bleibt eine Restunsicherheit.“ Um diese zu beseitigen, müsse wohl das gesamte KIM-System überholt werden.
Auf dem diesjährigen 39C3 stellt sich damit einmal mehr die Frage, wie sicher unsere Patient:innendaten sind.
Schon im vergangenen Jahr stand die Gematik massiv in der Kritik. Im Dezember 2024 hatten die Sicherheitsexpert:innen Bianca Kastl und Martin Tschirsich Schwachstellen bei der elektronischen Patientenakte (ePA) vorgestellt.
Die Agentur versprach daraufhin, die Lücken zu schließen. Doch im Mai dieses Jahres konnten die beiden Fachleute in Zusammenarbeit mit Saatjohann erneut Zugriff auf die digitalen Patientenakten erlangen. Und bis heute sind nicht alle der damals aufgezeigten Sicherheitslücken bei der ePA geschlossen.
Der IT-Sicherheitsforscher Christoph Saatjohann ist kein Unbekannter in der Welt der medizinischen IT. Seit 2019 beobachtet er die Einführung der Telematikinfrastruktur (TI) kritisch. Bereits in den vergangenen Jahren legte er den Finger in die Wunde eines Systems, das eigentlich den Austausch im deutschen Gesundheitswesen absichern soll. Unter dem Label „Kommunikation im Medizinwesen“ (KIM), werden täglich Arztbriefe, elektronische Arbeitsunfähigkeitsbescheinigungen und Laborbefunde verschickt. Doch die Bilanz, die Saatjohann nun in Hamburg auf dem 39. Chaos Communication Congress (39C3) zog, ist entzaubernd: Das Versprechen einer schier lückenlosen Sicherheit ist auch nach Jahren voller Korrekturen noch nicht erfüllt.
Weiterlesen nach der Anzeige
Nicht alles ist schlecht. Saatjohann räumte ein, dass KIM in den Praxen mittlerweile gut angekommen sei und die Gematik bereits früher gemeldete Schwachstellen – wie etwa gravierende Fehler bei der Schlüsselverwaltung – geschlossen habe. Doch kaum ist ein Loch gestopft, tun sich neue Abgründe auf. So berichtete der Professor für eingebettete und medizinische IT-Sicherheit an der FH Münster von einem „KIM of Death“: Durch fehlerhaft formatierte E-Mails konnten Angreifer das Clientmodul – die Software-Schnittstelle beim Arzt – gezielt zum Absturz bringen.
In einem Fall musste Saatjohann in einer Praxis, in der er nebenberuflich an Wochenenden experimentieren darf, selbst Hand anlegen und ein Python-Skript schreiben, um die blockierenden Nachrichten manuell vom Server zu löschen. „Es war knapp, dass die Praxis am Montag wieder funktioniert hat“, kommentierte er die Tragweite eines solchen Denial-of-Service-Angriffs. Ein solcher könnte theoretisch alle rund 200.000 KIM-Adressen gleichzeitig lahmlegen.
Als besonders perfide erwiesen sich Schwachstellen beim neuen KIM-Attachment-Service (KAS), der den Versand von Dateien bis zu 500 MB ermöglicht. Da das Clientmodul dabei Anhänge von externen Servern nachlädt, können Angreifer laut Saatjohann dem System eigene Server als Download-Quelle unterschieben. Das Ergebnis sei ein „IP-Mining“ im großen Stil. Übeltäter könnten so ein präzises Lagebild einer kritischen Infrastruktur erhalten: einbezogen wären die IP-Adressen von Praxen, Apotheken und Krankenkassen, die den Anhang herunterladen wollen.
Schlimmer noch: Da T-Systems als Mailserver-Betreiber zeitweise das Feld für den Absender („Mail-From“) nicht validierte, ließen sich KIM-Nachrichten mit beliebigem Absender fingieren – etwa im Namen des Bundesministeriums für Gesundheit. Der Professor warnte: Da solche E-Post einen „besonderen Vertrauensvorschuss“ genieße, wäre dies die perfekte Basis für hochwirksame Phishing-Kampagnen.
Auch die Identitätsprüfung innerhalb des Walled-Garden-Systems der TI stellte sich als löchrig heraus. Saatjohann demonstrierte, wie er sich problemlos eine KIM-Adresse unter falschem Namen erstellen konnte, da die Plausibilität der Adressen nicht geprüft wurde. Zudem war es ihm möglich, KIM-Nachrichten mit einem beliebigen TI-Schlüssel zu signieren, ohne dass das Empfängermodul Alarm schlug: die Prüfung zwischen Signatur und tatsächlichem Absender fehlte. Selbst das Mitlesen verschlüsselter Nachrichten war unter bestimmten Bedingungen möglich. Durch das Unterschieben eines eigenen POP3-Servers und die Ausnutzung einer mangelhaften Zertifikatsprüfung der Clientmodule konnten Nachrichten im Klartext an einen Angreifer weitergeleitet werden.
Weiterlesen nach der Anzeige
Das Bundesamt für Sicherheit in der Informationstechnik (BSI) reagierte auf die Enthüllungen besorgt, bemühte sich aber um Schadensbegrenzung. Gegenüber NDR und Süddeutscher Zeitung erklärte die Behörde, die gefundenen Sicherheitslücken seien nur mit technischen Fachkenntnissen ausnutzbar. Ein unmittelbares Risiko für die Patienten sei unwahrscheinlich.
Dennoch bleibt die Kritik an der Sicherheitskultur im KIM-System bestehen. Während die Gematik auf Saatjohanns Meldungen schnell reagierte und Mitte November Hotfixes für die Clientmodule sowie schärfere Zertifikatsprüfungen auf den Weg brachte, reagierte T-Systems gegenüber dem Forscher nicht. Laut Saatjohann wurden die Schwachstellen dort zwar stillschweigend gefixt, eine transparente Kommunikation oder Dokumentation habe jedoch gefehlt.
Trotz der neuen Mängel zog Saatjohann ein differenziertes Fazit. Er hob hervor, dass die Architektur zwar an vielen Stellen „strukturell falsch“ sei. Das liege auch an der Komplexität von über 130 verschiedenen Praxisverwaltungssystemen, die alle eigene Sicherheitsanforderungen erfüllen müssten. Das System KIM agiere aber grundsätzlich „auf recht hohem Niveau“. Das Sicherheitsrisiko sei im Vergleich zum völlig unverschlüsselten Fax-Versand oder herkömmlichen E-Mails immer noch geringer. Er selbst würde sensible Daten eher über KIM verschicken als über die konventionellen Wege.
Der Wissenschaftler gab zugleich zu bedenken: „Eine Restunsicherheit bleibt.“ Die Gematik plane zwar über eine zur Konsultation freigegebene Vorabveröffentlichung bereits weitere Schutzmaßnahmen wie eine zusätzliche Signatur in den Mail-Headern. Doch solange die Authentifizierung der Clientmodule nicht verpflichtend und die freie Wahl der Absendernamen möglich sei, bleibe KIM eine Lösung, deren Vertrauensanker auf tönernen Füßen stehe.
(nie)
Die Slotmaschine rattert, blinkt und klingelt, während ihre Walzen rotieren. Die Lootbox schüttelt sich und pulsiert, als würde sie gleich explodieren, begleitet von anschwellenden Glockenklängen. Für viele Gamer*innen bedeutet das Spaß und Nervenkitzel, ob beim klassischen (Online-)Glücksspiel für Erwachsene oder in Glücksspiel-ähnlichen Games, die teils sogar für Kinder freigegeben sind.
Für die Psychologin und Neurowissenschaftlerin Elke Smith bedeutet Glücksspiel dagegen Arbeit. Denn sie erforscht an der Universität zu Köln menschliche Entscheidungs- und Lernprozesse – darunter jene Mechanismen, die beim Zocken im Hintergrund ablaufen. In ihrem Vortrag auf dem 39. Chaos Communication Congress erklärt Smith die zentralen Tricks von Glücksspiel, die sich inzwischen auch in klassischen Online-Games ausbreiten.
Geschätzt 2,4 Prozent der deutschen Bevölkerung zwischen 18 und 70 Jahren sind laut Gesundheitsministerium süchtig nach Glücksspielen, haben also eine als Krankheit anerkannte Verhaltensstörung. Derweil liegen die Umsätze für legales Glücksspiel in Deutschland bei knapp 63,5 Milliarden Euro. Dennoch kommt der Vortrag der Glücksspiel-Forscherin Smith ohne Verteufelung aus. Vielmehr umreißt sie den Graubereich zwischen Spaß und Suchtgefahr.
Ein besonders auffälliger Glücksspiel-Mechanismus, den Smith hervorhebt, sind audiovisuelle Effekte, die bei hohen Gewinnen noch stärker werden. Darunter fallen zum Beispiel die zu Beginn erwähnten klingelnden und glitzernden Slotmaschinen und Lootboxen. Gerade bei einem Gewinn können virtuelle Funken sprühen, Goldmünzen hageln und Fanfaren blasen. Solche Elemente sind kein bloßes Beiwerk, sondern tragen dazu bei, Menschen durch Reize zu belohnen und damit zum Weiterspielen zu motivieren.
Sogenannte Near Misses sind Fälle, in denen Spieler*innen den Eindruck bekommen, nur ganz knapp verloren zu haben, etwa wenn bei der Slotmaschine das Gewinnsymbol fast getroffen wurde. Zwar macht es finanziell keinen Unterschied, ob man knapp oder deutlich verliert – es fühlt sich aber anders an.
Ein weiterer Mechanismus, den Smith hervorhebt, sind als Verluste getarnte Gewinne, auf Englisch: losses disguised as wins. In diesem Fall bekommen Spielende einen Bruchteil ihres Einsatzes als scheinbaren Gewinn zurück, begleitet mit audiovisuellen Belohnungsreizen.
Bei der Jagd nach Verlusten („chasing losses“) versuchen Spieler*innen wiederum, das verlorene Geld aus vorigen Runden durch immer weitere Einsätze wieder zurückzuholen.
Nicht zuletzt kann sich Glücksspiel auch der sogenannten Kontroll-Illusion („illusion of control“) bedienen. Das ist eine kognitive Verzerrung: Üblicherweise können Menschen durch ihre Entscheidungen tatsächlich ihre Umwelt beeinflussen, dazu lernen und ihre Fähigkeiten verbessern. Beim Glücksspiel dagegen haben Entscheidungen oftmals keinen Einfluss auf das Ergebnis – es fühlt sich nur so an. Als Beispiel nennt Smith die Entscheidung, wann genau man bei einer Slotmaschine den Knopf drückt, um die rollenden Walzen zu stoppen.
Diese und weitere Mechanismen sind nicht auf (Online-)Casinos begrenzt, sondern verbreiten sich auch in klassischen Spiele-Apps, wie Smith ausführt. Die Integration von Glücksspiel-Elementen wie Zufall, Risiko und Belohnung nennt sie „Gamblification“ – und deren Effekte hat sie selbst untersucht.
Gemeinsam mit Forschungskolleg*innen hat Smith gemessen, wie Zuschauer*innen auf YouTube-Videos reagieren, in denen Gamer*innen sich beim Öffnen von Lootboxen filmen. Solche Videos erreichen auf YouTube ein Millionenpublikum und zeigen: Glücksspiel-Mechanismen wirken möglicherweise sogar dann, wenn man anderen nur beim Spielen zuschaut.
Konkret haben die Forschenden Views, Likes und Kommentare von 22.000 Gaming-Videos mit und ohne Lootboxen miteinander verglichen. Das Ergebnis: Der Lootbox-Content hat das Publikum messbar stärker eingenommen als anderer Gaming-Content: mehr Views, mehr Likes, mehr Kommentare. „Dieses erhöhte Engagement könnte mit den Glücksspiel-ähnlichen Eigenschaften der durch Lootboxen vermittelten Belohnungsstruktur zusammenhängen“, heißt es auf Englisch in dem Paper, das im Mai 2025 beim Journal Scientific Reports erschienen ist.
Um ihre Online-Spiele zu optimieren, können Anbieter auf A/B-Testing mit großen empirischen Datenmengen zurückgreifen, erklärt Smith in ihrem Vortrag. Das heißt: Sie können Features einfach ausprobieren und messen, was am besten funktioniert. Schließlich bekommen sie täglich kostenlos neue Daten von Millionen Gamer*innen. Auf diese Weise entstehen Produkte, die von Anfang an so gestaltet sind, dass sie die Belohnungsmechanismen der Spieler*innen am besten ausnutzen. Smith nennt das „Neuroexploitation by design“.
Gegen Ende ihres Vortags geht Smith auf Ansätze ein, um die Gefahren von Glücksspiel-Mechanismen einzudämmen. In Deutschland gibt es etwa den Glücksspielstaatsvertrag. Manche Normen zielen direkt auf Glücksspiel-Mechanismen ab: So muss bei einem virtuellen Automatenspiel etwa ein einzelnes Spiel mindestens fünf Sekunden dauern, der Einsatz darf einen Euro pro Spiel nicht übersteigen. Das soll das Feuerwerk aus Risiko und Belohnung eindämmen.
Ob Lootboxen in die Kategorie Glücksspiel fallen, beschäftigt internationale Gerichte und Gesetzgeber bereits seit Jahren. In Deutschland hatte jüngst der Bundesrat strengere Regeln gefordert. Am 21. November hielten die Länder fest, dass Lootboxen und andere Glücksspiel-ähnliche Mechanismen in Videospielen besser reguliert werden sollen, um Suchtgefahr zu reduzieren. In Belgien und den Niederlanden gibt es bereits strengere Regeln.
Auf EU-Ebene gibt es derzeit kein spezifisches Recht zur Regulierung von Lootboxen, wie die Wissenschaftlichen Dienste des Bundestags den Sachstand im Herbst 2024 zusammenfassen. Allerdings kommen je nach Kontext verschiedene EU-Gesetze in Frage, etwa das Gesetz über digitale Dienste (DSA), das manche Anbieter dazu verpflichtet, Risiken für ihre Nutzer*innen zu erkennen und zu minimieren. Derzeit plant die EU-Kommission zudem den Digital Fairness Act, der Lücken im Verbraucherschutz schließen soll.
„Ich denke, es wäre wichtig, vor allem junge Menschen vor diesen Mechanismen zu schützen“, warnt Smith mit Blick auf Glücksspiel-Mechaniken in Spielen. Damit verweist die Forscherin auf eine Leerstelle in den aktuellen Debatten um Jugendschutz im Netz, die vor allem um Alterskontrollen für soziale Medien kreisen.
Ein fertiges Regulierungs-Konzept für Glücksspiel-Mechanismen hat die Forscherin zwar nicht. In welchem Spannungsfeld man sich bei dem Thema bewegt, bringt sie jedoch in Reaktion auf eine Frage aus dem Publikum auf den Punkt: „Gibt es einen Bereich vom Spieldesign, der Spaß macht, Nervenkitzel birgt, profitabel ist für die Anbieter und im Bereich des sicheren Spielens liegt?“
Illustrierte Reise nach New York City › PAGE online
Aus Softwarefehlern lernen – Teil 3: Eine Marssonde gerät außer Kontrolle
Top 10: Die beste kabellose Überwachungskamera im Test
SK Rapid Wien erneuert visuelle Identität
Neue PC-Spiele im November 2025: „Anno 117: Pax Romana“
Kommandozeile adé: Praktische, grafische Git-Verwaltung für den Mac
Donnerstag: Deutsches Flugtaxi-Start-up am Ende, KI-Rechenzentren mit ARM-Chips
Arndt Benedikt rebranded GreatVita › PAGE online
