Die EU-Kommission sieht Europa mit einer Vielzahl terroristischer Bedrohungen konfrontiert. So nutzten Terrorist:innen und gewalttätige Extremist:innen das Internet-Ökosystem aus, darunter soziale Medien und Online-Gaming, um ihre Inhalte zu verbreiten und Nutzer:innen zu rekrutieren. Sie würden ihre Anschläge über Ende-zu-Ende-verschlüsselte Kanäle planen, zur Finanzierung Krypto-Währungen oder NFTs heranziehen und mit generativen KI-Chatbots Bombenbau-Anleitungen erstellen. Leicht verfügbare 3D-Drucker und Drohnen würden die Gefahr nur verstärken, warnt die Brüsseler Behörde.

Gegen solche Bedrohungen will die EU-Kommission mit einem neuen Anti-Terror-Ansatz vorgehen, den die Kommissar:innen Henna Virkkunen und Magnus Brunner am vergangenen Donnerstag in Brüssel vorgestellt haben. Er ist ein Kernstück ihrer „ProtectEU“-Strategie aus dem Vorjahr. Ein guter Teil der vorgeschlagenen Maßnahmen konzentriert sich dabei auf die Online-Welt.

Zwar sei die Anzahl großer koordinierter Terroranschläge zurückgegangen, aber die Gefahrenlage bleibe weiterhin hoch, begründet die Kommission ihre Strategie. Seit dem Jahr 2019 seien überwiegend Einzeltäter:innen und kleine Terrorzellen für Anschläge verantwortlich gewesen, und nicht alle davon waren Dschihadisten: Hinzu kämen vermehrt Täter:innen, die Demokratie ablehnten oder von Hass gegen Jüd:innen, Muslim:innen und andere gesellschaftliche Minderheiten getrieben seien. Am anderen Ende des Spektrums stünden hybride Angriffe von Nationalstaaten wie Russland auf EU-Länder, heißt es im Strategiepapier.

Verknüpft ist die Strategie mit bereits bestehenden Gesetzen, vor allem mit dem Digital Services Act (DSA) und der Verordnung zu terroristischen Inhalten im Netz (Terrorist Content Online, TCO). Beide Gesetze haben die Verbreitung und Eindämmung illegaler Inhalte im Netz im Blick.

Anti-Terror-Verordnung soll überarbeitet werden

Während es die Kommission beim DSA vorrangig bei einer verbesserten Durchsetzung belassen will, stellt sie eine etwaige Überarbeitung der TCO-Verordnung in den Raum. Dies wird maßgeblich von der Evaluation des Gesetzes abhängen, die sie bis zum Jahresende abschließen will. Stärker in den Anti-Terror-Kampf einbezogen werden soll zudem das Europäische Gremium für digitale Dienste, in dem sich die DSA-Koordinator:innen für digitale Dienste der Mitgliedstaaten beraten.

Eigentlich wäre die TCO-Evaluation bereits im Sommer 2024 fällig gewesen. Teile davon hat die Kommission jedoch an die Agentur der Europäischen Union für Grundrechte (FRA) abgegeben. Ihren Bericht hat die Agentur erst Ende Januar vorgelegt. Dieser könnte der Kommission durchaus Kopfschmerzen bereiten: So weist der Bericht etwa auf unklare Interpretationen der Regeln hin und warnt vor sogenanntem Overblocking, also wenn Online-Dienste im Zweifel eher mehr löschen als zu wenig.

Davon seien nicht alle gleich betroffen, schreiben die Autor:innen: „Die Studie kommt zu dem Schluss, dass die Moderationspraktiken von Behörden und Plattformen bestimmte Gruppen, beispielsweise Muslime und arabischsprachige Menschen, unverhältnismäßig stark betreffen können, während rechtsextreme Inhalte oft weniger streng kontrolliert werden.“

Filtern mit Hash-Datenbanken

Indes bleibt der Kommission ein gewisser Handlungsspielraum, sie ist nicht vollständig auf mühselige Gesetzesänderungen angewiesen. So soll etwa Europol eine Datenbank mit sogenannten „Hashes“, also digitalen Fingerabdrücken mutmaßlich illegaler Dateien, selbst aufbauen. Einmal darin abgelegt, ist das Hochladen identischer Kopien bei teilnehmenden Online-Diensten nicht mehr möglich. Die Kooperation mit dem Global Internet Forum to Counter Terrorism (GIFCT), welches eine solche Datenbank seit Jahren betreibt, soll dabei weiter bestehen bleiben.

Neben der Zusammenarbeit mit dem GIFCT, das von Unternehmen wie Meta, Microsoft und Alphabet gegründet wurde, will die Kommission die Partnerschaft mit der Industrie im Rahmen des EU-Internetforums verstärken. In dem informellen Gremium tauscht sich die Kommission mit EU-Ländern, Polizeien und vor allem mit den Anbietern von Online-Diensten aus. Ziel ist es, auf freiwilliger Basis mutmaßlich terroristische Inhalte aus dem Netz zu fegen. Inzwischen hat sich das Aufgabengebiet des Gremiums deutlich vergrößert, behandelt werden unter anderem auch Kindesmissbrauch und Drogenhandel.

Davon verspricht sich die Kommission viel, wie sich an einer Passage des Strategiepapiers beispielhaft ablesen lässt: „Die Kommission wird mit Europol zusammenarbeiten, um die KI-gestützte Erkennung extremistischer Inhalte, gemeinsame Bedrohungsindikatoren und eine schnellere Zusammenarbeit zwischen Plattformen, Strafverfolgungsbehörden und Forschern zur Identifizierung KI-generierter Propaganda und koordinierter Radikalisierungskampagnen zu verbessern.“

Strategie zielt auf Online-Gaming

Stärker ins Visier sollen künftig Online-Gaming-Dienste geraten. Zum einen sollen im Rahmen des EU-Internetforums die Hersteller:innen von Spielen enger mit Strafverfolgungsbehörden kooperieren, um die Rekrutierung von Minderjährigen zu verhindern. Zum anderen soll Europol auf solchen Diensten Terror-Propaganda oder Anwerbungsversuche entdecken, monitoren und analysieren können.

Gerade im Gaming-Bereich könnte dies schnell zu Problemen führen, sagt Chloé Berthélémy von der Digital-NGO European Digital Rights (EDRi). „Wenn die Kommission den Einsatz von Hash-Datenbanken und automatisierter Inhaltserkennung und Uploadfiltern vorantreiben will, könnte sie das Risiko einer höheren Rate an Fehlalarmen erheblich unterschätzen“, so die Digitalexpertin.

Viele Online-Spiele würden Gewaltdarstellungen wie Schießereien enthalten, sagt Berthélémy. Es wäre sehr schwierig zu unterscheiden zwischen Spieler:innen, die einfach nur Spaß haben, und solchen, die andere für tatsächliche Gewalttaten zu rekrutieren versuchen. Automatisierte Filter seien jedoch dafür bekannt, den Kontext nur unzureichend zu berücksichtigen, der für diese Unterscheidung entscheidend ist.

Vor dem automatisierten Overblocking-Phänomen warnt auch die Grundrechte-Agentur in ihrem Bericht. Demnach könne Overblocking nicht zwangsläufig durch eine „ausreichend robuste menschliche Aufsicht“ kompensiert werden, da die menschliche Überprüfung von Inhalten, die von automatisierten Tools gemeldet wurden, aufgrund von „Faktoren wie Zeitmangel, fehlenden Sprachkenntnissen und unzureichenden Arbeitsbedingungen der Inhaltsmoderatoren eingeschränkt sein kann“.

Insgesamt würde dies viele Rechte von Online-Nutzer:innen beeinträchtigen. Zudem könnten sich vor allem Menschen betroffener Gruppen aus bestimmten gesellschaftlichen Auseinandersetzungen zurückziehen, heißt es im FRA-Bericht. „Ein solcher abschreckender Effekt (‚chilling effect‘) kann sehr große Menschengruppen betreffen und sich von der Meinungs- und Informationsfreiheit auf andere Rechte wie die Versammlungs- und Vereinigungsfreiheit ausdehnen“, mahnt die Grundrechte-Agentur.

Polizeibehörden reisen mit

Verschärfen will die Kommission zudem eine Reihe an Reisebestimmungen. So will sie verstärkt mit vertrauenswürdigen Drittländern zusammenarbeiten, um an biografische und biometrische Daten potenzieller Terrorist:innen zu gelangen. Diese Daten sollen in das Schengen Information System (SIS) einfließen – ungeachtet immer wieder auftretender Probleme mit dem System.

Auch innereuropäische Reisen sollen künftig besser nachvollzogen werden können. Schon heute werden Flüge und Fluggäste in der EU detailliert überwacht, der Kommission zufolge könnte dies auf andere Reisearten ausgeweitet werden. Um Schlupflöcher zu schließen, untersuche die Kommission derzeit, wie sich das bestehende Fluggastdaten-Modell auf See- und Landverkehr sowie auf Privatflüge erweitern lässt. Sollte eine derartige Regelung kommen, dürfte die Zahl der Fehlalarme drastisch ansteigen: Einer Studie zufolge werden jährlich mindestens 500.000 Personen zu Unrecht verdächtigt.

Lücken macht die Kommission auch bei der Nachvollziehbarkeit von Finanzströmen aus. Hierbei soll zunächst eine Studie „die notwendigen Maßnahmen zur Einrichtung eines künftigen EU-weiten Systems zur Erfassung von Finanzdaten für die Verfolgung von Terrorismusfinanzierung und Erträgen aus organisierter Kriminalität bewerten und festlegen“. Das System soll bis 2030 eingerichtet sein und Transaktionen innerhalb der EU und des einheitlichen europäischen Zahlungsverkehrsraums (SEPA), Kryptotransfers sowie Online-Überweisungen abdecken.

Einen besonders heiklen Punkt berührt das Strategiepapier nur kurz: den „rechtmäßigen Zugang zu Daten für Strafverfolgung“. Üblicherweise meint die Kommission damit den Zugriff auf verschlüsselte Inhalte, denn das Verschlüsseln digitaler Kommunikation führe zu einem „Going-Dark“-Problem. Wie es damit weitergehen soll, geht aus dem Papier nicht hervor. Allerdings betont die Kommission, ihren bereits feststehenden Fahrplan umsetzen zu wollen. Demnach soll es mehr Datenaustausch zwischen Ermittlungsbehörden geben, Europol soll mehr Daten entschüsseln, und KI-Tools sollen auf die Datenberge losgelassen werden, die bei Ermittlungen anfallen oder anderweitig in Polizei-Datenbanken landen.

Starren in die digitale Glaskugel

Auf diesen Trend, der auch hierzulande die Polizei erfasst hat, will die Kommission jedenfalls weiter setzen. Das Sammeln und KI-gestützte Analysieren von Daten durchzieht die gesamte Strategie, zudem sollen sich etwa vom EU-Projekt „Horizon Europe“ finanzierte Forschungsprojekte vermehrt mit Sicherheitsthemen beschäftigen. Die Richtung gibt die Strategie vor: „Zu den Forschungsschwerpunkten gehören Früherkennungsmethoden und Innovationen in Technologien wie KI.“

Allzu lange warten will die Kommission hierbei nicht. Sie kündigt an, konkrete Leitlinien zu verabschieden, um „Strafverfolgungsbehörden und Justiz bei der Verbesserung ihrer Fähigkeit zur Erkennung und Abwehr von Bedrohungen mithilfe zertifizierter, vertrauenswürdiger KI-Systeme für risikoreiche Anwendungen zu unterstützen und dabei die Grundrechte zu wahren. Die Strategie zur Anwendung von KI wird die Entwicklung und den Einsatz von KI-Lösungen für die innere Sicherheit weiter fördern“, heißt es in der Mitteilung.

Besonders der Fokus auf „Früherkennung“ bereitet der Digital-Aktivistin Berthélémy Sorgen. Üblicherweise laufen solche Ansätze auf „algorithmische Profilerstellung und vorhersagende Polizeisysteme“ hinaus, sagt sie. „Sie sind verheerend für Grundrechte, insbesondere für das Recht auf Privatsphäre, das Recht auf Nichtdiskriminierung und die Unschuldsvermutung.“ Darüber hinaus lenke die massive Investition öffentlicher Gelder in Sicherheitstechnologien wichtige Ressourcen von alternativen Maßnahmen ab, die sich als wirksamer erweisen könnten und gleichzeitig die Grundrechte achten würden.

„Die neue Strategie zur Terrorismusbekämpfung basiert auf der Annahme, dass KI-gestützte Tools zur Inhaltserkennung präzise und effektiv sind – was wissenschaftlich keineswegs belegt ist“, sagt Berthélémy. „Im Gegenteil, sie greifen massiv in Grundrechte ein, da sie häufig legitime Online-Inhalte fälschlicherweise als solche kennzeichnen, selbst wenn die Beurteilung auf Hashwerten beruht.“