Seit vorletzter Woche ist bekannt, wie die Pläne von Bundesinnenminister Alexander Dobrindt (CSU) für die Polizeibehörden des Bundes aussehen: Wir haben den Referentenentwurf eines „Sicherheitspakets“ seines Hauses veröffentlicht.

Die polizeilichen Bundesbehörden hatten Palantir unter SPD-Vorgängerin Nancy Faeser meiden müssen. Nun plant Dobrindt, dem US-Konzern die Türen zu öffnen. Sowohl das Bundeskriminalamt als auch die Bundespolizei sollen Datenanalysesoftware wie die von Palantir nutzen dürfen, um „verschiedene Datenbestände technisch zusammenzuführen“ und dann automatisiert zu analysieren. Dobrindts Initiative stößt mitten in eine bereits laufende Debatte, ob und unter welchen Bedingungen personenbezogene Daten aus polizeilichen Systemen in einer Analysesoftware zusammengeführt und ausgewertet werden dürfen.

Zwei der Kabinettskollegen von Dobrindt haben sich zu den Palantir-Plänen bereits zu Wort gemeldet. Justizministerin Stefanie Hubig (SPD) hat Bedenken und mahnt die Einhaltung rechtsstaatlicher Grundsätze an.

Auf die Frage, ob es eine gute Idee sei, Software von Palantir für die Polizei zu nutzen, sagte hingegen Digitalminister Karsten Wildberger (CDU): Wenn ein Anbieter eine solche Technologie bereitstellt, sollten wir in sie investieren.

Laut den Plänen Dobrindts sollen das BKA und die Bundespolizei außerdem mit Hilfe von biometrischen Abgleichen im Internet nach Menschen fahnden dürfen. Das BKA dürfte dann das Netz etwa nach Gesichtern oder anderen biometrischen Merkmalen von Verdächtigen, aber auch nach Opfern oder Zeugen durchforsten.

Die automatisierte Analyse von Polizeidaten über eine Vielzahl von Menschen und das Abgrasen des Internet nach biometrischen Mustern völlig Unbeteiligter sind beides ohne Zweifel weitreichende und neuartige Befugnisse. Welche Kritikpunkte Experten an Dobrindts Überwachungsplänen vorbringen, haben wir zusammengetragen.

Regierung kennt keine Alternativen zu Palantir

Das Bundesinnenministerium hat eingeräumt, den Einsatz von Palantir-Software zu prüfen. Deswegen war der US-Konzern auch Thema in der Regierungspressekonferenz am Mittwoch. Ein Sprecher des Innenministers, Lars Harmsen, räumte ein, dass aktuell diese „Prüfung“ stattfinde, deren Ausgang er natürlich nicht vorwegnehmen könne. Er konnte auch keine Zwischenergebnisse mitteilen. Die Software des US-Konzerns Palantir werde dabei auch geprüft, jedoch behandele man das Thema insgesamt „produktneutral“.

Tilo Jung stellte in der Regierungspressekonferenz die Gretchen-Frage, ob der Regierung Alternativen zu Palantir denn überhaupt bekannt seien. Harmsen gab die mantraartige Auskunft, dass Palantir aufgrund des „europaweit durchgeführten“ Vergabeverfahrens in Bayern als das „einzige Unternehmen“ bekannt sei, das eine „marktverfügbare Software“ anbietet, die den hohen definierten Anforderungen entspräche. Aber man strebe grundsätzlich eine europäische oder deutsche Lösung an.

Mitbewerber von Palantir sehen diese wiederholten Aussagen zur Alternativlosigkeit selbstverständlich kritisch. So sagt etwa Robert Simmeth, der Deutschland-Geschäftsführer vom konkurrierenden Softwarekonzern SAS, gegenüber netzpolitik.org: „Palantir hat kein technisches Monopol. Es gibt leistungsfähige Alternativen“, sie seien auch „rechtsstaatlich kompatibel“.

„Gift für die Demokratie“

Das Vorhaben Dobrindts, eine Software zur Datenanalyse bei den Polizeien des Bundes einzusetzen, stößt bei Lena Rohrbach, Expertin für Menschenrechte im digitalen Zeitalter bei Amnesty International in Deutschland, auf wenig Gegenliebe. „Das Wort ‚Datenanalyse‘ klingt nach einem präzisen und nachvollziehbaren Vorgang, aber das Gegenteil ist der Fall. Zuvor nicht verknüpfte Daten werden zusammengeführt, um eine umfassendere Überwachung zu ermöglichen“, sagt Rohrbach gegenüber netzpolitik.org. Denn es handele sich um eine „auf einem geheimen Code basierende Software“, die Schlussfolgerungen ziehe, „die der Mensch vor dem Rechner oftmals nicht nachvollziehen kann“.

Carola Otte von der Humanistischen Union kritisiert auch die Art der personenbezogenen Daten aus den Systemen des BKA, der Bundespolizei und aller Polizeibehörden, die verknüpft werden sollen: Dort enthalten seien auch „Daten von Zeuginnen und Zeugen, Opfern, Beschuldigten und Unbeteiligten, die nicht durch die wenigen Einschränkungen im Gesetzentwurf ausgefiltert werden“. An die zu verwendende Software werden außerdem „keinerlei Anforderungen gestellt, zum Beispiel an Transparenz oder Erklärbarkeit der Ergebnisse“.

Das kritisiert auch Rohrbach: Die verwendete Software sei intransparent, der Quellcode im Falle von Palantir oder anderen privaten Unternehmen „nicht einsehbar“. Deswegen könnten sich Betroffene „nur schwer gegen falsche Verdächtigungen wehren“, sofern sie überhaupt von der Auswertung oder von polizeilichen Folgemaßnahmen erfahren würden.

Palantir bietet mit seiner Software vor allem die Analyse komplexer Datensätze und die Erkennung von Mustern in Daten an. Solche Auswertungsprozesse werden von dem Konzern zwar bereits seit vielen Jahren angeboten, heute aber als „Künstliche Intelligenz“ vermarktet. Rohrbach weist darauf hin, dass KI in dieser Form oft „marginalisierte Gruppen, etwa People of Colour, Alleinerziehende, arme Menschen oder Menschen mit Migrationsgeschichte“ diskriminiere.

Die Menschenrechtsexpertin verweist auch auf die Amnesty-Recherchen zum Einsatz solcher Software durch Behörden, beispielsweise in den Niederlanden, Serbien, Großbritannien oder den Vereinigten Staaten. Sie hätten solche Diskriminierungen immer wieder aufgezeigt. „Es ist auch hier zu erwarten“, sagt Rohrbach. „Menschen werden nicht wissen, welche Verhaltensweisen Datenspuren hinterlassen, die das System verdächtig findet. Das schüchtert ein und ist Gift für die Demokratie und eine starke Zivilgesellschaft.“

Dabei könnten Menschen ins Visier der Behörden geraten, „die einfach nur im falschen Stadtteil unterwegs waren, gemeinsame Bekannte mit einer verdächtigen Person teilen oder im Netz ein lustiges Video geteilt haben, das von einer polizeibekannten Person stammt“. Manche solcher Systeme würden prinzipiell auch „die Totalüberwachung der Bevölkerung und das Generieren von Listen regierungskritischer Personen“ ermöglichen. Deswegen seien sie „eine akute Gefahr für Menschenrechte und Demokratie“, so Rohrbach gegenüber netzpolitik.org. Das sei in Dobrindts Paket zwar nicht unmittelbar vorgesehen, müsse aber als Warnszenario gesehen werden, um das Potential solcher Software zu verstehen.

Das Problem in der Praxis

Teresa Morrkopf-Widlok, Vorsitzende des netzpolitischen Vereins LOAD, sieht zwar die Notwendigkeit, dass „BKA und Bundespolizei handlungsfähig und zeitgemäß ausgestattet“ sein müssen. „Aber wenn es allein darum geht, große Datenmengen auszuwerten, braucht es dafür kein ‚Wundertool‘ von Palantir.“ Das eigentliche Problem liege nämlich in der Praxis oft woanders: „Die Datenbestände sind vielfach veraltet oder schlecht gepflegt, genau dort müsste man zuerst ansetzen“, so Morrkopf-Widlok.

Sie warnt: Solange nicht gewährleistet sei, dass „falsche Einträge oder überholte Informationen systematisch erkannt und aussortiert werden und die Zweckbindung der Daten“ erhalten bliebe, solle man „gegenüber den Heilsversprechen solcher Softwarelösungen skeptisch“ sein.

Diese Heilsversprechen bestehen beispielsweise in der Behauptung von Palantir, dass die angebotene Software Strafverfolgungsbehörden effizienter machen würde. Nach eigenen Angaben analysiere die Software enorme Datenmengen und erkenne darin Muster, die andere Anbieter nicht oder nur schwer finden würden. Unabhängige Nachweise für diese Behauptungen gibt es nicht.

Rainer Rehak vom Forum InformatikerInnen für Frieden und gesellschaftliche Verantwortung (FIfF) warnt deshalb vor der Zusammenarbeit mit Palantir. Denn der Nutzen sei „nie transparent dargelegt“ worden. Somit seien „die demokratisch gebotenen Verhältnismäßigkeitsüberlegungen unmöglich“.

Anlasslose biometrische Massenüberwachung

Der Referentenentwurf von Dobrindt enthält auch sehr weitgehende Biometrie-Befugnisse. Das BKA und die Bundespolizei sollen über die Auswertung von biometrischen Daten in „öffentlich zugänglichen Daten aus dem Internet“ beispielsweise die Gesichter von Menschen abgleichen dürfen. Auch Bewegungs-, Verhaltens- oder Sprechererkennung dürften künftig von beiden Behörden genutzt werden. Praktisch könnten dann alle Bilder, Audiodateien und Videos, die Behörden im Internet finden können, automatisiert anhand von biometrischen Merkmalen abgeklopft werden. Der öffentliche Raum Internet, in dem Millionen Menschen Bilder und Filme teilen und permanent miteinander kommunizieren, würde quasi seinen Charakter ändern: Alles würde zum potentiellen biometrischen Fahndungsrohstoff.

Sabine Grützmacher, stellvertretende Vorsitzende des netzpolitischen Vereins LOAD, kritisiert diese neuen Biometrie-Befugnisse: „Der Entwurf setzt auf biometrische Erfassung und anlasslose Massenüberwachung trotz tiefgreifender Grundrechtseingriffe und bekannter Chilling-Effekte.“ Der Begriff Chilling-Effekt bezieht sich auf eine Einschüchterung von Menschen durch staatliche Überwachungsmaßnahmen, die zu einer ungewünschten Verhaltensänderung führen können.

Dass künftig zum Beispiel „private Social-Media-Beiträge“ überwacht werden sollen, sieht Grützmacher besonders kritisch. Das ginge „zulasten von Bürgerrechten“ und sei „sicherheitspolitisch wie demokratisch nicht nachvollziehbar“.

Der Verband der Internetwirtschaft eco sieht den Referentenentwurf ebenfalls kritisch und fordert die Regierung auf, das Gesetzespaket gar nicht erst ins parlamentarische Verfahren einzubringen. Der eco-Vorstandsvorsitzende Oliver Süme sagt, Ermittlungsarbeit brauche „rechtsstaatliche Grenzen, nicht anlasslose Massenüberwachung“. Eine „biometrische Vollerfassung im Netz ist grundrechtswidrig“.

Carola Otte von der Humanistischen Union betont, wie „schwerwiegend in die Rechte einer riesigen Anzahl von Personen auf der ganzen Welt“ eingegriffen werde. Es sei schwer vorstellbar, welche Straftatbestände einen solch großen Eingriff rechtfertigen könnten, sagt sie, „jedenfalls sicher nicht alle der genannten, die unter anderem bestimmte Formen des Sozialhilfebetrugs oder der Kleindealerei beinhalten“.

Rainer Rehak vom FIfF erklärt gegenüber netzpolitik.org, dass „kein denkbares gesellschaftliches Bedrohungsszenario“ diese Art der Biometrienutzung rechtfertigen würde. Sie würden „ungeahnte Massen-Idenfikationen und -Kontrolle ermöglichen, aber gleichzeitig prinzipiell sehr fehleranfällig“ sein.

„Eindeutig datenschutzwidrige Tools“

Auch Thilo Weichert von der Deutschen Vereinigung für Datenschutz kritisiert die Ausweitung der automatisierten Gesichtserkennung: Die geplanten Regelungen seien „in Bezug auf den Begriff des ‚biometrischen Abgleichs‘ zu unbestimmt. Sie legitimieren die polizeiliche Nutzung eindeutig datenschutzwidriger Tools und Internet-Dienstleistungen.“

Auch die Einschränkung, die der Referentenentwurf enthält, überzeugt Weichert nicht. Denn im Entwurf heißt es, dass die öffentlich zugänglichen Daten aus dem Internet „nicht in Echtzeit erhoben“ werden dürfen. Der erfahrene Jurist und langjährige Landesdatenschützer erklärt gegenüber netzpolitik.org: „Der Ausschluss des Abgleichs ‚in Echtzeit‘ ist ein ungeeigneter Versuch, sich in den Einklang mit der KI-Verordnung zu bringen.“

Carola Otte von der Humanistischen Union betont, dass nach dem Referentenentwurf kaum ein anderes Szenario vorstellbar sei, als dass die biometrischen Daten „heruntergeladen und in einer Datenbank gespeichert werden sollen, von wo aus sie dann automatisiert ausgewertet werden sollen“. Wenn das die Intention sein, dann läge ein Verstoß gegen die KI-Verordnung vor.

Schon als ein erstes „Sicherheitspaket“ der damaligen Ampel-Regierung vorgestellt wurde, war die Antwort auf eine Frage unbeantwortet geblieben, sagt Rohrbach von Amnesty, nämlich „wie der Abgleich mit dem Internet funktionieren soll, ohne die KI-Verordnung der EU zu verletzen“. Denn die KI-Verordnung verbiete den Aufbau von ungezielt ausgelesenen Gesichtsdatenbanken. Das aber sei „die technische Voraussetzung für die Pläne von Innenminister Dobrindt“. Das Problem sei „weiter ungelöst“, so Rohrbach.

Wenn zur biometrischen Datenverarbeitung „auf externe Anbieter wie PimEyes oder Clearview zugegriffen“ werden sollte, dann sieht Otte zusätzlich einen Verstoß gegen die Datenschutzgrundverordnung durch die kommerziellen Anbieter.

Auf die DSGVO verweist auch Weichert. Biometrische Identifizierungsdaten fielen nach den europarechtlichen Vorgaben der DSGVO und der JI-Datenschutzrichtlinie „als besonders geschützte Kategorie personenbezogener Daten unter einen besonderen rechtlichen Schutz“. Dieser Schutz gründe auf dem Grundrecht auf Datenschutz gemäß Artikel 8 der Grundrechte-Charta.

Er betont gegenüber netzpolitik.org: „Die Regelungsvorschläge Dobrindts missachten diese Vorgaben“ und auch den Verhältnismäßigkeitsgrundsatz. Weichert ist sich sicher: Diese Vorschläge „werden vor dem Europäischen Gerichtshof keine Gnade finden“.

Lena Rohrbach von Amnesty International in Deutschland bewertet Dobrindts Vorhaben ebenfalls als „weder mit der EU-Richtlinie über Datenschutz in der Strafverfolgung noch der DSGVO oder der KI-Verordnung vereinbar“. Sie sieht auch keine Verhältnismäßigkeit gegeben.

Sie erklärt gegenüber netzpolitik.org: „Wenn Gesichtserkennungstechnologie alle Gesichter im Netz erfassen darf, um einige wenige Menschen zu suchen, ist das unverhältnismäßig und verletzt daher Menschenrechte.“ Das könne außerdem zu „Chilling Effects“ führen. Sie befürchtet, es könne „Menschen zum Beispiel davon abhalten, eine Demonstration zu besuchen, da davon häufig Fotos im Internet veröffentlicht werden, die dann durchsucht werden dürfen“.

Carola Otte von der Humanistischen Union erklärt gegenüber netzpolitik.org zu den geplanten biometrischen Regelungen: „Wir sehen diese Maßnahmen als völlig unverhältnismäßig und als gefährlich für die gesamte Gesellschaft an.“

Rainer Rehak vom FIfF geht davon aus, dass Dobrindts „Sicherheitspaket“ vermutlich „EU-rechtlich scheitern wird“. Doch er gibt zu bedenken: „Wir warnen allerdings dringend vor einer vorschnellen Verrechtlichung der Diskussion“, denn das Vorhaben an sich drücke ein Gesellschafts- und Sicherheitsverständnis aus, „was im Kern bekämpft werden muss, weil es prinzipiell einer freiheitlichen Gesellschaft entgegensteht“.

Trump geleckt

Zusammenarbeit mit Anbietern wie Palantir

Dobrindts Vorhaben könnten sowohl bei der biometrischen Auswertung als auch bei der automatisierten polizeilichen Datenanalyse die Zusammenarbeit mit kommerziellen Anbietern aus dem Ausland bedeuten. Zwar ist im CDU-CSU-SPD-Koalitionsvertrag noch betont, dass „digitale Souveränität“ Berücksichtigung finden soll. Allerdings erlaubt der Referentenentwurf nun explizit „die Zusammenarbeit mit Dritten, auch außerhalb der Europäischen Union“.

Carola Otte von der Humanistischen Union bewertet diese Erlaubnis als „skandalös“. „Offensichtlich sollen durch diese Erlaubnis Kooperationen mit Anbietern wie Palantir, PimEyes oder Clearview vorbereitet werden.“ Otte erklärt gegenüber netzpolitik.org, dass PimEyes und Clearview ganz offenkundig gegen die DSGVO verstoßen würden.

Den Konzern Palantir, gegen den auch in den Vereinigten Staaten protestiert wird, und dessen Mitgründer Peter Thiel sieht Otte kritisch. Der Milliardär Thiel sei ein „erklärter Gegner der Demokratie, der mit der aktuellen Regierung in den USA gut vernetzt ist“. Man mache sich mit solchen Kooperationen „weiterhin abhängig von den Interessen internationaler Konzerne, die teilweise bewusst die europäischen Datenschutzregelungen ignorieren“.

Rohrbach von Amnesty weist darauf hin, dass Palantir wegen seiner US-Aktivitäten als Partner kritisch zu betrachten sei: „Die Menschenrechte stehen in den USA im Dauerfeuer, Palantir ist daran aktiv beteiligt. Nach den UN-Leitprinzipien für Wirtschaft und Menschenrechte sollten öffentliche Stellen mit gutem Beispiel vorangehen und nicht bei Unternehmen einkaufen, die an Menschenrechtsverletzungen beteiligt sind.“ Sie fordert, dass die deutschen Behörden eine „Beschaffungsrichtlinie erhalten, die die Menschenrechtsbilanz eines Unternehmens künftig zwingend berücksichtigt“.

Rainer Rehak sieht im konkreten Fall von Palantir „durch seine zentralen Figuren Alex Karp und Peter Thiel eine Sonderstellung“. Das sei durch deren politische Äußerungen deutlich geworden. Rehak sagt über Karp und Thiel gegenüber netzpolitik.org: „Beide helfen aktiv bei der Faschisierung der USA unter Donald Trump, sprechen öffentlich vom Töten der ‚Feinde der USA‘ und nutzen all ihre Mittel, um den Rest der Welt ‚auf Linie‘ zu bringen. Vor diesem Hintergrund ist gerade die Nutzung der Software von Palantir die kurzfristigste und schlechteste Wahl, weil sie nicht nur eine fatale Abhängigkeit festigt, sondern dieses ultrarechte Projekt auch noch mit deutschen Steuermillionen mitfinanziert.“

Rehak bewertet die von Dobrindt geplante explizite Erlaubnis zur Zusammenarbeit mit kommerziellen Anbietern aber auch generell mit großer Skepsis: „Wir sehen die Auslagerung von genuin staatlichen Aufgaben in kommerzielle Bereiche hoch kritisch.“ Denn die „profitorientierte Logik von Märkten“, die sich an Angebot und Nachfrage orientiere, stehe der „Sorgelogik von staatlichem Handeln“ oft entgegen.

Er gibt auch zu bedenken, dass die Nutzung von kommerziellen Anbietern aus dem Ausland bedeute, „dass keine adäquate Kontrolle der Firmen möglich ist und bei solch großen Projekten zudem eine dauerhafte Abhängigkeit entsteht“. Das sei „das Gegenteil von digitaler Souveränität“.

Thilo Weichert von der Deutschen Vereinigung für Datenschutz pocht ebenfalls auf den Grundsatz „digitaler Souveränität“, aber auch auf „die verfassungsmäßige Pflicht, hoheitliche Gewalt nur durch gesetzlich geregelte und demokratische kontrollierte Behörden auszuüben“. Das stehe aus seiner Sicht im Widerspruch zu dem Ansatz, „wesentliche hoheitliche Aufgaben an kommerzielle Anbieter in Nicht-EU-Staaten auszulagern“.

Lena Rohrbach von Amnesty ist es wichtig, zu betonen: „KI-Analysen persönlicher Daten durch Behörden gehen immer mit Menschenrechtsrisiken einher und können in vielen Fällen Menschenrechte verletzen. Der Einsatz eines ‚Palantir made in Germany‘ oder einer deutschen biometrischen Überwachungssoftware wäre noch immer eine Gefahr für Menschenrechte und Demokratie.“

Kurswechsel in der Sicherheitspolitik gefordert

Amnesty International hat schon länger ein beobachtendes Auge auf Gesichtserkennungstechnologien und KI-Analysewerkzeuge für menschenrechtsfeindliche Zwecke, in Ländern wie Russland oder China schon länger, in den Vereinigten Staaten ganz aktuell. Rohrbach von Amnesty bemängelt, dass Dobrindts politische Agenda in die falsche Richtung geht, und fordert wegen des „zunehmenden Einflusses menschenrechtsfeindlicher und antidemokratischer Kräfte“ stattdessen einen „Kurswechsel in der Sicherheitspolitik“.

Sonst drohe eine Unsicherheitspolitik: „Ein schlüsselfertiger Überwachungsstaat ist brandgefährlich, weil er zur Unterdrückung von Protest, zur Diskriminierung und Verfolgung genutzt werden kann, wenn menschenrechtsfeindliche Kräfte an die Macht gelangen.“