Verhaltensscanner: „Eine reale Gefahr“ – netzpolitik.org

Verhaltensanalyse-Software legt eine Art Strichmännchen über die Gliedmaßen abgebildeter Menschen. Anhand der Bewegungen dieses Vektorenbündels schätzt sie, welches Verhalten zu sehen ist. Bei vorab festgelegten Kategorien schlägt sie Alarm. In Mannheim sind das aktuell Schläge, Tritte, Schubser und abwehrende Körperhaltungen. In Hamburg wird auch detektiert, wenn jemand liegt.

Berlin will bald ebenfalls eine derartige Software einsetzen, Baden-Württemberg will sie auf Heidelberg ausweiten, in Bremer Tram-Bahnen läuft sie bereits. In Niedersachsen, Sachsen, Schleswig-Holstein und Thüringen sind Gesetzesentwürfe dazu in der Abstimmung. Es wird künftig wohl immer mehr Areale geben, in denen KI prüft, ob sich die Anwesenden artig benehmen.

Zeit also, sich die Technologie mal genauer anzuschauen: Welche Auswirkungen hat sie auf die Grundrechte der Betroffenen, wo liegen die größten Risiken bei der Implementierung und welche Rolle kann sie bei der drohenden autoritären Wende spielen? Das haben wir Davy Wang gefragt, Jurist bei der Gesellschaft für Freiheitsrechte.

„Ein subtiles Gefühl des Überwacht-Seins“

netzpolitik.org: Herr Wang, Berlin will bald Verhaltenserkennungs-Kameras an vermeintlich besonders kriminalitätsbelasteten Orten installieren. Liegen diese Orte in Ihrem Lebensradius?

Davy Wang: Im Görlitzer Park bin ich in meiner Freizeit gelegentlich, am Kottbusser Tor oder an der Warschauer Straße steige ich manchmal in Bahnen.

netzpolitik.org: Werden Sie sich dort sicherer fühlen, wenn die Verhaltenserkennung läuft?

Davy Wang: Ich fühle mich da aktuell nicht unsicher. Aber wenn die Verhaltenserkennung kommt, wird das sicher ein subtiles Gefühl des Überwacht-Seins auslösen.

netzpolitik.org: Welche Auswirkungen hat die Technologie auf die Grundrechte der Menschen, die da langlaufen?

Davy Wang: Da ist meine Privatsphäre betroffen und die aller anderen Menschen, die sich da bewegen. Konkret bedeutet dies eine Einschränkung des Grundrechts auf informationelle Selbstbestimmung. Nach dem darf eigentlich ich darüber bestimmen, wer meine Daten erfasst und nutzt. Darüber hinaus kann so eine Überwachung Menschen davon abhalten, den Ort zu besuchen, und sich darauf auswirken, wie sich Menschen dort verhalten. Das hat dann beispielsweise auch Auswirkungen auf die Versammlungsfreiheit.

„Keine Zahlen, die die Wirksamkeit belegen“

netzpolitik.org: Werden da alle Passant*innen unter Generalverdacht gestellt?

Davy Wang: Von beiden Systemen werden erst einmal alle Menschen erfasst.

netzpolitik.org: Und ist das Problem, das mit der Überwachung gelöst wird, diesen massiven Grundrechtseingriff wert?

Davy Wang: Aus den Pilotprojekten gibt es keine Zahlen, die die Wirksamkeit belegen. Dabei gibt es sehr hohe Anforderungen. Denn die Anlagen erfassen viele tausend Menschen täglich, die Betroffenen wissen nie genau, ob ihre Daten gerade verarbeitet werden, und dann wird noch ein sehr intransparentes KI-System benutzt, dessen Schlussfolgerungen nicht nachvollziehbar sind. Bei einem derart strengen Eingriff in die Grundrechte bräuchte es strenge Anforderungen und Belege, dass die Technologie wirksam ist.

netzpolitik.org: Solche Systeme haben immer eine gewisse Rate von False Positives. Das sind Alarme, die auf einem Fehler, einem falschen Verdacht beruhen. Ist da die Verfolgung Unschuldiger schon eingepreist?

Davy Wang: Es ist ein Problem, wenn ein Maximum für diese Rate nicht fest vorgegeben ist. Dann kann die Polizei frei einschätzen, wie viele Fehl-Verdächtigungen sie noch akzeptabel findet. In Berlin wurde die maximale Fehlerrate jetzt in einer Ausschreibung benannt: bis zu 25 Prozent. Jeder vierte Alarm würde dann versehentlich ausgelöst. Das ist ziemlich viel. Da werden viele Verhaltensweisen erfasst, die völlig unproblematisch sind. Und dann kann es auch sein, dass Menschen zum Opfer von Anschlussmaßnahmen werden, die gar nichts getan haben. In den Landespolizeigesetzen steht ja auch gar nicht, welche Verhaltensweisen mit dem Scanner gesucht werden können. Da steht einfach nur: Verhaltensweisen, die auf Straftaten hindeuten. Welche gesucht werden, liegt dann im Ermessen der Exekutive.

„Es gibt einen politischen Druck“

netzpolitik.org: Wie kommt das eigentlich, dass diese Technologie gerade so unglaublich beliebt ist?

Davy Wang: Die Polizeien in den Bundesländern und auf Bundesebene wollen ihre Digitalisierung vorantreiben. Die wollen jetzt auch KI-Systeme nutzen, um vermeintlich effektiver Straftaten verhüten zu können. Da sehe ich die Gefahr, dass man sich öffentlich der Rhetorik bemüht, dass die Anlage verhältnismäßig sei, weil sie beispielsweise keine Gesichter analysiert. Es gibt auch einen politischen Druck, nach öffentlichkeitswirksamen Gewaltvorfällen zu handeln und beispielsweise die Videoüberwachung weiter auszubauen.

netzpolitik.org: In der Logik der Verfechter ist die Technik Privatsphäre-freundlicher als konventionelle Videoüberwachung, weil ja nicht mehr unbedingt immer ein Mensch zuschaut. Als wäre es keine Überwachung, wenn uns ein Computer analysiert. Was sagen Sie dazu?

Davy Wang: Das ist trotzdem auch eine Überwachung und auch ein Grundrechtseingriff. Wenn die Polizei durch ein KI-System personenbezogene Daten erfasst, ist es ein Eingriff in die Privatsphäre. Und diese Überwachung kann zu Ingewahrsamnahme und anderen Anschlussmaßnahmen führen.

netzpolitik.org: Müsste die Eingriffsschwelle für die Verhaltenserkennung nicht noch höher sein als die für Videoüberwachung? Immerhin ist es ja eine Art Videoüberwachung plus.

Davy Wang: Da würde ich definitiv zustimmen. Auch aus unserer Sicht ist die Eingriffsschwelle viel zu niedrig. Durch die Nutzung des KI-Systems und die automatisierte Auswertung enthält der Eingriff eine neue Qualität. Dabei hat das Bundesverfassungsgericht betont, dass automatisierte Auswertungen durch selbstlernende Systeme ein spezielles Eingriffsgewicht haben können, wenn die Entscheidungsfindung und Funktionsweise weder für die Betroffenen noch für die handelnde Behörde nachvollziehbar sind.

„Das kann diskriminierend wirken“

netzpolitik.org: Weil die Systeme menschliche Körper vor der Analyse in Vektoren umrechnen, also Hinweise auf Hautfarbe, Alter, Geschlecht entfernen, gelten sie nicht als diskriminierend. Was sagen Sie dazu?

Davy Wang: Das kann man nicht pauschal so sehen. Es gibt Berichte, dass unproblematisches Verhalten wie Liegen oder Taumeln erfasst wird. Das kann diskriminierend gegenüber bestimmten Personengruppen wirken. Und durch die Trainingsdaten kann ja auch ein Bias entstehen, dass dann Bewegungen bei bestimmten Gruppen eher falsch erkannt werden.

netzpolitik.org: Ein weiteres Argument für den Einsatz der Verhaltensanalyse ist die Effizienz. Führt die dann nicht automatisch zur Ausweitung – weil man mit den gleichen Kräften mehr Stadtgeschehen im Blick behalten kann?

Davy Wang: Das sehe ich als eine reale Gefahr. Die vermeintliche Effektivität kann dazu führen, dass immer mehr Orte die Technik einführen.

netzpolitik.org: Es heißt, letztlich entscheidet ein Mensch darüber, ob Einsatzkräfte zu einer Situation entsandt werden. Wie weit wird da die menschliche Verantwortung aufgelöst?

Davy Wang: Wenn der Mensch sich auf die Technik verlässt, neigt er dazu, ihren Empfehlungen zu folgen. Und die Entscheidungsfindung des KI-Systems ist für die Beamt*innen nicht nachvollziehbar, was ein Grundvertrauen in die Richtigkeit der Entscheidung begünstigt.

„Wir glauben, dass die Rechtsgrundlagen angreifbar sind“

netzpolitik.org: Welche Hebel hat die Zivilgesellschaft, um zu verhindern, dass die Technologie breit ausgerollt wird?

Davy Wang: Wir als GFF betreiben strategische Prozessführung. Eine Möglichkeit ist, wenn diese Systeme im Einsatz sind, dagegen zu klagen und zu versuchen, das zum Bundesverfassungsgericht zu bringen. Wir glauben, dass die Rechtsgrundlagen in mehreren Bundesländern angreifbar sind. Ansonsten kann man sich auch politisch engagieren. Durch Petitionen, durch Demonstrationen oder als Sachverständige im Gesetzgebungsverfahren. Was auch hilft, ist parlamentarische Kontrolle, beispielsweise mit Kleinen Anfragen.

netzpolitik.org: Was sagt die EU-KI-Verordnung zur Verhaltensanalyse?

Davy Wang: Die stuft sie als Hochrisiko-KI ein. Das bedeutet, es braucht eine Risikobewertung und Risikominderungsmaßnahmen, es gibt Sorgfalts‑, Berichts- und Aufsichtspflichten.

netzpolitik.org: Welche Rolle kann die Verhaltenserkennung bei der autoritären Wende spielen?

Davy Wang: Der Dual Use für Sicherheit und Kontrolle ist bei dieser Technologie systeminhärent. Die kann in demokratischen Staaten in engen Grenzen grundrechtsschonend eingesetzt werden, aber in autoritären Staaten auch dazu genutzt werden, marginalisierte Gruppen bei Protesten zu überwachen. Das richtet sich je nach Einsatzform aus.

netzpolitik.org: Zahlen zum Erfolg der Technologie werden nicht veröffentlicht. Kann es sein, dass hier vor allem getestet wird, ob sich so eine Überwachungsmaßnahme ohne größere Widerstände durchsetzen lässt?

Davy Wang: Das ist ein berechtigter Verdacht. Dazu passt auch, dass in keinem der Polizei-Gesetze eine unabhängige Evaluation der Verhaltenserkennung festgeschrieben ist.