Erst Mannheim, dann Hamburg, dann die halbe Republik: Gerade breitet sich rasant eine Überwachungstechnologie aus, mit der die Polizei vollautomatisch Gewalt detektieren will. Wissenschaftler*innen haben die erste Ausbaustufe in Hamburg ein Jahr lang beobachtet, den medialen und parlamentarischen Diskurs dazu analysiert sowie zahlreiche Interviews mit unterschiedlichen Beteiligten und Betroffenen geführt. Das Projekt “Lokale Öffentlichkeiten und soziale Konflikte um KI-gestützte Sicherheitstechnologien“, kurz LoKI, war an der Uni Hamburg und der TU Chemnitz angesiedelt. Geleitet haben es Stephanie Schmidt und Philipp Knopp, Fabian de Hair hat als wissenschaftlichem Mitarbeiter mitgewirkt. Mit uns sprechen der Sozialwissenschaftler Knopp und der Kriminologe de Hair über die Forschungsergebnisse.

netzpolitik.org: Was haben Sie herausgefunden?

Philipp Knopp: Was da als Test gerahmt wird, ist mit dem Konzept Test eigentlich nicht ausreichend zu verstehen. Es gibt keine festgelegte Technik, die nach fixen Kriterien bewertet wird. Es ist eher ein Überwachungs-Experiment. Da werden eine Überwachungstechnologie und das Setting vor Ort kalibriert, das Verhältnis von Raum und Kamera optimiert. Gleichzeitig ändern sich die Anforderungen an die Beamt*innen, die jetzt bewerten müssen, ob die KI etwas richtig detektiert hat. Und es wurde ja auch der rechtliche Rahmen angepasst. Experiment ist nicht normativ gemeint. Wir wollen mit dem Begriff das Unfestgelegte aufzeigen. Es geht in Hamburg darum, ein experimentelles System zum Laufen zu bringen.

netzpolitik.org: Hamburg ist nach Mannheim die zweite deutsche Stadt, die Verhaltensscanner einsetzt. Zahlreiche weitere Städte und Länder haben Interesse an der Technologie angemeldet. Warum hat die gerade so einen Lauf?

Fabian de Hair: Die Technologie der sogenannten Bewegungsmusteranalyse gilt als vermeintlich bessere Alternative zur konventionellen und biometrischen Videoüberwachung. Es heißt, sie würde die Polizeiarbeit durch die Automatisierung einerseits erheblich effizienter machen, andererseits sei das technische Verfahren dazu besonders datenschutzsensibel. Überprüfbar ist das im derzeitigen Entwicklungsstadium nicht. Vielmehr wird mit einer Zukunftsvision der KI-Technologie argumentiert, deren konkrete Nutzungsszenarien offenbleiben.

Die Deutungen der vermeintlichen Vorzüge dieser KI-Überwachung finden sich insbesondere prominent im Mediendiskurs, der von Akteur*innen der inneren Sicherheit und ihren Bewertungen geprägt ist. Kritische Positionen kommen vor, aber werden nicht zum Anlass der Berichterstattung. Was sich da im Diskurs zeigt, nennen wir eine Purifizierung, eine rituelle Läuterung also, durch die bisherige zentrale Kritiken an Formen der Videoüberwachung direkt adressiert und gleichzeitig abgestreift werden. Die Purifizierung erhöht die Durchsetzbarkeit der Maßnahme, weil die Bewegungsmusteranalyse jetzt als sozusagen gute Überwachung erscheint.

Ausweitung in Aussicht

Philipp Knopp: Gleichzeitig drängt die Technologie auf ihre eigene Ausweitung. Für KI-Training braucht man Daten.

Fabian de Hair: Die Hoffnung ist: Je mehr Landespolizeien sich daran beteiligen, umso präziser wird das Modell.

netzpolitik.org: Das heißt, künftig werden immer mehr und mehr Areale damit überwacht?

Philipp Knopp: Es weiß noch niemand, worauf es am Ende hinauslaufen wird. Auch das Sondieren von Einsatzmöglichkeiten ist Teil des Experimentierens mit der neuen Technik. Es gibt die Idee des Black Screens, wo nur dann jemand auf den Bildschirm schaut, wenn die KI eine verdächtige Situation präsentiert. Dann gibt es die Variante, dass die KI als Assistenzsystem zusätzlich zur menschlichen Überwachung im Hintergrund läuft. Und dann gibt es noch Überlegungen, damit den Überwachungsbereich auszuweiten, weil man nicht mehr so viele Menschen braucht, um auf die Videobilder zu schauen und man davon ausgeht, dass diese Form der Überwachung nicht so stark in die Freiheitsrechte der Bürger*innen eingreift. Also hin zu einem Basislevel von Videoüberwachung von größeren Bereichen.

netzpolitik.org: Die Logik der Verhaltensscanner-Befürworter*innen ist: Weil da kein Mensch, sondern nur eine Software zuschaut, ist es keine Überwachung mehr.

Fabian de Hair: Das ist das Framing. Aber faktisch wird dabei die komplette Datenpipeline – also das technische Verfahren von der Vektorisierung menschlicher Körper auf Videobildern, über die Kategorisierung dieser Vektorenbündel bis zur Alarmierung – ausgeblendet. Die Praxis der Überwachung wird hier auf die Prüfung durch Polizeibeamt*innen, also das menschliche Sehen, reduziert.

99 von 100 zu Unrecht beobachtet?

netzpolitik.org: Ist die Technologie denn so effektiv wie von den Befürworter*innen erhofft?

Philipp Knopp: Es gibt da unterschiedliche Bewertungsmuster. Als Erfolg gilt auch schon die positive Resonanz von Medien und anderen Polizeien. Nach einem ersten Test wurden auch einige Kennzahlen vorgelegt. Allerdings wurden dabei die falsch-positiven Meldungen im Vergleich zu den korrekten Detektionen recht ungenau angegeben. Überwachungskritische Bewegungen haben daraufhin berechnet, dass nur etwa ein Prozent der Alarme eine korrekte Detektion war. Das heißt, in 99 von 100 Fällen wurden Menschen aus Sicht der Kritiker*innen zu Unrecht beobachtet.

netzpolitik.org: Angeblich verhindere die Verhaltensanalyse Diskriminierung, weil sie nicht berücksichtigt, welche Hautfarbe, welches Geschlecht oder Alter eine Person hat.

Fabian de Hair: Die Idee hinter dieser KI-Überwachung ist die Automatisierung von Verdachtspraktiken. Es geht um Kategorien wie zum Beispiel Schlagen, Treten, Liegen, Fallen. Der Mensch wird zu einem Bündel von Vektoren umgerechnet, wodurch der soziale Kontext eines Ortes, einer Situation oder einer Bewegung gelöscht wird. Dabei kann eine Bewegung je nach Kontext verschiedene Bedeutungen haben. Und es lässt sich auch an bestimmten Verhaltensweisen feststellen, ob jemand zu einer marginalisierten Gruppe gehört. An einem Ort wie dem Hamburger Hansaplatz, wo es unter anderem Straßenprostitution gibt, hat Stehen eine soziale Bedeutung. Weil ebenso Obdachlose den Platz nutzen, hat auch Liegen eine soziale Bedeutung. Und in der technischen Formatierung werden diese Bewegungen dann in einen Verdacht übersetzt.

Die Polizei als Akteur in der Datenökonomie

netzpolitik.org: Die Rechte für die Technologie liegen beim Fraunhofer IOSB, einer Forschungsorganisation. Trainiert wird sie mit den Daten von zahllosen Menschen in Mannheim und Hamburg.

Philipp Knopp: Das ist auch etwas Neues, das sich durch die rechtlichen Neuerungen im Hamburger Polizeigesetz anbahnt. Die Polizei wird zum Akteur in einer globalen Datenökonomie rund um KI-Training, zum Datenlieferanten. Diese Entwicklung ist nicht auf den Hamburger Fall beschränkt. Auch in anderen Bundesländern versteht die Polizei zunehmend, dass sie über besondere Daten und eine seltene Anwendungsumgebung verfügt, die sie für die Technologieentwicklung einsetzen will.

Fabian de Hair: Das ist eine sehr spezielle Form der Datenverarbeitung, die besondere Aufmerksamkeit bedarf.

Philipp Knopp: Da ist auch immer die Frage, welche sozialen Gruppen sind davon betroffen, wessen Alltag wird in diesen Daten festgehalten. Die Verhaltensanalyse wird in Hamburg auf einem Platz getestet, wo Menschen sich nicht so gut wehren können wie in einem noblen Viertel. Da gibt es viele Menschen, die keine deutschen Staatsbürger*innen sind. Es gibt Wohnungslose, Trinker*innen, Menschen, die viel Zeit auf der Straße verbringen und nicht beispielsweise in Parteien organisiert sind. Ihnen fehlen die politischen Einflussmöglichkeiten und teilweise sind die überwachten Orte für diese Menschen sehr wichtig. Sie können nicht einfach woandershin ausweichen und werden notgedrungen Teil dieses KI-Trainings.

Tanz als Widerstand

netzpolitik.org: In Hamburg sind auch Grüne und Datenschutzbehörden einverstanden mit der Verhaltensanalyse. Gibt es denn überhaupt noch Gegner*innen?

Fabian de Hair: Ja, definitiv. Das Bündnis Hansaplatz zum Beispiel. Die Aktivist*innen haben eine Demo und Veranstaltungen zum Thema organisiert sowie die Entwicklung kritisch begleitet. Es gibt auch noch andere nachbarschaftliche Organisationen am Hansaplatz, die sich ebenfalls kritisch äußern. Aber sie sind, wie bereits erwähnt, medial nicht durchgedrungen mit ihrer Position, dass es sich um eine weitergehende Kriminalisierung sozialer Probleme handele.

netzpolitik.org: Was können kritische Akteur*innen tun, um im Diskurs mehr Gewicht zu bekommen?

Philipp Knopp: Diese Tests mit Bewegungsdetektion haben interessante neue Formen der Widerständigkeit hervorgebracht: Tanzperformances, die die angenommene Korrelation von Bewegung und Kriminalität hinterfragen. Das gab es in Mannheim und darüber haben Medien dann auch berichtet. Was sich außerdem gezeigt hat: Die meisten Bündnisse, die sich mit solchen Überwachungsprojekten beschäftigen, überlegen, wie sie eine soziale Basis aufbauen und alternative Sicherheitskonzepte weiterentwickeln können wie etwa soziale Sicherheit. Sie schauen über den Anlass Kamera hinaus und stellen die Frage: Welche Probleme gibt es im Viertel und wie können wir damit arbeiten?

Fabian de Hair: Unsere Interviews zeigen, dass fehlende Transparenz seitens der Überwachungs-Betroffenen bemängelt wird. Eine Informationsgrundlage herzustellen, mit der Zivilgesellschaft und Wissenschaft agieren können, ist hier insofern elementar. In Hamburg hat Die Linke als Oppositionspartei mit vielen Kleinen Anfragen dazu beigetragen.

Das Gefühl, beobachtet zu werden

netzpolitik.org: Die Verhaltensanalyse sucht sogenanntes atypisches Verhalten. Geht damit die Gefahr einher, dass Menschen sich im Überwachungsbereich angepasster verhalten?

Philipp Knopp: Es ist schwierig, das empirisch zu belegen. Die Wirkung von Videoüberwachung lässt sich schlecht isolieren. In Medienberichten kam aber heraus, dass sich Menschen, die viel auf dem Platz sind, permanent beobachtet fühlen.

netzpolitik.org: Wenn eine KI die Videos beobachtet statt eines Menschen – wird dann die Überwachung entmenschlicht?

Philipp Knopp: Die Automatisierungsleistung der Technologie ist es, den Bürger und den Notruf auszuklammern aus der Verbindung von Polizei und Ereignis. Die Polizei muss nicht mehr hinzugerufen werden – sie kommt von alleine. Befürworter*innen sehen darin durchaus etwas Positives: Die Polizei wird unabhängig von den Bürger*innen und deren Wachsamkeit und Courage.

Die andere Seite der Medaille ist allerdings, dass gerade diese Abhängigkeit die Polizei zur Bürgernähe anhält. Um ihre Aufgabe zu erfüllen, muss sie nämlich daran arbeiten, dass die Bevölkerung ihr vertraut. Für eine demokratische Polizei ist diese Abhängigkeit von der Bevölkerung ein notwendiges Momentum externer Kontrolle. Dieser Effekt kann durch die Automatisierung abgeschwächt werden. Sie verschiebt das Verhältnis zwischen Bevölkerung und Polizei in eine bestimmte Richtung.

netzpolitik.org: Ist die KI-Überwachung eine politische Maßnahme, um Handlungsfähigkeit zu suggerieren?

Philipp Knopp: Diese Annahme wird in Studien zu Videoüberwachung häufig geäußert. Kameras sind auf jeden Fall ein kostengünstiges Mittel, um zu sagen: Wir tun etwas.