Verhaltensanalyse-Software legt eine Art Strichmännchen über die Gliedmaßen abgebildeter Menschen. Anhand der Bewegungen dieses Vektorenbündels schätzt sie, welches Verhalten zu sehen ist. Bei vorab festgelegten Kategorien schlägt sie Alarm. In Mannheim sind das aktuell Schläge, Tritte, Schubser und abwehrende Körperhaltungen. In Hamburg wird auch detektiert, wenn jemand liegt.

Berlin will bald ebenfalls eine derartige Software einsetzen, Baden-Württemberg will sie auf Heidelberg ausweiten, in Bremer Tram-Bahnen läuft sie bereits. In Niedersachsen, Sachsen, Schleswig-Holstein und Thüringen sind Gesetzesentwürfe dazu in der Abstimmung. Es wird künftig wohl immer mehr Areale geben, in denen KI prüft, ob sich die Anwesenden artig benehmen.

Zeit also, sich die Technologie mal genauer anzuschauen: Welche Auswirkungen hat sie auf die Grundrechte der Betroffenen, wo liegen die größten Risiken bei der Implementierung und welche Rolle kann sie bei der drohenden autoritären Wende spielen? Das haben wir Davy Wang gefragt, Jurist bei der Gesellschaft für Freiheitsrechte.

„Ein subtiles Gefühl des Überwacht-Seins“

netzpolitik.org: Herr Wang, Berlin will bald Verhaltenserkennungs-Kameras an vermeintlich besonders kriminalitätsbelasteten Orten installieren. Liegen diese Orte in Ihrem Lebensradius?

Davy Wang: Im Görlitzer Park bin ich in meiner Freizeit gelegentlich, am Kottbusser Tor oder an der Warschauer Straße steige ich manchmal in Bahnen.

netzpolitik.org: Werden Sie sich dort sicherer fühlen, wenn die Verhaltenserkennung läuft?

Davy Wang: Ich fühle mich da aktuell nicht unsicher. Aber wenn die Verhaltenserkennung kommt, wird das sicher ein subtiles Gefühl des Überwacht-Seins auslösen.

netzpolitik.org: Welche Auswirkungen hat die Technologie auf die Grundrechte der Menschen, die da langlaufen?

Davy Wang: Da ist meine Privatsphäre betroffen und die aller anderen Menschen, die sich da bewegen. Konkret bedeutet dies eine Einschränkung des Grundrechts auf informationelle Selbstbestimmung. Nach dem darf eigentlich ich darüber bestimmen, wer meine Daten erfasst und nutzt. Darüber hinaus kann so eine Überwachung Menschen davon abhalten, den Ort zu besuchen, und sich darauf auswirken, wie sich Menschen dort verhalten. Das hat dann beispielsweise auch Auswirkungen auf die Versammlungsfreiheit.

„Keine Zahlen, die die Wirksamkeit belegen“

netzpolitik.org: Werden da alle Passant*innen unter Generalverdacht gestellt?

Davy Wang: Von beiden Systemen werden erst einmal alle Menschen erfasst.

netzpolitik.org: Und ist das Problem, das mit der Überwachung gelöst wird, diesen massiven Grundrechtseingriff wert?

Davy Wang: Aus den Pilotprojekten gibt es keine Zahlen, die die Wirksamkeit belegen. Dabei gibt es sehr hohe Anforderungen. Denn die Anlagen erfassen viele tausend Menschen täglich, die Betroffenen wissen nie genau, ob ihre Daten gerade verarbeitet werden, und dann wird noch ein sehr intransparentes KI-System benutzt, dessen Schlussfolgerungen nicht nachvollziehbar sind. Bei einem derart strengen Eingriff in die Grundrechte bräuchte es strenge Anforderungen und Belege, dass die Technologie wirksam ist.

netzpolitik.org: Solche Systeme haben immer eine gewisse Rate von False Positives. Das sind Alarme, die auf einem Fehler, einem falschen Verdacht beruhen. Ist da die Verfolgung Unschuldiger schon eingepreist?

Davy Wang: Es ist ein Problem, wenn ein Maximum für diese Rate nicht fest vorgegeben ist. Dann kann die Polizei frei einschätzen, wie viele Fehl-Verdächtigungen sie noch akzeptabel findet. In Berlin wurde die maximale Fehlerrate jetzt in einer Ausschreibung benannt: bis zu 25 Prozent. Jeder vierte Alarm würde dann versehentlich ausgelöst. Das ist ziemlich viel. Da werden viele Verhaltensweisen erfasst, die völlig unproblematisch sind. Und dann kann es auch sein, dass Menschen zum Opfer von Anschlussmaßnahmen werden, die gar nichts getan haben. In den Landespolizeigesetzen steht ja auch gar nicht, welche Verhaltensweisen mit dem Scanner gesucht werden können. Da steht einfach nur: Verhaltensweisen, die auf Straftaten hindeuten. Welche gesucht werden, liegt dann im Ermessen der Exekutive.

„Es gibt einen politischen Druck“

netzpolitik.org: Wie kommt das eigentlich, dass diese Technologie gerade so unglaublich beliebt ist?

Davy Wang: Die Polizeien in den Bundesländern und auf Bundesebene wollen ihre Digitalisierung vorantreiben. Die wollen jetzt auch KI-Systeme nutzen, um vermeintlich effektiver Straftaten verhüten zu können. Da sehe ich die Gefahr, dass man sich öffentlich der Rhetorik bemüht, dass die Anlage verhältnismäßig sei, weil sie beispielsweise keine Gesichter analysiert. Es gibt auch einen politischen Druck, nach öffentlichkeitswirksamen Gewaltvorfällen zu handeln und beispielsweise die Videoüberwachung weiter auszubauen.

netzpolitik.org: In der Logik der Verfechter ist die Technik Privatsphäre-freundlicher als konventionelle Videoüberwachung, weil ja nicht mehr unbedingt immer ein Mensch zuschaut. Als wäre es keine Überwachung, wenn uns ein Computer analysiert. Was sagen Sie dazu?

Davy Wang: Das ist trotzdem auch eine Überwachung und auch ein Grundrechtseingriff. Wenn die Polizei durch ein KI-System personenbezogene Daten erfasst, ist es ein Eingriff in die Privatsphäre. Und diese Überwachung kann zu Ingewahrsamnahme und anderen Anschlussmaßnahmen führen.

netzpolitik.org: Müsste die Eingriffsschwelle für die Verhaltenserkennung nicht noch höher sein als die für Videoüberwachung? Immerhin ist es ja eine Art Videoüberwachung plus.

Davy Wang: Da würde ich definitiv zustimmen. Auch aus unserer Sicht ist die Eingriffsschwelle viel zu niedrig. Durch die Nutzung des KI-Systems und die automatisierte Auswertung enthält der Eingriff eine neue Qualität. Dabei hat das Bundesverfassungsgericht betont, dass automatisierte Auswertungen durch selbstlernende Systeme ein spezielles Eingriffsgewicht haben können, wenn die Entscheidungsfindung und Funktionsweise weder für die Betroffenen noch für die handelnde Behörde nachvollziehbar sind.

„Das kann diskriminierend wirken“

netzpolitik.org: Weil die Systeme menschliche Körper vor der Analyse in Vektoren umrechnen, also Hinweise auf Hautfarbe, Alter, Geschlecht entfernen, gelten sie nicht als diskriminierend. Was sagen Sie dazu?

Davy Wang: Das kann man nicht pauschal so sehen. Es gibt Berichte, dass unproblematisches Verhalten wie Liegen oder Taumeln erfasst wird. Das kann diskriminierend gegenüber bestimmten Personengruppen wirken. Und durch die Trainingsdaten kann ja auch ein Bias entstehen, dass dann Bewegungen bei bestimmten Gruppen eher falsch erkannt werden.

netzpolitik.org: Ein weiteres Argument für den Einsatz der Verhaltensanalyse ist die Effizienz. Führt die dann nicht automatisch zur Ausweitung – weil man mit den gleichen Kräften mehr Stadtgeschehen im Blick behalten kann?

Davy Wang: Das sehe ich als eine reale Gefahr. Die vermeintliche Effektivität kann dazu führen, dass immer mehr Orte die Technik einführen.

netzpolitik.org: Es heißt, letztlich entscheidet ein Mensch darüber, ob Einsatzkräfte zu einer Situation entsandt werden. Wie weit wird da die menschliche Verantwortung aufgelöst?

Davy Wang: Wenn der Mensch sich auf die Technik verlässt, neigt er dazu, ihren Empfehlungen zu folgen. Und die Entscheidungsfindung des KI-Systems ist für die Beamt*innen nicht nachvollziehbar, was ein Grundvertrauen in die Richtigkeit der Entscheidung begünstigt.

„Wir glauben, dass die Rechtsgrundlagen angreifbar sind“

netzpolitik.org: Welche Hebel hat die Zivilgesellschaft, um zu verhindern, dass die Technologie breit ausgerollt wird?

Davy Wang: Wir als GFF betreiben strategische Prozessführung. Eine Möglichkeit ist, wenn diese Systeme im Einsatz sind, dagegen zu klagen und zu versuchen, das zum Bundesverfassungsgericht zu bringen. Wir glauben, dass die Rechtsgrundlagen in mehreren Bundesländern angreifbar sind. Ansonsten kann man sich auch politisch engagieren. Durch Petitionen, durch Demonstrationen oder als Sachverständige im Gesetzgebungsverfahren. Was auch hilft, ist parlamentarische Kontrolle, beispielsweise mit Kleinen Anfragen.

netzpolitik.org: Was sagt die EU-KI-Verordnung zur Verhaltensanalyse?

Davy Wang: Die stuft sie als Hochrisiko-KI ein. Das bedeutet, es braucht eine Risikobewertung und Risikominderungsmaßnahmen, es gibt Sorgfalts‑, Berichts- und Aufsichtspflichten.

netzpolitik.org: Welche Rolle kann die Verhaltenserkennung bei der autoritären Wende spielen?

Davy Wang: Der Dual Use für Sicherheit und Kontrolle ist bei dieser Technologie systeminhärent. Die kann in demokratischen Staaten in engen Grenzen grundrechtsschonend eingesetzt werden, aber in autoritären Staaten auch dazu genutzt werden, marginalisierte Gruppen bei Protesten zu überwachen. Das richtet sich je nach Einsatzform aus.

netzpolitik.org: Zahlen zum Erfolg der Technologie werden nicht veröffentlicht. Kann es sein, dass hier vor allem getestet wird, ob sich so eine Überwachungsmaßnahme ohne größere Widerstände durchsetzen lässt?

Davy Wang: Das ist ein berechtigter Verdacht. Dazu passt auch, dass in keinem der Polizei-Gesetze eine unabhängige Evaluation der Verhaltenserkennung festgeschrieben ist.

Passwort-Manager sollen helfen, Zugangsdaten geschützt und sicher abzulegen und dabei Nutzerinnen und Nutzern die „Merkarbeit“ abnehmen. Dabei können die praktischen Helferlein auch noch Gerätegrenzen sprengen und die Zugangsdaten auf dem Smartphone und Desktop und Laptop gleichermaßen verwalten. Dazu liegen sie in der Regel Ende-zu-Ende-verschlüsselt in der Cloud. Auch im Speicher sollten die Passwörter nur für kurze Zeit entschlüsselt liegen. Hier patzt Microsofts Passwort-Manager im Edge-Browser jedoch.

In einem Post auf X macht Tom Jøran Sønstebyseter Rønning auf das Problem aufmerksam. Ein einfacher Test bestätigt die Schwachstelle. Bei aktiviertem Passwort-Manager in Microsoft Edge haben wir ein Konto mit dem Kennwort „Klartext-PW-Test“ angelegt. Um diese Daten einzusehen, abzurufen oder zu ändern, verlangt Microsoft Edge nach einer Authentifizierung mit Windows Hello. Damit wirken die Daten gut geschützt.

Für die Überprüfung haben wir den Browser geschlossen und Microsoft Edge neu gestartet. Edge hat dabei nur die eigene Startseite angezeigt. Nun lässt sich mit dem Taskmanager ein Speicherabbild des Browsers erstellen. Rund 670 MByte landeten dabei auf dem Laufwerk. Hier drin lieferte eine einfache Suche mit einem Hex-Editor nach „Klartext“ das ganze „Klartext-PW-Test“-Passwort zurück – das Passwort wurde noch nicht einmal verwendet, ist aber im Klartext im Speicher.

Unsichere Passwort-Haltung

Derartiger Umgang mit Passwörtern im Prozessspeicher ist seit Langem nicht mehr Stand der Technik. Nach gängigen Sicherheitskonzepten sollten Passwörter erst zum Zeitpunkt des Gebrauchs entschlüsselt und sehr kurz darauf auch wieder aus dem Speicher gelöscht werden. Dass Microsoft hier sogar alle Passwörter in den Speicher lädt, obwohl nicht einmal die Webseiten besucht wurden, auf denen sie eingesetzt werden, ist zudem ein eklatanter Anachronismus. Dabei handelt es sich um eine eigene Schwachstellenkategorie: CWE-316, „Cleartext Storage of Sensitive Information in Memory“. Microsoft sollte hier zügig nachbessern. Allerdings berichtet Itavisen.no, dass Rønning von Microsoft zur Schwachstellenmeldung als Reaktion erhalten habe, dass das eine bewusste Design-Entscheidung und beabsichtigt sei. Nutzerinnen und Nutzer sollten sich daher zur Sicherheit nach anderen Passwort-Managern umsehen.

Bei seinem Passwort-Manager-Test im vergangenen Dezember hat das Bundesamt für Sicherheit in der Informationstechnik (BSI) explizit den Microsoft-Edge-Passwortmanager ausgeklammert. Eine Prüfung von VPN-Software und Passwort-Managern im August 2024 fand jedoch ebenfalls derartige Schwachstellen in einigen Produkten.

(dmk)

Vergangene Woche hat die Cybergang ShinyHunters Daten vom Video-Dienst Vimeo ins Darknet gestellt, nachdem Vimeo offenbar kein Lösegeld dafür gezahlt hat. Jetzt hat das Have-I-Been-Pwned-Projekt sie aufgenommen: Rund 119.000 E-Mail-Adressen sind betroffen.

Vimeo hat bereits einen Datenabfluss eingeräumt. Der Anbieter hat demnach Kenntnis vom Einbruch beim Analysedienstleister Anodot. Unbefugte haben demnach auf bestimmte Vimeo-User- und -Kundendaten zugegriffen. Den Untersuchungen zufolge enthalten die Datenbanken im Wesentlichen technische Daten, Video-Titel und Metadaten sowie in einigen Fällen E-Mail-Adressen von Kunden. Es seien jedoch keine Vimeo-Videoinhalte, gültige Zugangsdaten von Nutzern oder Zahlungsinformationen darunter.

Daten bei Have-I-Been-Pwned eingepflegt

Betreiber Troy Hunt vom Have-I-Been-Pwned-Projekt (HIBP) hat nun die Daten mit einem Umfang von hunderten GByte erhalten und in die durchsuchbare Datenbank integriert. Die wuchs dadurch um 119.200 neue Einträge von E-Mail-Adressen an. Die Daten enthalten zudem neben der E-Mail-Adresse in einigen Fällen auch die Namen von Vimeo-Nutzern und -Nutzerinnen. Hauptsächlich besteht der Datenfundus demnach aber aus nicht weiter verwertbaren Videotiteln, technischen Daten und Metadaten.

Bösartige Akteure können jedoch die Daten wie E-Mail-Adressen und Namen für gezieltes und glaubwürdigeres Phishing missbrauchen – über die Inhaber ist immerhin bekannt, dass sie bei Vimeo registriert sind und dort etwa Videos schauen. Wer als Vimeo-Nutzer E-Mails mit diesbezüglichen Themen und Betreffs erhält, sollte daher aufmerksam bleiben und prüfen, ob die E-Mail tatsächlich echt sein kann.

Große Datenmengen, die die Cyberbande ShinyHunters gestohlen hat, landen öfter im HIBP-Fundus. Ende Februar kamen etwa Daten von 12,5 Millionen CarGurus-Kunden und -Kundinnen hinzu.

(dmk)