„Neon – Money Talks“ war vergangene Woche auf iPhones in den USA die viertmeistinstallierte Anwendung, noch vor Google und Whatsapp. Das lag allein am Geld: Neon zeichnet mithilfe der App initiierte Telefongespräche auf und schüttet dafür 15 US-Cent pro Minute aus. Die Aufnahmen, so der Betreiber, würden dann für Trainings Künstlicher Intelligenzen weiterverkauft, bereinigt um personenbezogene Daten. Inzwischen ist Neon offline, weil die Aufnahmen samt Transkripts und Useridentitäten allesamt frei im Netz gelandet sind.

Das ist zwar ausdrücklich kein Verstoß gegen die Vertragsbedingungen, in denen sich die Betreiberfirma Neon Mobile, Inc., unter anderem herausnimmt, alle Aufnahmen öffentlich aufzuführen, zum öffentlichen Abruf bereitzustellen und abgeleitete Werke zu erstellen. Doch es ist ein Verstoß gegen das eigene Geschäftsmodell: Betreiber großer KI-Firmen haben keine Skrupel, sich auch ohne Lizenz an fremden Werke aus dem Internet zu bedienen. Stehen die Neon-Aufnahmen frei im Netz, haben solche Leute keinen Anreiz, dafür zu bezahlen. Damit könnte Neon Mobile nicht ausschütten.

Aufgedeckt hat das Problem Techcrunch bei einem Kurztest der App. Es reichte, die App zu installieren, um Zugriff auf den gesamten Cloudspeicher aller Teilnehmer zu erlangen. Bei der Übertragung der Aufnahmen wurde offenbar deren transkribierter Text sowie die URL der Tondatei im Klartext übertragen, was jeder Nutzer der App mit einem Network-Sniffer mitlesen konnte. Wer die URL kannte, konnte mit jedem Webbrowser darauf zugreifen, ohne Passwortschutz.

Durch leichte Veränderung der Webadresse konnte Techcrunch die jüngsten Aufnahmen aller Neon-Teilnehmer abrufen. Sogar die Metadaten samt beteiligter Telefonnummern und ausgeschütteter Beträge waren frei verfügbar. Die Journalisten informierten Neon-Gründer Alex Kiam, der seine Server daraufhin offline nahm. „Wir nehmen die App vorübergehend offline, um zusätzliche Sicherheitsebenen einzuziehen“, sagte er seinen Nutzern. Auf die erfolgte Preisgabe ihrer Daten und Aufnahmen wies er dabei nicht hin.

Vierfache Ausschüttung bei Vollduplex

Um rechtliche Abhörverbote nicht zu verletzen, nimmt Neon laut Eigenbeschreibung nur den lokalen Ton vom Handy selbst auf, nicht den Ton des Gesprächspartners am anderen Ende der Leitung. Nur wenn beide Gesprächspartner Neon-Teilnehmer sind, erhält Neon Mobile das volle Telefonat. Weil das deutlich aussagekräftiger ist, winken dann jedem der Teilnehmer 30 Cent pro Minute.

Die App ist nach wie vor in den US-App-Stores sowohl Apples als auch Googles gelistet. Die Vertragsklauseln Neons sind ein juristisches Minenfeld für Teilnehmer.

(ds)

Die Berliner schwarz-rote Koalition will ein neues Polizeigesetz beschließen, das in Berlin unter dem Namen Allgemeines Sicherheits- und Ordnungsgesetz (ASOG) firmiert. Berlin folgt damit einer ganzen Reihe von Bundesländern, die ihre Polizeigesetze in den letzten Jahren verschärft haben. An der Berliner Gesetzesnovelle gibt es breite Kritik sowohl von der demokratischen Opposition im Parlament wie auch von der Berliner Datenschutzbeauftragten und Menschenrechtsorganisationen wie der GFF.

Anlässlich der Sachverständigenanhörung am Montag protestieren vor dem Roten Rathaus Lilly und Kiki. Sie verteilen Flyer mit der Aufschrift „Nein zu Massenüberwachung und der Kriminalisierung von Protesten“. Sie sind Teil eines Bündnisses zivilgesellschaftlicher Gruppen wie Amnesty International oder dem Komitee für Grundrechte und Demokratie.

„Überall werden Gelder gekürzt, aber für Videoüberwachung ist dann plötzlich Geld da. Dabei verhindert die keine Straftaten, sondern kriminalisiert marginalisierte Gruppen und spaltet den öffentlichen Raum“, sagt Lilly. Dass die Unverletzlichkeit der Wohnung durch die Gesetzesnovelle eingeschränkt wird, sehen die beiden ebenso kritisch.

„Abkehr von der grundrechtsfreundlichen Politik“

Auch in der Sachverständigen-Anhörung hagelt es Kritik für den Entwurf. So sieht die Berliner Datenschutzbeauftragte Meike Kamp eine Vielzahl neuer Datenverarbeitungsermächtigungen und eine erhebliche Ausweitung der Befugnisse der Polizei. Aufgrund der Detailtiefe – die Gesetzesnovelle ist 700 Seiten stark – habe ihre Behörde nicht einmal alle Vorschriften analysieren können.

Das Volumen der geplanten Änderungen kritisiert auch Innenpolitiker Niklas Schrader von der Linken. Denn so umfangreich wie der Gesetzentwurf sei auch der Überarbeitungsbedarf: „Ich bin mir nicht sicher, ob das in dem kurzen Zeitplan, den Sie uns gegeben haben, schaffbar ist“, sagt er bei der Anhörung.

Eine „Abkehr von der grundrechtsfreundlichen Politik“ in Berlin beklagte der Jurist David Werdermann von der GFF sowohl in seiner Stellungnahme (PDF) wie auch in der Anhörung. Zwar versuche der Entwurf die Rechtsprechung des Bundesverfassungsgerichts nachzuzeichnen, das gelinge allerdings nicht immer.

Ein Hauptkritikfeld an dem Gesetz ist laut Werdermann das Festhalten am Konstrukt der „krininalitätsbelasteten Orte“. An diesen dürfen in Zukunft nicht nur anlasslose Kontrollen durchgeführt werden, sondern auch Videoüberwachungsmaßnahmen. Das Gesetz erlaube zudem die Videoüberwachung von öffentlichen Veranstaltungen und die Auswertung des Videomaterials mit sogenannter KI. Werdermann warnt hier vor einem höheren Überwachungsdruck auf Menschen mit atypischen Verhalten wie beispielsweise Wohnungslosen oder Personen mit körperlichen Einschränkungen.

Berliner Senat will Verhaltenscanner gegen Bevölkerung einsetzen

Kritik hat die GFF auch am Einsatz von Staatstrojanern und daran, dass die Polizeibehörden in Zukunft heimlich Wohnungen betreten dürfen, um diese zu installieren. „Ich habe da große Bauchschmerzen mit“, sagt Werdermann. Insgesamt wird durch das neue ASOG die Schwelle zum Einsatz der Staatstrojaner und zur Überwachung von Wohnungen deutlich herabgesetzt.

Ebenso kritisch sieht Werdermann den nachträglichen biometrischen Abgleich mit öffentlich zugänglichen Daten: „Jedes Foto, das möglicherweise ohne das Wissen und Einverständnis der betroffenen Person ins Netz gestellt wird, kann zu Überwachungszwecken genutzt werden“, sagt Werdermann. Es sei nach der neuen Gesetzeslage nicht mehr möglich, an einer Versammlung teilzunehmen, ohne damit rechnen zu müssen, dass Fotos, die beispielsweise von der Presse veröffentlicht werden, anschließend von der Polizei für einen Abgleich genutzt würden.

„Freifahrtschein für Massenüberwachung“

„Die Vorschrift schließt zudem weder den Aufbau einer biometrischen Referenzdatenbanken auf Vorrat noch die Nutzung von kommerziellen Datenbanken aus“, schreibt Werdermann in seiner Stellungnahme. Beides sei jedoch mit der KI-Verordnung und dem Recht auf informationelle Selbstbestimmung nicht vereinbar.

Werdermann verweist in der Stellungnahme darauf, dass der Aufbau einer umfassenden biometrischen Referenzdatenbank – bestehend aus öffentlich zugänglichen Lichtbildern, Videos und Tonaufnahmen aus dem Internet – unverhältnismäßig in Grundrechte eingreift. Das Bundesverfassungsgericht habe mehrfach herausgestellt, dass biometrische Daten besonders schutzwürdig seien. „Durch den Aufbau einer Datenbank, um biometrische Daten vorzuhalten, wären Grundrechte von Millionen, wenn nicht Milliarden von unbeteiligten Personen betroffen, die keinen Anlass für polizeiliche Überwachung gegeben haben“, so Werdermann weiter.

Statt konsequent gegen rechtswidrige Angebote wie PimEyes vorzugehen, schaffe der Senat mit dem Entwurf eine Grundlage für biometrische Massenüberwachung durch die Berliner Polizei, schreibt Werdermann. Diese kritisiert auch die grüne Innenpolitikerin Gollaleh Ahmadi. Sie sieht in der Gesetzesnovelle einen „Freifahrtschein für Massenüberwachung“.

Berlins Datenschutzbeauftragte Meike Kamp kritisiert auch die Verarbeitung von Daten zum Training von KI-Systemen. Hier dürfe zuviel Material ohne Eingriffsschwelle und Löschfristen genutzt werden, sie gehe zudem davon aus, dass auch nicht-anonymisierte Klardaten verarbeitet würden. Daten, die einmal zum Training von Künstlicher Intelligenz genutzt wurden, ließen sich nicht mehr löschen, betont Kamp. Zudem vermute sie, dass solche Daten auch in automatisierten Analyseplattformen landen, deren Nutzung der Berliner Polizei künftig erlaubt sein soll. Zu solchen Plattformen gehört auch die Software „Gotham“ vom umstrittenen US-Unternehmen Palantir.

Präventive Funkzellenabfrage

Ebenso zu wenig geregelt seien die Funkzellenabfragen, wo die Eingriffsschwellen zu niedrig seien. Hier sei auch davon auszugehen, dass Funkzellendaten für KI-Training genutzt werden. „Durch die Verknüpfung der erhobenen Daten mit automatisierten Analyseplattformen lassen sich detaillierte Bewegungsprofile erstellen. Dies ermöglicht Rückschlüsse auf politische Aktivitäten, soziale Beziehungen und persönliche Gewohnheiten der Betroffenen“, schreibt die Berliner Datenschutzbeauftragte in ihrer Stellungnahme (PDF).

Der grüne Innenpolitiker Vasili Franco kritisiert, dass die Funkzellenabfragen in Zukunft auch gegen Personen gerichtet sein können, die nur vermutlich an einer Straftat teilnehmen werden. Damit verschiebt das neue Polizeigesetz die Funkzellenabfragen von der nachträglichen Ermittlung in den präventiven Raum.

Sowohl Sachverständige wie auch Oppositionspolitiker:innen verwiesen in der Anhörung darauf, dass man das verschärfte Polizeigesetz auch vor dem Hintergrund des Rechtsrucks sehen müsse – und dass man damit einer möglichen autoritären Regierung Werkzeuge in die Hand gebe.

Dokumente

Stellungnahmen von Sachverständigen zur Novelle des Berliner ASOG

Diese Software erkennt, was du tust. Sie bestimmt anhand von Videobildern, was auf dem überwachten Areal gerade passiert. Sie untersucht, ob jemand steht, sitzt, kniet, läuft, rennt, tanzt, taumelt, liegt, kämpft, würgt, etwas trägt, zieht oder schiebt, Fahrrad- und Roller fährt, eine andere Person umarmt oder festhält. Und in Zukunft soll die Liste noch erweitert werden.

Die Technologie ist in Mannheim seit sieben Jahren und in Hamburg seit Anfang September im testweisen Einsatz und noch fern davon, wirklich praktischen Nutzen zu entfalten. Weiterhin müssen Menschen die Bildschirme kontrollieren und die Alarme der KI werden hauptsächlich zu ihrer Weiterentwicklung genutzt, so die Mannheimer Polizei auf netzpolitik.org-Anfrage.

Dennoch zieht das System deutschlandweit das Begehren zahlreicher Kommunen auf sich. Berlin will sich ebenfalls der Runde der testenden Städte anschließen, das bekannte der Senat gerade in einer Anhörung des Innenausschusses. Dort hieß es mit Bezug auf Mannheim und Hamburg: „Wir hoffen, in das Kooperationsprojekt einsteigen zu können, um das System mit den anderen Partnern zu entwickeln.“

KI-Kameras am Görlitzer Park

Dabei bieten die beteiligten Städte nur die Testumgebung und die Laborratten – meist arglose Passant*innen der Überwachungskameras. Entwickelt wird das System vom Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung. Dieses hat auch das alleinige Recht zur kommerziellen Vermarktung der Verhaltenserkennungs-KI, sich allerdings dazu bereit erklärt, vorläufig noch darauf zu verzichten.

Nach dem neuen Berliner Polizeigesetz, das unter anderem die rechtliche Grundlage für das KI-Training liefern und noch dieses Jahr im Abgeordnetenhaus beschlossen werden soll, kann die KI mit verschiedenen Arten von Videobildern gefüttert werden. Vor allem wären da Bilder von Überwachungskameras, die Berlin künftig an sogenannten kriminalitätsbelasteten Orten – wie zum Beispiel dem Görlitzer Park – erlauben will. Dazu können aber auch Videos von öffentlichen Veranstaltungen und Ansammlungen und Aufnahmen von gefährdeten Gebäuden und Objekten, sowie Übersichtsaufnahmen zur Vorbereitung, Lenkung und Leitung von Einsätzen, wie sie aktuell aus Hubschraubern und künftig auch aus Drohnen aufgenommen werden können, per Algorithmus nach bestimmten Verhaltensmustern durchsucht werden dürfen.

„Die Gefahr ist nicht von der Hand zu weisen, dass dann große Teile der Berliner Innenstadt nicht mehr unüberwacht passiert werden können“, sagte Meike Kamp, Berliner Datenschutzbeauftragte bei der Sachverständigenanhörung im Berliner Abgeordnetenhaus. David Werdermann, Jurist von der Gesellschaft für Freiheitsrechte (GFF) fügte hinzu: „Es ist zu befürchten, dass Menschen, die sich atypisch im öffentlichen Raum verhalten – wie wohnungslose oder körperlich eingeschränkte – von der Software als gefährlich erkannt werden und damit erhöhtem Überwachungsdruck ausgesetzt sind.“

„Lieber einmal zuviel“

Die Polizeipräsidentin Barbara Slowik Meisel verteidigte den geplanten KI-Einsatz. Ihr Hauptargument: Effizienz. Die Aufgaben der Polizei würden wachsen, während die Nachwuchsgewinnung schwierig sei. „Ohne technologische Unterstützung werden wir die Sicherheit der Stadt nur noch immer begrenzter gewährleisten können.“ Deshalb wünsche sie sich das „Mannheimer System“, „das bestimmte Szenarien erkennt um dann Internventionskräfte zu alarmieren. Das ist deutlich ressourcenschonender.“

Dabei übersieht Slowik Meisel, dass die Technologie in Mannheim aktuell keinerlei Arbeitserleichterung bringt, sondern eher Kräfte bindet. Slowik Meisel würde die KI zudem so kalibrieren, dass sie viele falschpositive Ergebnisse liefern, die dann gegebenenfalls zu erhöhtem Arbeitsaufwand und Überwachungsdruck auf Unschuldige führen. „Lieber kommen wir einmal zu viel, wenn das System zu schnell anschlägt, als einmal zu wenig“, sagte sie.