Connect with us

Datenschutz & Sicherheit

AI Forensics gegen BigTech: „Es kann zu Vergeltungsmaßnahmen gegen uns kommen“



AI Forensics gegen BigTech: „Es kann zu Vergeltungsmaßnahmen gegen uns kommen“

Bei der Durchsetzung europäischer Digitalgesetze sind die EU-Kommission und nationale Behörden nicht auf sich allein gestellt. Vor allem für die Sammlung von Beweisen stützen sie sich oft auf die Arbeit externer Organisationen wie AI Forensics.

Die gemeinnützige Organisation analysiert und untersucht die Algorithmen, die die Informationslandschaft prägen. Mit Sitz in Paris versteht sie sich als europäische Organisation, deren Mitarbeitende über den ganzen Kontinent verstreut sind.

In einem Interview mit netzpolitik.org erzählt Marc Faddoul, Gründer und Direktor von AI Forensics, von den Erfahrungen bei der Zusammenarbeit mit Regulierungsbehörden und zeigt auf, wie die Rahmenbedingungen verbessert werden könnten: durch flexible Finanzierung und rechtlichen Schutz.

Mitwirkung hinter den Kulissen

netzpolitik.org: Wir fragen oft, ob die EU-Kommission oder die nationalen Behörden über genügend Personal verfügen, um das Gesetz über digitale Dienste (DSA) durchzusetzen, aber niemand erwähnt jemals Mitwirkende wie euch. Ich nehme an, das liegt zum Teil daran, dass ihr nicht über alles sprechen dürft, was ihr zu Untersuchungen beitragt …

Marc Faddoul: In gewisser Weise bin ich manchmal selbst schockiert. Über die Rolle, die wir in diesen großen politischen Kontexten spielen, darüber, wie viel auf die Zivilgesellschaft zurückfällt.

Ich bin mir nicht einmal sicher, ob die Anzahl der Personen ausschlaggebend ist. Es geht eher um das spezifische Fachwissen, das für diese Arbeit erforderlich ist. Das ist nicht unbedingt das Profil, das von Institutionen angezogen wird.

Und auch die Methoden: Wir müssen oft unkonventionelle und „konfrontative Methoden“ anwenden, um unsere Arbeit zu erledigen. Das ist nicht das, was Institutionen am besten können.

netzpolitik.org: Fangen wir also ganz am Anfang an. Was genau macht ihr?

Marc Faddoul: Wir haben uns intensiv mit Empfehlungssystemen in sozialen Medien beschäftigt, da diese früher – und auch heute noch weitgehend – das einflussreichste algorithmische System bei der Auswahl der Informationen sind, die wir konsumieren. Wir beschäftigen uns zunehmend mit Chatbots, da diese zu den neuen Gatekeepern von Online-Inhalten werden.

Unsere Zielgruppe ist die breite Öffentlichkeit, meist über Journalist:innen. Und wir richten uns gezielter an Regulierungsbehörden und politische Entscheidungsträger:innen, um politische Entscheidungsprozesse zu beeinflussen und insbesondere bestehende Gesetze durchzusetzen.

Unsere Berichte sind stets datengestützt. Wir sammeln Daten, auch zu Systemen, für die es keine offiziellen Datenzugriffsmechanismen gibt. Dazu nutzen wir sogenannte „konfrontative Methoden“, die es uns ermöglichen, öffentlich zugängliche Inhalte direkt aus diesen Diensten zu scrapen und so zu analysieren, wie sie sich unter verschiedenen Bedingungen und für verschiedene Nutzende verhalten.

netzpolitik.org: Du hast die Durchsetzung von Gesetzen angesprochen. Gibt es neben dem Digital Services Act noch andere Gesetze, die ebenfalls von großer Bedeutung sind, oder ist das derzeit wirklich das wichtigste?

Marc Faddoul: Es ist definitiv das wichtigste.

Erstens, weil es auf europäischer Ebene angesiedelt ist. Wenn man es mit diesen riesigen Tech-Giganten zu tun hat, braucht man eine ausreichend starke wirtschaftliche Macht, um seine Regeln durchsetzen zu können.

Zweitens umfasst es durch den Begriff der systemischen Risiken eine Vielzahl von Aspekten: Integrität von Wahlen, Risiken für die psychische Gesundheit, durch Technologie begünstigte geschlechtsspezifische Gewalt. In diesem DSA-Artikel wird eine ganze Reihe von Risiken erfasst, was den DSA zu einem der bislang flexibelsten Rechtsrahmen macht.

Aber wir arbeiten nicht nur am DSA. Kürzlich haben wir diese Studie durchgeführt, die die Verbreitung nicht-einvernehmlicher intimer Bilder und die Produktion von Missbrauchs-Darstellungen durch Grok aufdeckt. Beide Themen werden auch von vielen anderen Gesetze abgedeckt, sowohl in Europa als auch weltweit. In diesen Fällen arbeiten wir auch mit anderen Regulierungsbehörden zusammen, etwa in Australien, Großbritannien und Kalifornien.

netzpolitik.org: Und wie genau arbeitet ihr mit den Regulierungsbehörden zusammen? Macht ihr diese auf bestimmte Themen aufmerksam oder erhaltet ihr Aufträge von ihnen?

Alles netzpolitisch Relevante

Drei Mal pro Woche als Newsletter in deiner Inbox.

Marc Faddoul: In vielen Fällen führen wir eigene Untersuchungen durch und machen die Regulierungsbehörden dann darauf aufmerksam. Das geschieht also wirklich auf eigene Initiative.

In anderen Fällen wenden sich die Regulierungsbehörden mit konkreten Anfragen an uns. Das kann gegen Bezahlung oder im Rahmen eines Vertrags geschehen, muss aber nicht immer so sein.

Zum Teil unbezahlte Arbeit

netzpolitik.org: Und wenn es nicht bezahlt wird, warum macht ihr die Arbeit dann trotzdem?

Marc Faddoul: Wenn es unbezahlt ist, machen wir es trotzdem, weil es im Einklang mit dem Auftrag unserer Organisation steht, Plattformen gegenüber den Nutzenden und dem Gesetz zur Rechenschaft zu ziehen.

Aber natürlich gibt es Grenzen dafür, wie viel wir unter diesen Bedingungen leisten können, daher kann es nicht systematisch sein.

Es mangelt eindeutig an Finanzierungsmechanismen seitens der Institutionen, um das Ökosystem zu unterstützen. In gewisser Hinsicht entstehen zwar neue Mechanismen, aber sie sind noch recht begrenzt.

netzpolitik.org: Wer entscheidet über die Finanzierung und wie sollte sie eurer Meinung nach verbessert werden?

Marc Faddoul: Auf europäischer Ebene ist jetzt ein wichtiger Moment, da gerade die Verhandlungen über den mehrjährigen EU-Haushalt laufen. Ich denke, das ist eine große Chance, auf eine flexiblere Finanzierung hinzuwirken.

Einer der größten Kritikpunkte ist derzeit, dass ein Großteil der Mittel über Ausschreibungen des Horizont-Programms bereitgestellt wird. Bei denen handelt es sich in der Regel um dreijährige Projekte, die in einem großen Konsortium aus zehn oder mehr Organisationen durchgeführt werden müssen.

Das ist ziemlich unflexibel, da man drei Jahre im Voraus nicht vorhersehen kann, was am relevantesten sein wird.

Beispielsweise hat der Mechanismus zur Altersverifikation eine hohe Priorität erlangt. Das war vor zwei Jahren noch nicht der Fall. Es ist eine Veränderung in der politischen Agenda, die diesem Thema eine höhere Priorität einräumt.

netzpolitik.org: Okay, lass uns einmal darüber sprechen, wie sich die politische Agenda auf eure Arbeit auswirkt. In Brüssel heißt es, dass wichtige Entscheidungen in den DSA-Untersuchungen von Personen in hohen politischen Kreisen getroffen werden und es sich nicht um eine rein technische Durchsetzung handelt.

Marc Faddoul: Die Tatsache, dass dies ständig auf einer geopolitischen Ebene abgewogen wird, ist zum einen frustrierend für die Menschen, die an der Ausarbeitung dieser Untersuchung beteiligt sind, zum anderen aber vor allem unvereinbar mit den Aussagen jener Spitzenpolitiker:innen, die betonen, dass die Einhaltung europäischer Gesetze nicht verhandelbar sei und dass diese strikt durchgesetzt würden.

Zudem sendet dies ein falsches Signal an jene Plattformen und an feindselige Politiker:innen, dass sie tatsächlich Druck ausüben können, um diese Entscheidungen zu blockieren.

Und dann gibt es noch eine zweite Komponente, nämlich: Was wird durchgesetzt? Wo liegen die Prioritäten?

Hier gibt es viel Interpretationsspielraum, da der DSA sehr umfangreich ist. Er wird gerade eingeführt, und nicht alles wird mit derselben Geschwindigkeit und derselben Priorität umgesetzt.

Der politische Einfluss auf die Durchsetzung

netzpolitik.org: Was wird priorisiert?

Wir sind ein spendenfinanziertes Medium.

Unterstütze auch Du unsere Arbeit mit einer Spende.

Marc Faddoul: Die Themen, bei denen über das gesamte politische Spektrum hinweg sowie auf transatlantischer Ebene Einigkeit herrscht, etwa die Verbreitung nicht einvernehmlicher intimer Bilder. Selbst Melania Trump hat sich beispielsweise sehr für dieses spezielle Thema eingesetzt. Weitere Beispiele für Themen mit breitem Konsens sind Material von Kindesmissbrauch (CSAM) und die Altersüberprüfung. Es sind nach wie vor diese politischen Dynamiken, die bestimmen, wo der Druck angesetzt wird.

Auf der anderen Seite rückt Desinformation zum Klimawandel mittlerweile ganz nach unten auf der Prioritätenliste.

netzpolitik.org: Wie würdest du die Transparenz bei der Durchsetzung des DSA bewerten?

Marc Faddoul: Eins kann ich dir sagen: In den Untersuchungen, an denen wir beteiligt sind und in denen wir Beweismaterial vorgelegt haben, haben wir keine Ahnung, was darin steht oder wann sie veröffentlicht werden. Wir wissen nur, dass unser Material eingegangen ist.

Aber selbst dann können wir durch die Ergebnisse dieser Ermittlungen gefährdet werden.

Das ist bei der Untersuchung von X passiert. Die Geldbuße wurde verhängt, dann hat das US-Justizministerium die gesamte Ermittlungsakte mit unseren Namen darin ungeschwärzt geleakt.

Das hat also reale Konsequenzen für uns. Es kann zu Vergeltungsmaßnahmen gegen uns kommen, besonders wenn Elon Musk sehr aggressiv gegen die Geldbuße twittert und behauptet, das sei eine Zensur der Meinungsfreiheit in den USA, was natürlich völliger Unsinn ist.

Dennoch können wir in der Realität als Reaktion darauf schikaniert und angegriffen werden, aber wir hatten keinen Einfluss darauf, dass unser Name in diesen Akten erfasst wurde und dass sie veröffentlicht wurden. Und wir wurden nicht einmal wirklich über diesen Zeitplan informiert.

Das ist nicht direkt die Schuld der Kommission. Sie musste die Akte an Twitter weitergeben. Diese forderte das US-Justizministerium von Twitter an. Dann haben sie sie geleakt.

Wir sind ein zentraler Akteur bei der Aufarbeitung des Falls, haben aber keine Kontrolle und nicht einmal Informationen darüber, wie es weitergeht.

netzpolitik.org: Ihr könnt nicht nur durch Tweets oder Kommentare schikaniert werden, sondern es könnte auch rechtliche Konsequenzen geben, richtig? Gibt es dafür irgendeine Art von Schutz, oder werdet ihr da ganz allein gelassen?

Marc Faddoul: Das liegt ganz bei uns. Die Kommission hilft uns dabei in keiner Weise.

Hier haben wir eine klare politische Forderung, nämlich einen deutlich besser geschützten Raum für Menschen, die wie wir im öffentlichen Interesse recherchieren.

netzpolitik.org: Also, die wichtigsten Dinge, die ihr benötigt, sind eine bessere Finanzierung, rechtlicher Schutz, außerdem Transparenz – noch etwas?

Marc Faddoul: Nun, eigentlich halte ich es für unseren Schutz für gut, dass wir keine Einzelheiten zu den Fällen kennen. Ich würde das nicht als Forderung formulieren.

Die Finanzierung, auf jeden Fall. Sie sollte flexibler und kurzfristiger sein und nicht nur über große Konsortien laufen.

Und was den rechtlichen Schutz angeht, ja, auf jeden Fall. Ein sicherer Hafen für Forschung im öffentlichen Interesse und auch institutionelle Unterstützung, wenn wir von ausländischen Akteuren angegriffen werden, weil wir uns an der Durchsetzung demokratischer Regulierung beteiligen.



Source link

Datenschutz & Sicherheit

Videoanalyse für die Bundespolizei: Bahnhofs-Kameras sollen Menschen und ihr Verhalten erkennen


Zahlreiche Bundesländer haben ihren Polizeien bereits Software-gestützte Echtzeit-Videoanalyse erlaubt, nun zieht die Bundesregierung nach. Die Bundespolizei soll künftig automatisiert die Bilder von Kameras prüfen. Software soll nach bestimmten Gesichtern suchen und identifizieren, wer gerade was tut. Die Bundespolizei könnte die Technologien an Bahnhöfen, aber auch an Häfen und Flughäfen einsetzen.

Ein Änderungsantrag zu einem der drei Sicherheitsgesetze, die gerade durch den Bundestag gedrängt werden, erweitert die geplanten KI-Überwachungsbefugnisse massiv. Bislang beinhalteten sie die Erlaubnis, im Internet nach bestimmten Gesichtern zu suchen und Datenanalysen nach Palantir-Art durchzuführen. Nun kommt noch die automatisierte Auswertung von Videobildern hinzu. Der Antrag wurde gestern eingereicht und wird am heutigen Mittwoch im Innenausschuss debattiert. Das entsprechend reformierte Bundespolizeigesetz soll bereits am Freitag im Bundestag verabschiedet werden.

Mit zwei verschiedenen Technologien soll die Bundespolizei künftig die Live-Streams von Videokameras untersuchen dürfen. Eine wird aktuell bereits in Frankfurt am Main getestet. Dabei werden die Gesichter aller Passant*innen vermessen und mit einer Liste von gesuchten Gesichtern abgeglichen. Stimmt ein Gesicht im videoüberwachten Areal mit einer gewissen Wahrscheinlichkeit mit einem gesuchten Gesicht überein, schlägt die Software Alarm.

Alles, was erlaubt ist

Die KI-Verordnung der EU setzt derartiger Live-Gesichtserkennung enge Grenzen. Sie darf nur in bestimmten Fällen angewendet werden. Die Bundespolizei soll beinahe alle diese Verbotslücken ausnutzen. Sie soll mit der Technologie nach Menschen suchen, die das Leben einer Person oder die Sicherheit der Bundesrepublik gefährden, nach Menschen, denen vorgeworfen wird, eine kriminelle Vereinigung gebildet zu haben, nach Menschen, die mutmaßlich Opfer von Entführung, Menschenhandel oder sexueller Ausbeutung sind oder vermissten Personen, die sich in Lebensgefahr befinden. Die Maßnahme muss richterlich angeordnet werden, Treffer müssen von zwei Polizist*innen geprüft werden. Mit der Begrenzung glaubt die Bundesregierung, sich noch innerhalb des Rahmens der KI-Verordnung zu bewegen.

Alles netzpolitisch Relevante

Drei Mal pro Woche als Newsletter in deiner Inbox.

Die andere Technologie, mit der die Bundespolizei Videostreams durchsuchen soll, prüft automatisiert, was die abgebildeten Menschen gerade tun. Derartige Software wird bereits in der Mannheimer und der Hamburger Innenstadt erprobt. Berlin bereitet den Einsatz vor. Sie ordnet menschliche Bewegungen in Kategorien ein wie: „Tanzen“, „Rennen“ oder „einander Umarmen“. Findet sie etwa Bewegungen, die auf einen Kampf hindeuten, weist sie die wachhabenden Beamt*innen auf die Situation hin. Auch die Wahrnehmung mutmaßlich hilfloser Menschen führt zu einer derartigen Alarmierung. Die Hilflosigkeit wird dann wohl mindestens bei liegenden Tätigkeiten angenommen. Kritiker*innen weisen darauf hin, dass dieser polizeiliche Fokus zu einer Diskriminierung von obdachlosen Menschen führt.

Außerdem soll die Software selbstständig Waffen detektieren und Personen, die einer Straftat verdächtig sind, automatisiert über mehrere Kameras hinweg verfolgen. Laut Gesetzesbegründung ist es auch möglich, Personen zu identifizieren, die sich ungewöhnlich lange in einem Bereich aufhalten. So sollen potenziell suizidale Menschen von der Umsetzung des Suizids abgehalten werden.

Laut dem Gesetzespaket dürfen die beiden Programme dann auch mit den Gesichtern und dem Verhalten von Bürger*innen trainiert werden. Nach zwei Jahren soll es eine Evaluierung der Befugnisse geben. Die wird „im Zusammenwirken mit“ einer wissenschaftlichen Einrichtung, also nicht unabhängig, erstellt.



Source link

Weiterlesen

Datenschutz & Sicherheit

Sicherheitsalbtraum Wechselrichter: Hoymiles lässt Nachbarschaften verstummen


Der Ausbau der dezentralen Energieerzeugung offenbart immer wieder Defizite bei der IT-Sicherheit marktführender Hardware. Im Fokus steht erneut die chinesische Firma Hoymiles, die nach eigenen Angaben rund 20 Prozent des europäischen Marktes für Mikrowechselrichter bedient. Diese sind in Balkonkraftwerken und kleineren Dachsolaranlagen verbaut. Der Sicherheitsforscher Benedikt Heinz alias Hunz hat zusammen mit dem Chaos Computer Club (CCC) weitreichende Sicherheitslücken aufgedeckt: Mit einfachen Mitteln aus der elektronischen Grabbelkiste und wenig Know-how ist es demnach möglich, Solaranlagen in der Nachbarschaft im Vorbeifahren zu manipulieren, abzuschalten oder dauerhaft unbrauchbar zu machen.

Weiterlesen nach der Anzeige

Das Problem liegt laut den Schwachstellenbeschreibungen in den Funkprotokollen, über die die Wechselrichter der HM- sowie der HMS- und HMT-Serien mit den zugehörigen Steuereinheiten kommunizieren. Der Austausch erfolgt unverschlüsselt über die Frequenzbänder 868 MHz und 2,4 GHz. Hobby-Bastler und Open-Source-Projekte wie OpenDTU oder AhoyDTU gingen bisher davon aus, dass Angriffe zumindest die Kenntnis der individuellen Seriennummer des Geräts voraussetzen. Doch Hunz entdeckte eine undokumentierte Funktion in der Firmware. Wird dieser Rundrufbefehl ausgesendet, antworten alle erreichbaren Hoymiles-Wechselrichter in der Umgebung und übermitteln ihre Seriennummer im Klartext per Funk.

Bei experimentellen Tests reichte ein modifizierter, handlicher Scanner aus, um innerhalb von 20 Minuten zwei Dutzend fremde Wechselrichter samt ihrer eindeutigen Identifikationsnummern und Modell-IDs zu lokalisieren. Da die Reichweite der Funksignale mehrere hundert Meter betragen kann, ließe sich eine solche Angriffshardware sogar problemlos auf eine Drohne montieren, um ganze Wohngebiete systematisch zu erfassen.

Sobald ein Angreifer im Besitz der Seriennummern ist, steht ihm das ganze Spektrum der Gerätefernsteuerung offen. Da die Integrität der Datenpakete nur durch simple Prüfsummen geschützt wird, die sich bei Modifikationen mathematisch leicht neu berechnen lassen, existiert keine echte Authentifizierung.

Ein Angreifer kann die Wechselrichter nach Belieben ein- oder ausschalten und Leistungslimits manipulieren. Über den ungeschützten Funkbefehl zur Aktualisierung der Firmware lässt sich sogar Schadsoftware einschleusen. Der Forscher demonstrierte das anhand eines eigenen Test-Programms, das die Relais und LEDs des Wechselrichters in Dauerschleife schaltete. Werden gezielt sensible Netzparameter verändert oder die internen Speicherbereiche des Bootloaders gelöscht, drohen Brände, elektrische Unfälle oder die Zerstörung des Geräts. Das lässt sich danach nur noch durch Öffnen des Gehäuses reparieren.

Weiterlesen nach der Anzeige

Hersteller Hoymiles reagierte im Rahmen des Disclosure-Prozesses irritiert bis gar nicht und stellte bisher keinen Patch zur Verfügung. Auch staatliche Aufsichtsbehörden winkten ab: Mögliche plötzliche Leistungseinbrüche im Gigawatt-Bereich durch ein koordiniertes Abschalten von Solaranlagen könnten von den Netzbetreibern abgefangen werden. Der CCC warnt indes vor einem systemischen Risiko und einer Wild-West-Manier beim Ausbau des Internet of Things (IoT). IT-Sicherheit im Energiesektor dürfe nicht erst bei Großkraftwerken anfangen, sondern müsse auch im Vorgarten und auf dem Balkon gelten.

Die Hacker fordern verbindliche Mindeststandards und ein Verbot von Einspeisegeräten in der EU, die Firmware-Updates ohne kryptografische Authentifizierung via Funk akzeptieren. Bis echte Patches vorliegen, bleibt Betreibern als Notlösung nur, über die Original-Software ein Diebstahlschutzpasswort zu vergeben, die Abfrageintervalle in Open-Source-Tools drastisch zu erhöhen oder die Solarmodule physisch vom Wechselrichter zu trennen.


(cku)



Source link

Weiterlesen

Datenschutz & Sicherheit

Zimbra Collaboration Suite: Kritische Lücke macht Classic Web Client angreifbar


close notice

This article is also available in
English.

It was translated with technical assistance and editorially reviewed before publication.

Die Zimbra-Entwickler haben im Zuge eines Patch Release Updates auf Version 10.1.19 der Zimbra Collaboration Suite (ZCS) auf ein mögliches Sicherheitsrisiko aufmerksam gemacht. Laut Patch Release Notes kann die zugrundeliegende Schwachstelle ausschließlich über die Komponente Classic Web Client missbraucht werden, wird in diesem Kontext allerdings als „kritisch“ bezeichnet.

Weiterlesen nach der Anzeige

Die betreffende, bislang nicht mit einer CVE-ID bezeichnete Lücke könnte demnach von Angreifern missbraucht werden, um speziell präparierte E-Mails zu verschicken. In ZCS-Versionen vor 10.1.19 könnte darin enthaltener, schädlicher Programmcode möglicherweise bereits beim Öffnen der betreffenden Mail zur Ausführung kommen.

Wie das Zimbra-Team etwas vage ausführt, könnten sich Angreifer auf diesem Wege unbefugten Zugriff auf Mailbox-, Session- oder Account-Informationen verschaffen. Wie aus den separat veröffentlichten Release-Notes zu 10.1.19 hervorgeht, handelt es sich technisch wohl um einen Stored-Cross-Site-Scripting-Angriff.

Admins tun auch dann gut daran, die ZCS auf den neuesten Stand zu bringen, wenn der Classic Web Client im Unternehmen nicht zum Einsatz kommt. Erst vor wenigen Monaten hat die US-Sicherheitsbehörde vor aktiven Angriffen auf die Collaboration Suite gewarnt. Auch damals hatten die Übeltäter eine Cross-Site-Scripting-Lücke im Visier. Im Hinblick auf den aktuellen Lückenfund bislang zwar keine Exploitversuche bekannt; dennoch ist es ratsam, zeitnah zu handeln.

Endanwender verwundbarer ZCS-Versionen sollten derweil auf die Nutzung des Classic Client verzichten und alternativ etwa auf den Modern Client umschwenken, bis das Update eingespielt wurde.

Upgrade-Anleitungen, je nach Ausgangsversion, sind den Release Notes zu entnehmen.

//Update 07.07.26, 14:52: Anriss und Text nach Leserfeedback angepasst (Update-Verantwortung liegt bei den Admins).

Weiterlesen nach der Anzeige


(ovw)



Source link

Weiterlesen

Beliebt