Liebe Leser:innen,

die Zivilgesellschaft steht in vielen Ländern unter Druck. Dass sich die Menschen dem noch lange nicht beugen, zeigt eindrucksvoll der Fall des Fotografen Pablo Grillo in Argentinien. An ihn habe ich in den vergangenen Tagen oft gedacht, nachdem ich den Text von Nina Galla gelesen hatte.

Pablo war im März 2025 auf einer Demonstration in Buenos Aires gewesen. Rentner:innen protestierten dort gegen steigende Kosten, zunehmende Armut und den Kurs des rechtsradikalen Kettensägen-Präsidenten Javier Milei. Damit gingen sie ein hohes Risiko ein. Denn Mileis Regierung hat das Demonstrationsrecht massiv eingeschränkt. Wer dennoch auf die Straße geht, muss mit Willkür und brutaler Polizeigewalt rechnen.

Pablo traf an diesem Tag eine Tränengasgranate ins Gesicht. Er wurde lebensgefährlich verletzt, über Wochen bangten Menschen landesweit um sein Leben.

Noch während der Fotograf im Krankenhaus war, begannen Aktivist:innen damit, Beweise für die Tat zu sammeln, die sie von anderen Demonstrierenden oder direkt von Journalist:innen erhielten. Sie rekonstruierten die Geschehnisse, konnten nachweisen, dass die Polizei an dem Tag wiederholt auf Demonstrierende geschossen hatte und brachten den mutmaßlichen Täter, einen Polizisten, vor Gericht.

Erst vor wenigen Wochen kehrte Pablo Grillo nach Hause zurück. Es ist unklar, welche gesundheitlichen Folgen der Schuss langfristig für ihn hat. Das Verfahren gegen den Polizisten läuft noch.

Der Fall zeigt für mich, wozu Menschen fähig sind, wenn sie sich zusammenschließen, gemeinsam aufstehen und sich wehren. Ich hoffe, dass ihre Recherchearbeit dazu führt, dass Pablo Gerechtigkeit widerfährt.

Gegendruck aufbauen, von Anfang an

Derweil wächst auch in Deutschland der Druck auf zivilgesellschaftliche Organisationen. Meine Kollegin Chris hat diese Woche ein Interview mit Josephine Ballon von HateAid geführt. Die Trump-Regierung hat Ballon und ihre Co-Geschäftsführerin Anna-Lena von Hodenberg Ende vergangenen Jahres mit einem Einreiseverbot belegt – weil sie „radikale Aktivistinnen“ und „Agentinnen des industriellen Zensurkomplexes“ seien. Josephine Ballon fürchtet, dass das nur der Anfang ist und HateAid bald auch von Zahlungsverkehr und IT-Dienstleistungen ausgeschlossen sein könnten.

Gerade jetzt sollte die Bundesregierung fest hinter der hiesigen Zivilgesellschaft stehen, finde ich. Stattdessen aber will Bildungsministerin Prien zivilgesellschaftlichen Initiativen nicht nur einer „breit angelegten Verfassungsschutzprüfung“ unterziehen, sondern auch Fördermittel drastisch kürzen. Betroffen wären neben HateAid etwa auch die Amadeu Antonio Stiftung und die Open Knowledge Foundation Deutschland. Ihnen würden dann Mittel fehlen, um gegen digitale Gewalt, Antisemitismus und Rechtsradikalismus vorzugehen.

Mir ist klar, dass die derzeitige Lage in Deutschland bei weitem nicht so dramatisch ist wie in Argentinien. Auf mich wirken sie aber wie der Anfang und das drohende Ende einer Entwicklung, die sich derzeit vielerorts beobachten lässt.

Und gerade deshalb sollten wir schon beim ersten Druck nicht klein beigeben, sondern uns wehren – gegen den Generalverdacht, der sich zunehmend gegen zivilgesellschaftliches Engagement richtet, gegen kulturkriegerische Hetze, die diesen Verdacht gezielt nährt, und gegen Kürzungen, die unsere Demokratie schwächen.

Habt ein sonniges Wochenende
Daniel

When it comes to enforcing the EU’s digital regulation against social media platforms like X and TikTok, the Commission and national authorities are not alone in collecting the necessary evidence. In many cases, they rely on the work that is done by outside actors, such as AI Forensics.

The non-profit organisation analyses and investigates the algorithms that shape the information landscape. Based in Paris, they consider themselves an European organisation, with people working from all across the continent.

In an interview with netzpolitik.org, Marc Faddoul, the founder and director of AI Forensics, reflects on the organisation’s experience of working with regulators and points out how the conditions could be improved: by providing flexible funding and legal protection.

Contribution behind the scenes

netzpolitik.org: We often ask whether the European Commission or the national authorities have enough staff to enforce the Digital Services Act (DSA), but no one ever really mentions contributors like you. I suppose it’s partly because you’re not allowed to talk about all your contributions…

Marc Faddoul: In a way I’m sometimes shocked myself. About the role we are given to play in those big scale politics, about how much falls onto civil society.

I am not even sure it is really a matter of number of people; it’s more about the specific expertise that is needed to do this job. That is not necessarily the profile that is drawn towards the institutions.

And also the methods: We often have to deploy unconventional and adversarial methods to do the work that we do, that is not what the institutions are best at doing.

netzpolitik.org: So, let’s start at the beginning. What is it that you do?

Marc Faddoul: We’ve done a lot of work on social media recommender systems, because they were, and are still to a large extent, the most influential algorithmic system in shaping the information we consume. We are working increasingly on chatbots, since they are becoming the new gatekeepers of online content.

Our audience is the general public, usually through journalists. And we do a more targeted dissemination to regulators and policymakers to inform policymaking processes and especially to enforce existing regulation.

Our reports are always data driven. We collect data, including on systems for which there are no official data access mechanisms. We do so by using what we call “adversarial methods” which allow us to basically scrape publicly available content directly from those services and therefore analyse how they behave in different conditions and for different users.

netzpolitik.org: You mentioned the enforcement of laws. Besides the DSA, are there any other laws that are also quite important, or is that really the most important one right now?

Marc Faddoul: It’s definitely the most important one.

Firstly, because it is at the European level. When you’re facing those huge tech giants, you need a strong enough market power to be able to impose your rules.

Secondly, it encapsulates a lot of things through this notion of systemic risks: electoral integrity, a risk to mental health, technology-facilitated gender-based violence. There’s a whole range of risks that are captured in this article, which makes it one of the more flexible legal frameworks to date.

But it’s not only the DSA we work on. Recently we have done this study exposing the dissemination of non-consensual intimate images and the production of CSAM content by Grok. For both of these there are a lot of other legal frameworks for which this is relevant, both in Europe and worldwide. On those cases we are also working with other regulators, including Australia, the UK and California.

netzpolitik.org: And how exactly do you work with regulators? Do you bring something to their attention, or do you get tasks from them?

Marc Faddoul: In many cases we do our own investigations and then we bring them to the attention of the regulators. So that’s really our own initiative.

In other cases, regulators can come to us with specific requests. That can be paid or contracted, but not always.

Sometimes the work is unpaid

netzpolitik.org: And when it’s not paid, why do you still do it?

Marc Faddoul: When it’s unpaid, we still do it because it’s aligned with the mission of our organization to hold platforms to account to the user and to the law.

But obviously there are limits to how much we can do under these modalities, so it cannot be systematic. There is clearly a lack of funding mechanisms available from institutions to support the ecosystem. In some respects, there are new mechanisms arising, but it’s still quite limited.

netzpolitik.org: Who decides about the funding and how should it be improved in your opinion?

Marc Faddoul: At the European level now is an important moment because of the ongoing negotiations around the EU’s multi-annual budget. I think this is a big opportunity to push for more flexible funding.

One of the big pain points right now is that a lot of the funding is available through Horizon calls, which are typically three-year projects that have to be done in a large consortium of ten organizations or more.

It is quite inflexible because you cannot anticipate three years in advance what will be most relevant to do.

For example, the age verification mechanism has become a big priority. That was not the case two years ago. It is a change in the political agenda that gives it a stronger priority.

netzpolitik.org: Ok, let’s go over how the political agenda affects your work. In Brussels, it is said that people in the top political sphere are the ones taking some important decisions around the DSA cases, and that it’s not a purely technical enforcement.

Marc Faddoul: The fact that this is being constantly weighed on a geopolitical scale, is both frustrating for people who are involved in building this case, but also, most importantly, incoherent with the statements by those political leaders who say that respecting European laws is not something that is negotiable and that they will be enforced strictly.

Also, it is sending a wrong signal to those platforms and to adverse politicians that indeed they can put pressure to block those decisions.

And then you have a second component which is: What are you enforcing? What are the priorities?

There’s a lot of room for interpretation because the DSA is big. It’s being rolled out and not everything is being implemented with the same speed and with the same priority.

Political climate influences enforcement

netzpolitik.org: What is being prioritised?

Marc Faddoul: Some topics that have consensus across the political spectrum and also transatlantic consensus include the dissemination of non-consensual intimate images. Even Melania Trump, for example, was quite involved in advocating for this specific issue. Other examples of topics with broad consensus include CSAM content and age verification. Still, those political dynamics define where we are putting the pressure on.

On the other hand, climate change disinformation is now being pushed towards the bottom of the list.

netzpolitik.org: How would you rate the transparency of how the DSA is being enforced?

Marc Faddoul: I can tell you one thing: in the cases we’re involved in, where we provided evidence, we have no idea about their content or when they’re going to come out. We only know it’s been received.

And even then, we can be exposed by the results of those investigations.

This happened with the X investigation. The fine was sent out, then the Department of Justice in the U.S. leaked the whole investigative file with our names in it, unredacted.

So, this is a real consequence for us. We can have retaliation against us, especially when Elon Musk tweets very aggressively against the fine, how it’s censoring US free speech, which is obviously complete nonsense.

But, still, in reality, we can be harassed and attacked in response, but we had no control over the fact that our name was captured in those files, over the fact that it was released, and over the fact that we are not even really informed about the timetable.

This is not directly the Commission’s fault. They had to give the file to Twitter. Then the Department of Justice requested the file from Twitter. And then they leaked it.

We are a pivotal actor in building this case, but we have no control, and even no information on what happens next.

netzpolitik.org: You can not only be harassed via tweets or comments, but there could also be legal consequences, right? Do you have any sort of protection for that or does that all lie on you?

Marc Faddoul: All on us. The Commission doesn’t help us with that in any way.

Here, we have a clear policy request: the creation of a much better safe harbour for people who do public interest research, like we do.

netzpolitik.org: So, the main things that you would need are better funding, legal protection, also transparency, something else?

Marc Faddoul: Well, in fact, I think for our protection it is good that we don’t have the details of the cases. I wouldn’t make it a request.

The funding, absolutely. It should be more flexible, shorter term, not only through large consortiums.

And on the protection, yes, absolutely. A safe harbour for public interest research and also institutional support when we get attacked by foreign actors for the work that we do in supporting enforcement of democratic regulation.

Bei der Durchsetzung europäischer Digitalgesetze sind die EU-Kommission und nationale Behörden nicht auf sich allein gestellt. Vor allem für die Sammlung von Beweisen stützen sie sich oft auf die Arbeit externer Organisationen wie AI Forensics.

Die gemeinnützige Organisation analysiert und untersucht die Algorithmen, die die Informationslandschaft prägen. Mit Sitz in Paris versteht sie sich als europäische Organisation, deren Mitarbeitende über den ganzen Kontinent verstreut sind.

In einem Interview mit netzpolitik.org erzählt Marc Faddoul, Gründer und Direktor von AI Forensics, von den Erfahrungen bei der Zusammenarbeit mit Regulierungsbehörden und zeigt auf, wie die Rahmenbedingungen verbessert werden könnten: durch flexible Finanzierung und rechtlichen Schutz.

Mitwirkung hinter den Kulissen

netzpolitik.org: Wir fragen oft, ob die EU-Kommission oder die nationalen Behörden über genügend Personal verfügen, um das Gesetz über digitale Dienste (DSA) durchzusetzen, aber niemand erwähnt jemals Mitwirkende wie euch. Ich nehme an, das liegt zum Teil daran, dass ihr nicht über alles sprechen dürft, was ihr zu Untersuchungen beitragt …

Marc Faddoul: In gewisser Weise bin ich manchmal selbst schockiert. Über die Rolle, die wir in diesen großen politischen Kontexten spielen, darüber, wie viel auf die Zivilgesellschaft zurückfällt.

Ich bin mir nicht einmal sicher, ob die Anzahl der Personen ausschlaggebend ist. Es geht eher um das spezifische Fachwissen, das für diese Arbeit erforderlich ist. Das ist nicht unbedingt das Profil, das von Institutionen angezogen wird.

Und auch die Methoden: Wir müssen oft unkonventionelle und „konfrontative Methoden“ anwenden, um unsere Arbeit zu erledigen. Das ist nicht das, was Institutionen am besten können.

netzpolitik.org: Fangen wir also ganz am Anfang an. Was genau macht ihr?

Marc Faddoul: Wir haben uns intensiv mit Empfehlungssystemen in sozialen Medien beschäftigt, da diese früher – und auch heute noch weitgehend – das einflussreichste algorithmische System bei der Auswahl der Informationen sind, die wir konsumieren. Wir beschäftigen uns zunehmend mit Chatbots, da diese zu den neuen Gatekeepern von Online-Inhalten werden.

Unsere Zielgruppe ist die breite Öffentlichkeit, meist über Journalist:innen. Und wir richten uns gezielter an Regulierungsbehörden und politische Entscheidungsträger:innen, um politische Entscheidungsprozesse zu beeinflussen und insbesondere bestehende Gesetze durchzusetzen.

Unsere Berichte sind stets datengestützt. Wir sammeln Daten, auch zu Systemen, für die es keine offiziellen Datenzugriffsmechanismen gibt. Dazu nutzen wir sogenannte „konfrontative Methoden“, die es uns ermöglichen, öffentlich zugängliche Inhalte direkt aus diesen Diensten zu scrapen und so zu analysieren, wie sie sich unter verschiedenen Bedingungen und für verschiedene Nutzende verhalten.

netzpolitik.org: Du hast die Durchsetzung von Gesetzen angesprochen. Gibt es neben dem Digital Services Act noch andere Gesetze, die ebenfalls von großer Bedeutung sind, oder ist das derzeit wirklich das wichtigste?

Marc Faddoul: Es ist definitiv das wichtigste.

Erstens, weil es auf europäischer Ebene angesiedelt ist. Wenn man es mit diesen riesigen Tech-Giganten zu tun hat, braucht man eine ausreichend starke wirtschaftliche Macht, um seine Regeln durchsetzen zu können.

Zweitens umfasst es durch den Begriff der systemischen Risiken eine Vielzahl von Aspekten: Integrität von Wahlen, Risiken für die psychische Gesundheit, durch Technologie begünstigte geschlechtsspezifische Gewalt. In diesem DSA-Artikel wird eine ganze Reihe von Risiken erfasst, was den DSA zu einem der bislang flexibelsten Rechtsrahmen macht.

Aber wir arbeiten nicht nur am DSA. Kürzlich haben wir diese Studie durchgeführt, die die Verbreitung nicht-einvernehmlicher intimer Bilder und die Produktion von Missbrauchs-Darstellungen durch Grok aufdeckt. Beide Themen werden auch von vielen anderen Gesetze abgedeckt, sowohl in Europa als auch weltweit. In diesen Fällen arbeiten wir auch mit anderen Regulierungsbehörden zusammen, etwa in Australien, Großbritannien und Kalifornien.

netzpolitik.org: Und wie genau arbeitet ihr mit den Regulierungsbehörden zusammen? Macht ihr diese auf bestimmte Themen aufmerksam oder erhaltet ihr Aufträge von ihnen?

Marc Faddoul: In vielen Fällen führen wir eigene Untersuchungen durch und machen die Regulierungsbehörden dann darauf aufmerksam. Das geschieht also wirklich auf eigene Initiative.

In anderen Fällen wenden sich die Regulierungsbehörden mit konkreten Anfragen an uns. Das kann gegen Bezahlung oder im Rahmen eines Vertrags geschehen, muss aber nicht immer so sein.

Zum Teil unbezahlte Arbeit

netzpolitik.org: Und wenn es nicht bezahlt wird, warum macht ihr die Arbeit dann trotzdem?

Marc Faddoul: Wenn es unbezahlt ist, machen wir es trotzdem, weil es im Einklang mit dem Auftrag unserer Organisation steht, Plattformen gegenüber den Nutzenden und dem Gesetz zur Rechenschaft zu ziehen.

Aber natürlich gibt es Grenzen dafür, wie viel wir unter diesen Bedingungen leisten können, daher kann es nicht systematisch sein.

Es mangelt eindeutig an Finanzierungsmechanismen seitens der Institutionen, um das Ökosystem zu unterstützen. In gewisser Hinsicht entstehen zwar neue Mechanismen, aber sie sind noch recht begrenzt.

netzpolitik.org: Wer entscheidet über die Finanzierung und wie sollte sie eurer Meinung nach verbessert werden?

Marc Faddoul: Auf europäischer Ebene ist jetzt ein wichtiger Moment, da gerade die Verhandlungen über den mehrjährigen EU-Haushalt laufen. Ich denke, das ist eine große Chance, auf eine flexiblere Finanzierung hinzuwirken.

Einer der größten Kritikpunkte ist derzeit, dass ein Großteil der Mittel über Ausschreibungen des Horizont-Programms bereitgestellt wird. Bei denen handelt es sich in der Regel um dreijährige Projekte, die in einem großen Konsortium aus zehn oder mehr Organisationen durchgeführt werden müssen.

Das ist ziemlich unflexibel, da man drei Jahre im Voraus nicht vorhersehen kann, was am relevantesten sein wird.

Beispielsweise hat der Mechanismus zur Altersverifikation eine hohe Priorität erlangt. Das war vor zwei Jahren noch nicht der Fall. Es ist eine Veränderung in der politischen Agenda, die diesem Thema eine höhere Priorität einräumt.

netzpolitik.org: Okay, lass uns einmal darüber sprechen, wie sich die politische Agenda auf eure Arbeit auswirkt. In Brüssel heißt es, dass wichtige Entscheidungen in den DSA-Untersuchungen von Personen in hohen politischen Kreisen getroffen werden und es sich nicht um eine rein technische Durchsetzung handelt.

Marc Faddoul: Die Tatsache, dass dies ständig auf einer geopolitischen Ebene abgewogen wird, ist zum einen frustrierend für die Menschen, die an der Ausarbeitung dieser Untersuchung beteiligt sind, zum anderen aber vor allem unvereinbar mit den Aussagen jener Spitzenpolitiker:innen, die betonen, dass die Einhaltung europäischer Gesetze nicht verhandelbar sei und dass diese strikt durchgesetzt würden.

Zudem sendet dies ein falsches Signal an jene Plattformen und an feindselige Politiker:innen, dass sie tatsächlich Druck ausüben können, um diese Entscheidungen zu blockieren.

Und dann gibt es noch eine zweite Komponente, nämlich: Was wird durchgesetzt? Wo liegen die Prioritäten?

Hier gibt es viel Interpretationsspielraum, da der DSA sehr umfangreich ist. Er wird gerade eingeführt, und nicht alles wird mit derselben Geschwindigkeit und derselben Priorität umgesetzt.

Der politische Einfluss auf die Durchsetzung

netzpolitik.org: Was wird priorisiert?

Marc Faddoul: Die Themen, bei denen über das gesamte politische Spektrum hinweg sowie auf transatlantischer Ebene Einigkeit herrscht, etwa die Verbreitung nicht einvernehmlicher intimer Bilder. Selbst Melania Trump hat sich beispielsweise sehr für dieses spezielle Thema eingesetzt. Weitere Beispiele für Themen mit breitem Konsens sind Material von Kindesmissbrauch (CSAM) und die Altersüberprüfung. Es sind nach wie vor diese politischen Dynamiken, die bestimmen, wo der Druck angesetzt wird.

Auf der anderen Seite rückt Desinformation zum Klimawandel mittlerweile ganz nach unten auf der Prioritätenliste.

netzpolitik.org: Wie würdest du die Transparenz bei der Durchsetzung des DSA bewerten?

Marc Faddoul: Eins kann ich dir sagen: In den Untersuchungen, an denen wir beteiligt sind und in denen wir Beweismaterial vorgelegt haben, haben wir keine Ahnung, was darin steht oder wann sie veröffentlicht werden. Wir wissen nur, dass unser Material eingegangen ist.

Aber selbst dann können wir durch die Ergebnisse dieser Ermittlungen gefährdet werden.

Das ist bei der Untersuchung von X passiert. Die Geldbuße wurde verhängt, dann hat das US-Justizministerium die gesamte Ermittlungsakte mit unseren Namen darin ungeschwärzt geleakt.

Das hat also reale Konsequenzen für uns. Es kann zu Vergeltungsmaßnahmen gegen uns kommen, besonders wenn Elon Musk sehr aggressiv gegen die Geldbuße twittert und behauptet, das sei eine Zensur der Meinungsfreiheit in den USA, was natürlich völliger Unsinn ist.

Dennoch können wir in der Realität als Reaktion darauf schikaniert und angegriffen werden, aber wir hatten keinen Einfluss darauf, dass unser Name in diesen Akten erfasst wurde und dass sie veröffentlicht wurden. Und wir wurden nicht einmal wirklich über diesen Zeitplan informiert.

Das ist nicht direkt die Schuld der Kommission. Sie musste die Akte an Twitter weitergeben. Diese forderte das US-Justizministerium von Twitter an. Dann haben sie sie geleakt.

Wir sind ein zentraler Akteur bei der Aufarbeitung des Falls, haben aber keine Kontrolle und nicht einmal Informationen darüber, wie es weitergeht.

netzpolitik.org: Ihr könnt nicht nur durch Tweets oder Kommentare schikaniert werden, sondern es könnte auch rechtliche Konsequenzen geben, richtig? Gibt es dafür irgendeine Art von Schutz, oder werdet ihr da ganz allein gelassen?

Marc Faddoul: Das liegt ganz bei uns. Die Kommission hilft uns dabei in keiner Weise.

Hier haben wir eine klare politische Forderung, nämlich einen deutlich besser geschützten Raum für Menschen, die wie wir im öffentlichen Interesse recherchieren.

netzpolitik.org: Also, die wichtigsten Dinge, die ihr benötigt, sind eine bessere Finanzierung, rechtlicher Schutz, außerdem Transparenz – noch etwas?

Marc Faddoul: Nun, eigentlich halte ich es für unseren Schutz für gut, dass wir keine Einzelheiten zu den Fällen kennen. Ich würde das nicht als Forderung formulieren.

Die Finanzierung, auf jeden Fall. Sie sollte flexibler und kurzfristiger sein und nicht nur über große Konsortien laufen.

Und was den rechtlichen Schutz angeht, ja, auf jeden Fall. Ein sicherer Hafen für Forschung im öffentlichen Interesse und auch institutionelle Unterstützung, wenn wir von ausländischen Akteuren angegriffen werden, weil wir uns an der Durchsetzung demokratischer Regulierung beteiligen.