When it comes to enforcing the EU’s digital regulation against social media platforms like X and TikTok, the Commission and national authorities are not alone in collecting the necessary evidence. In many cases, they rely on the work that is done by outside actors, such as AI Forensics.

The non-profit organisation analyses and investigates the algorithms that shape the information landscape. Based in Paris, they consider themselves an European organisation, with people working from all across the continent.

In an interview with netzpolitik.org, Marc Faddoul, the founder and director of AI Forensics, reflects on the organisation’s experience of working with regulators and points out how the conditions could be improved: by providing flexible funding and legal protection.

Contribution behind the scenes

netzpolitik.org: We often ask whether the European Commission or the national authorities have enough staff to enforce the Digital Services Act (DSA), but no one ever really mentions contributors like you. I suppose it’s partly because you’re not allowed to talk about all your contributions…

Marc Faddoul: In a way I’m sometimes shocked myself. About the role we are given to play in those big scale politics, about how much falls onto civil society.

I am not even sure it is really a matter of number of people; it’s more about the specific expertise that is needed to do this job. That is not necessarily the profile that is drawn towards the institutions.

And also the methods: We often have to deploy unconventional and adversarial methods to do the work that we do, that is not what the institutions are best at doing.

netzpolitik.org: So, let’s start at the beginning. What is it that you do?

Marc Faddoul: We’ve done a lot of work on social media recommender systems, because they were, and are still to a large extent, the most influential algorithmic system in shaping the information we consume. We are working increasingly on chatbots, since they are becoming the new gatekeepers of online content.

Our audience is the general public, usually through journalists. And we do a more targeted dissemination to regulators and policymakers to inform policymaking processes and especially to enforce existing regulation.

Our reports are always data driven. We collect data, including on systems for which there are no official data access mechanisms. We do so by using what we call “adversarial methods” which allow us to basically scrape publicly available content directly from those services and therefore analyse how they behave in different conditions and for different users.

netzpolitik.org: You mentioned the enforcement of laws. Besides the DSA, are there any other laws that are also quite important, or is that really the most important one right now?

Marc Faddoul: It’s definitely the most important one.

Firstly, because it is at the European level. When you’re facing those huge tech giants, you need a strong enough market power to be able to impose your rules.

Secondly, it encapsulates a lot of things through this notion of systemic risks: electoral integrity, a risk to mental health, technology-facilitated gender-based violence. There’s a whole range of risks that are captured in this article, which makes it one of the more flexible legal frameworks to date.

But it’s not only the DSA we work on. Recently we have done this study exposing the dissemination of non-consensual intimate images and the production of CSAM content by Grok. For both of these there are a lot of other legal frameworks for which this is relevant, both in Europe and worldwide. On those cases we are also working with other regulators, including Australia, the UK and California.

netzpolitik.org: And how exactly do you work with regulators? Do you bring something to their attention, or do you get tasks from them?

Marc Faddoul: In many cases we do our own investigations and then we bring them to the attention of the regulators. So that’s really our own initiative.

In other cases, regulators can come to us with specific requests. That can be paid or contracted, but not always.

Sometimes the work is unpaid

netzpolitik.org: And when it’s not paid, why do you still do it?

Marc Faddoul: When it’s unpaid, we still do it because it’s aligned with the mission of our organization to hold platforms to account to the user and to the law.

But obviously there are limits to how much we can do under these modalities, so it cannot be systematic. There is clearly a lack of funding mechanisms available from institutions to support the ecosystem. In some respects, there are new mechanisms arising, but it’s still quite limited.

netzpolitik.org: Who decides about the funding and how should it be improved in your opinion?

Marc Faddoul: At the European level now is an important moment because of the ongoing negotiations around the EU’s multi-annual budget. I think this is a big opportunity to push for more flexible funding.

One of the big pain points right now is that a lot of the funding is available through Horizon calls, which are typically three-year projects that have to be done in a large consortium of ten organizations or more.

It is quite inflexible because you cannot anticipate three years in advance what will be most relevant to do.

For example, the age verification mechanism has become a big priority. That was not the case two years ago. It is a change in the political agenda that gives it a stronger priority.

netzpolitik.org: Ok, let’s go over how the political agenda affects your work. In Brussels, it is said that people in the top political sphere are the ones taking some important decisions around the DSA cases, and that it’s not a purely technical enforcement.

Marc Faddoul: The fact that this is being constantly weighed on a geopolitical scale, is both frustrating for people who are involved in building this case, but also, most importantly, incoherent with the statements by those political leaders who say that respecting European laws is not something that is negotiable and that they will be enforced strictly.

Also, it is sending a wrong signal to those platforms and to adverse politicians that indeed they can put pressure to block those decisions.

And then you have a second component which is: What are you enforcing? What are the priorities?

There’s a lot of room for interpretation because the DSA is big. It’s being rolled out and not everything is being implemented with the same speed and with the same priority.

Political climate influences enforcement

netzpolitik.org: What is being prioritised?

Marc Faddoul: Some topics that have consensus across the political spectrum and also transatlantic consensus include the dissemination of non-consensual intimate images. Even Melania Trump, for example, was quite involved in advocating for this specific issue. Other examples of topics with broad consensus include CSAM content and age verification. Still, those political dynamics define where we are putting the pressure on.

On the other hand, climate change disinformation is now being pushed towards the bottom of the list.

netzpolitik.org: How would you rate the transparency of how the DSA is being enforced?

Marc Faddoul: I can tell you one thing: in the cases we’re involved in, where we provided evidence, we have no idea about their content or when they’re going to come out. We only know it’s been received.

And even then, we can be exposed by the results of those investigations.

This happened with the X investigation. The fine was sent out, then the Department of Justice in the U.S. leaked the whole investigative file with our names in it, unredacted.

So, this is a real consequence for us. We can have retaliation against us, especially when Elon Musk tweets very aggressively against the fine, how it’s censoring US free speech, which is obviously complete nonsense.

But, still, in reality, we can be harassed and attacked in response, but we had no control over the fact that our name was captured in those files, over the fact that it was released, and over the fact that we are not even really informed about the timetable.

This is not directly the Commission’s fault. They had to give the file to Twitter. Then the Department of Justice requested the file from Twitter. And then they leaked it.

We are a pivotal actor in building this case, but we have no control, and even no information on what happens next.

netzpolitik.org: You can not only be harassed via tweets or comments, but there could also be legal consequences, right? Do you have any sort of protection for that or does that all lie on you?

Marc Faddoul: All on us. The Commission doesn’t help us with that in any way.

Here, we have a clear policy request: the creation of a much better safe harbour for people who do public interest research, like we do.

netzpolitik.org: So, the main things that you would need are better funding, legal protection, also transparency, something else?

Marc Faddoul: Well, in fact, I think for our protection it is good that we don’t have the details of the cases. I wouldn’t make it a request.

The funding, absolutely. It should be more flexible, shorter term, not only through large consortiums.

And on the protection, yes, absolutely. A safe harbour for public interest research and also institutional support when we get attacked by foreign actors for the work that we do in supporting enforcement of democratic regulation.

Bei der Durchsetzung europäischer Digitalgesetze sind die EU-Kommission und nationale Behörden nicht auf sich allein gestellt. Vor allem für die Sammlung von Beweisen stützen sie sich oft auf die Arbeit externer Organisationen wie AI Forensics.

Die gemeinnützige Organisation analysiert und untersucht die Algorithmen, die die Informationslandschaft prägen. Mit Sitz in Paris versteht sie sich als europäische Organisation, deren Mitarbeitende über den ganzen Kontinent verstreut sind.

In einem Interview mit netzpolitik.org erzählt Marc Faddoul, Gründer und Direktor von AI Forensics, von den Erfahrungen bei der Zusammenarbeit mit Regulierungsbehörden und zeigt auf, wie die Rahmenbedingungen verbessert werden könnten: durch flexible Finanzierung und rechtlichen Schutz.

Mitwirkung hinter den Kulissen

netzpolitik.org: Wir fragen oft, ob die EU-Kommission oder die nationalen Behörden über genügend Personal verfügen, um das Gesetz über digitale Dienste (DSA) durchzusetzen, aber niemand erwähnt jemals Mitwirkende wie euch. Ich nehme an, das liegt zum Teil daran, dass ihr nicht über alles sprechen dürft, was ihr zu Untersuchungen beitragt …

Marc Faddoul: In gewisser Weise bin ich manchmal selbst schockiert. Über die Rolle, die wir in diesen großen politischen Kontexten spielen, darüber, wie viel auf die Zivilgesellschaft zurückfällt.

Ich bin mir nicht einmal sicher, ob die Anzahl der Personen ausschlaggebend ist. Es geht eher um das spezifische Fachwissen, das für diese Arbeit erforderlich ist. Das ist nicht unbedingt das Profil, das von Institutionen angezogen wird.

Und auch die Methoden: Wir müssen oft unkonventionelle und „konfrontative Methoden“ anwenden, um unsere Arbeit zu erledigen. Das ist nicht das, was Institutionen am besten können.

netzpolitik.org: Fangen wir also ganz am Anfang an. Was genau macht ihr?

Marc Faddoul: Wir haben uns intensiv mit Empfehlungssystemen in sozialen Medien beschäftigt, da diese früher – und auch heute noch weitgehend – das einflussreichste algorithmische System bei der Auswahl der Informationen sind, die wir konsumieren. Wir beschäftigen uns zunehmend mit Chatbots, da diese zu den neuen Gatekeepern von Online-Inhalten werden.

Unsere Zielgruppe ist die breite Öffentlichkeit, meist über Journalist:innen. Und wir richten uns gezielter an Regulierungsbehörden und politische Entscheidungsträger:innen, um politische Entscheidungsprozesse zu beeinflussen und insbesondere bestehende Gesetze durchzusetzen.

Unsere Berichte sind stets datengestützt. Wir sammeln Daten, auch zu Systemen, für die es keine offiziellen Datenzugriffsmechanismen gibt. Dazu nutzen wir sogenannte „konfrontative Methoden“, die es uns ermöglichen, öffentlich zugängliche Inhalte direkt aus diesen Diensten zu scrapen und so zu analysieren, wie sie sich unter verschiedenen Bedingungen und für verschiedene Nutzende verhalten.

netzpolitik.org: Du hast die Durchsetzung von Gesetzen angesprochen. Gibt es neben dem Digital Services Act noch andere Gesetze, die ebenfalls von großer Bedeutung sind, oder ist das derzeit wirklich das wichtigste?

Marc Faddoul: Es ist definitiv das wichtigste.

Erstens, weil es auf europäischer Ebene angesiedelt ist. Wenn man es mit diesen riesigen Tech-Giganten zu tun hat, braucht man eine ausreichend starke wirtschaftliche Macht, um seine Regeln durchsetzen zu können.

Zweitens umfasst es durch den Begriff der systemischen Risiken eine Vielzahl von Aspekten: Integrität von Wahlen, Risiken für die psychische Gesundheit, durch Technologie begünstigte geschlechtsspezifische Gewalt. In diesem DSA-Artikel wird eine ganze Reihe von Risiken erfasst, was den DSA zu einem der bislang flexibelsten Rechtsrahmen macht.

Aber wir arbeiten nicht nur am DSA. Kürzlich haben wir diese Studie durchgeführt, die die Verbreitung nicht-einvernehmlicher intimer Bilder und die Produktion von Missbrauchs-Darstellungen durch Grok aufdeckt. Beide Themen werden auch von vielen anderen Gesetze abgedeckt, sowohl in Europa als auch weltweit. In diesen Fällen arbeiten wir auch mit anderen Regulierungsbehörden zusammen, etwa in Australien, Großbritannien und Kalifornien.

netzpolitik.org: Und wie genau arbeitet ihr mit den Regulierungsbehörden zusammen? Macht ihr diese auf bestimmte Themen aufmerksam oder erhaltet ihr Aufträge von ihnen?

Marc Faddoul: In vielen Fällen führen wir eigene Untersuchungen durch und machen die Regulierungsbehörden dann darauf aufmerksam. Das geschieht also wirklich auf eigene Initiative.

In anderen Fällen wenden sich die Regulierungsbehörden mit konkreten Anfragen an uns. Das kann gegen Bezahlung oder im Rahmen eines Vertrags geschehen, muss aber nicht immer so sein.

Zum Teil unbezahlte Arbeit

netzpolitik.org: Und wenn es nicht bezahlt wird, warum macht ihr die Arbeit dann trotzdem?

Marc Faddoul: Wenn es unbezahlt ist, machen wir es trotzdem, weil es im Einklang mit dem Auftrag unserer Organisation steht, Plattformen gegenüber den Nutzenden und dem Gesetz zur Rechenschaft zu ziehen.

Aber natürlich gibt es Grenzen dafür, wie viel wir unter diesen Bedingungen leisten können, daher kann es nicht systematisch sein.

Es mangelt eindeutig an Finanzierungsmechanismen seitens der Institutionen, um das Ökosystem zu unterstützen. In gewisser Hinsicht entstehen zwar neue Mechanismen, aber sie sind noch recht begrenzt.

netzpolitik.org: Wer entscheidet über die Finanzierung und wie sollte sie eurer Meinung nach verbessert werden?

Marc Faddoul: Auf europäischer Ebene ist jetzt ein wichtiger Moment, da gerade die Verhandlungen über den mehrjährigen EU-Haushalt laufen. Ich denke, das ist eine große Chance, auf eine flexiblere Finanzierung hinzuwirken.

Einer der größten Kritikpunkte ist derzeit, dass ein Großteil der Mittel über Ausschreibungen des Horizont-Programms bereitgestellt wird. Bei denen handelt es sich in der Regel um dreijährige Projekte, die in einem großen Konsortium aus zehn oder mehr Organisationen durchgeführt werden müssen.

Das ist ziemlich unflexibel, da man drei Jahre im Voraus nicht vorhersehen kann, was am relevantesten sein wird.

Beispielsweise hat der Mechanismus zur Altersverifikation eine hohe Priorität erlangt. Das war vor zwei Jahren noch nicht der Fall. Es ist eine Veränderung in der politischen Agenda, die diesem Thema eine höhere Priorität einräumt.

netzpolitik.org: Okay, lass uns einmal darüber sprechen, wie sich die politische Agenda auf eure Arbeit auswirkt. In Brüssel heißt es, dass wichtige Entscheidungen in den DSA-Untersuchungen von Personen in hohen politischen Kreisen getroffen werden und es sich nicht um eine rein technische Durchsetzung handelt.

Marc Faddoul: Die Tatsache, dass dies ständig auf einer geopolitischen Ebene abgewogen wird, ist zum einen frustrierend für die Menschen, die an der Ausarbeitung dieser Untersuchung beteiligt sind, zum anderen aber vor allem unvereinbar mit den Aussagen jener Spitzenpolitiker:innen, die betonen, dass die Einhaltung europäischer Gesetze nicht verhandelbar sei und dass diese strikt durchgesetzt würden.

Zudem sendet dies ein falsches Signal an jene Plattformen und an feindselige Politiker:innen, dass sie tatsächlich Druck ausüben können, um diese Entscheidungen zu blockieren.

Und dann gibt es noch eine zweite Komponente, nämlich: Was wird durchgesetzt? Wo liegen die Prioritäten?

Hier gibt es viel Interpretationsspielraum, da der DSA sehr umfangreich ist. Er wird gerade eingeführt, und nicht alles wird mit derselben Geschwindigkeit und derselben Priorität umgesetzt.

Der politische Einfluss auf die Durchsetzung

netzpolitik.org: Was wird priorisiert?

Marc Faddoul: Die Themen, bei denen über das gesamte politische Spektrum hinweg sowie auf transatlantischer Ebene Einigkeit herrscht, etwa die Verbreitung nicht einvernehmlicher intimer Bilder. Selbst Melania Trump hat sich beispielsweise sehr für dieses spezielle Thema eingesetzt. Weitere Beispiele für Themen mit breitem Konsens sind Material von Kindesmissbrauch (CSAM) und die Altersüberprüfung. Es sind nach wie vor diese politischen Dynamiken, die bestimmen, wo der Druck angesetzt wird.

Auf der anderen Seite rückt Desinformation zum Klimawandel mittlerweile ganz nach unten auf der Prioritätenliste.

netzpolitik.org: Wie würdest du die Transparenz bei der Durchsetzung des DSA bewerten?

Marc Faddoul: Eins kann ich dir sagen: In den Untersuchungen, an denen wir beteiligt sind und in denen wir Beweismaterial vorgelegt haben, haben wir keine Ahnung, was darin steht oder wann sie veröffentlicht werden. Wir wissen nur, dass unser Material eingegangen ist.

Aber selbst dann können wir durch die Ergebnisse dieser Ermittlungen gefährdet werden.

Das ist bei der Untersuchung von X passiert. Die Geldbuße wurde verhängt, dann hat das US-Justizministerium die gesamte Ermittlungsakte mit unseren Namen darin ungeschwärzt geleakt.

Das hat also reale Konsequenzen für uns. Es kann zu Vergeltungsmaßnahmen gegen uns kommen, besonders wenn Elon Musk sehr aggressiv gegen die Geldbuße twittert und behauptet, das sei eine Zensur der Meinungsfreiheit in den USA, was natürlich völliger Unsinn ist.

Dennoch können wir in der Realität als Reaktion darauf schikaniert und angegriffen werden, aber wir hatten keinen Einfluss darauf, dass unser Name in diesen Akten erfasst wurde und dass sie veröffentlicht wurden. Und wir wurden nicht einmal wirklich über diesen Zeitplan informiert.

Das ist nicht direkt die Schuld der Kommission. Sie musste die Akte an Twitter weitergeben. Diese forderte das US-Justizministerium von Twitter an. Dann haben sie sie geleakt.

Wir sind ein zentraler Akteur bei der Aufarbeitung des Falls, haben aber keine Kontrolle und nicht einmal Informationen darüber, wie es weitergeht.

netzpolitik.org: Ihr könnt nicht nur durch Tweets oder Kommentare schikaniert werden, sondern es könnte auch rechtliche Konsequenzen geben, richtig? Gibt es dafür irgendeine Art von Schutz, oder werdet ihr da ganz allein gelassen?

Marc Faddoul: Das liegt ganz bei uns. Die Kommission hilft uns dabei in keiner Weise.

Hier haben wir eine klare politische Forderung, nämlich einen deutlich besser geschützten Raum für Menschen, die wie wir im öffentlichen Interesse recherchieren.

netzpolitik.org: Also, die wichtigsten Dinge, die ihr benötigt, sind eine bessere Finanzierung, rechtlicher Schutz, außerdem Transparenz – noch etwas?

Marc Faddoul: Nun, eigentlich halte ich es für unseren Schutz für gut, dass wir keine Einzelheiten zu den Fällen kennen. Ich würde das nicht als Forderung formulieren.

Die Finanzierung, auf jeden Fall. Sie sollte flexibler und kurzfristiger sein und nicht nur über große Konsortien laufen.

Und was den rechtlichen Schutz angeht, ja, auf jeden Fall. Ein sicherer Hafen für Forschung im öffentlichen Interesse und auch institutionelle Unterstützung, wenn wir von ausländischen Akteuren angegriffen werden, weil wir uns an der Durchsetzung demokratischer Regulierung beteiligen.

Der Fotoanbieter Portraitbox wird nach einem Cyberangriff offenbar erpresst. Das berichten verschiedene Quellen unter Berufung auf Betroffene. Das Paderborner Unternehmen bietet professionellen Fotografen ein Shop- und Galeriesystem, mit dem sie ihren Kunden digitale Kontaktabzüge etwa für Fotobestellungen schicken können. Die Galerien sind derzeit offline, verschiedene Fotostudios haben bereits ihre Kunden unterrichtet.

Am Wochenende des 16. und 17. Mai 2026 verschafften sich Angreifer offenbar Zugriff auf die AWS-Konten von Portraitbox, luden sämtliche dort gespeicherten Fotos und Kundendaten herunter und löschten sie dann. Sie drohen mit einer Veröffentlichung der Daten, will das Portal anwalt.de erfahren haben. Wer der oder die Erpresser sind und welches Lösegeld sie fordern, ist zur Stunde unklar. Auf den üblichen Leakseiten und -portalen taucht Portraitbox nicht auf, womöglich um laufende Lösegeldverhandlungen nicht zu gefährden.

Betroffen sind alle Galerien, die Fotostudios und freie Fotografen für ihre Kundenbilder anlegt haben. Solche Galerien dienen nach einem Fototermin dazu, Fotos als Abzüge zu bestellen und später Nachbestellungen zu vereinfachen. Portraitbox übernimmt auch die Bestellabwicklung und den Versand von Benachrichtigungs-E-Mails für seine Kunden. Die Namen, Mail- und Lieferadressen der Fotografierten zählen auch zu den erbeuteten Daten. Die Zugangsdaten, meist automatisch generierte und per E-Mail versandte Zugangscodes, sind Berichten zufolge ebenfalls abhandengekommen.

Portraitbox hat etwa 2000 Kunden aus der Fotobranche. Wenn jedes dieser Fotostudios nur 100 Personen abgelichtet hat, sind 200.000 Betroffene zu verzeichnen. Heikel: Nicht nur für normale Familienfotos bietet sich Portraitbox an, sondern auch für Schul- oder Kindergartenfotos – viele Betroffene waren also zum Zeitpunkt der Aufnahme minderjährig.

Fotografen sollten den Vorfall zügig melden

Das Unternehmen hat seine Kunden, die Fotostudios, informiert – nicht aber die Endkunden. Das ist datenschutzrechtlich zulässig, denn: Portraitbox tritt datenschutzrechtlich als sogenannter Auftragsverarbeiter auf. Verantwortlich für die Verarbeitung der Daten bleibt der Fotograf selbst. Das heißt: Alle Fotografen, die Portraitbox nutzen, müssen die zuständige Aufsichtsbehörde von dem Datenschutzvorfall in Kenntnis setzen und die Betroffenen – also alle Fotografierten – informieren. Denn: Da die Angreifer angeblich mit einer Veröffentlichung der Daten drohen und mitunter besonders sensible Aufnahmen gemacht wurden (von Kindern, aber auch Erotikfotos), handelt es sich um einen Datenschutzvorfall mit hohem Risiko.

Die 72-Stunden-Frist für eine Meldung bei der Aufsichtsbehörde, also den Landesdatenschutzbeauftragten für das Bundesland, in dem der Fotograf ansässig ist, läuft bald ab. Da Portraitbox bereits am 20. Mai eine Informationsmail verschickte, bleiben nur noch wenige Stunden bis Samstag für eine fristgerechte Meldung. Dass die Cyberkriminellen bei Nichtzahlung des Lösegelds Ernst machen, ist wahrscheinlich: Vor mehreren Jahren veröffentlichten Ransomware-Gangster sogar Fotos von Brustkrebspatientinnen.

(cku)