Instagram und Facebook wollen ihre Nutzer*innen künftig noch genauer unter die Lupe nehmen. Eine als KI bezeichnete Software soll unter anderem Texte in Posts und Kurzbios kontrollieren und Objekte in Fotos und Videos scannen. Die Software soll sogar die Körpergröße und Knochenstruktur abgebildeter Personen auswerten. Das Ziel dieser Art von Rasterfahndung sind Minderjährige.

Schätzt die Software eine Person für verdächtig jung ein, soll sie ihr Alter nachweisen. Junge Menschen unter 18 Jahre sollen die Plattformen nur im Jugendschutz-Modus nutzen; Kinder unter 13 Jahre dürfen keinen Account haben.

Wer also künftig auf Instagram Fotos vom Kindergeburtstag postet oder über Schulnoten spricht, könnte Probleme bekommen. Die Software könnte das als Hinweis werten, dass man noch nicht erwachsen ist. Diese beiden Beispiele kommen aus der Pressemitteilung von Meta.

Die neue KI-Überwachung startet Instagram demnach jetzt in der EU und in Brasilien. Zuvor lief sie bereits in den USA, Australien, Kanada und dem Vereinigten Königreich. Auf Facebook rollt Meta die Überwachung zunächst in den USA aus; im Juni soll sie für EU und Vereinigtes Königreich folgen.

Hier kommen die fünf wichtigsten Fragen und Antworten zu Metas neuen Alterskontrollen.

1. Bergen Metas Alterskontrollen Gefahren?

Ein Fachbegriff für die von Meta geplanten Alterskontrollen ist Inferenz, einfacher ausgedrückt: schlussfolgern. Inferenz-Methoden kombinieren mehrere Anhaltspunkte, um das Alter einer Person zu schätzen. Dabei können Dinge schiefgehen – besonders wenn ein Tech-Konzern sogar Fotos und Videos mit sogenannter KI durchsuchen will.

• Datenmaximierung: In der EU verankert die Datenschutz-Grundverordnung (DSGVO) den Grundsatz der Datenminimierung. Das heißt im Fall von Meta: Der Konzern soll nicht mehr Daten sammeln und verarbeiten als nötig. Auf Datenminimierung pocht auch die EU-Kommission in ihren Leitlinien, die beschreiben, wie Online-Dienste Minderjährige schützen sollen; Grundlage is das Gesetzes über digitale Dienste (DSA). Passend dazu fordern in der aktuellen Debatte um Altersgrenzen und Social-Media-Verbote Politiker*innen durch die Bank weg, Alterskontrollen sollen datensparsam ein. Was Meta plant, ist jedoch das Gegenteil: Der Konzern will Daten nicht minimieren, sondern maximieren. Er will „mit KI-Technologie komplette Profile analysieren“.
• Kontrollverlust: Meta listet nicht vollständig auf, was die Software auf der Suche nach Minderjährigen alles einbezieht. Hinweise auf Geburtstage oder Schulnoten sind nur Beispiele; ebenso die Knochenstruktur von Menschen in Fotos und Videos. Nutzer*innen können deshalb nicht wissen, welche der Dinge, die sie posten, möglicherweise problematisch sein könnten. Sie wissen auch nicht, was genau mit den aus der Analyse gewonnenen Erkenntnissen passiert. Meta ist ein Datenschlucker; in der Vergangenheit hatte der Konzern mehrfach Datenschutz-Skandale. Die autoritäre US-Regierung hat potenziell Zugriff auf Daten von Meta-Nutzer*innen in der EU. Daraus folgt: Menschen auf Instagram und Facebook können kaum kontrollieren, was mit ihren Daten geschieht.
• Fehleinschätzungen: Inferenz-Methoden setzen auf Hinweise, aber Hinweise sind keine Fakten. Die Software könnte Menschen zu Unrecht als minderjährig einstufen. In der Folge müssten sie potenziell invasive Alterskontrollen überwinden; etwa auf Basis von Ausweisen oder biometrischen Gesichtsscans. Eventuell geraten manche Gruppen besonders oft in Verdacht, noch nicht erwachsen zu sein. Etwa Menschen, die sich aufgrund von Sprachschwierigkeiten nur sehr einfach ausdrücken. Oder eher kleine, schmale Menschen, deren Körper eine Software als jugendlich einstufen würde.
• Gesellschaftsbild: Die Maßnahme steht für einen radikalen gesellschaftlichen Wandel im Umgang mit Risiken. Auf der Suche nach Minderjährigen werden praktisch alle Nutzer*innen zu Verdächtigen – und all ihre Uploads zu potenziellem Beweismaterial. Die Überwachung wichtiger Schauplätze der digitalen Öffentlichkeit wird zunehmend lückenlos. Lange Zeit wurden KI-gestützte Überwachungsmethoden vor allem diskutiert, um schwere Verbrechen aufzuklären. Jetzt sollen sie sogar Kinder aufspüren. Es geht um junge Menschen, die neugierig sind und Regeln brechen, nicht um Schwerverbrecher*innen. Das normalisiert permanente Überwachung, selbst im Alltag.
• Function Creep ist die schrittweise Ausweitung einer Technologie über die ursprünglich beschriebenen Zwecke hinaus. Konkretes Beispiel: Schon jetzt nutzt die rassistische Trump-Regierung ein Arsenal an Überwachungstechnologie auf der Jagd nach Migrant*innen, um sie zu deportieren. Theoretisch könnte Meta die Systeme zur Suche nach Minderjährigen auch zur Suche nach Migrant*innen oder anderen vulnerablen Gruppen einsetzen. Entsprechende Gesetze könnten Konzerne dazu verpflichten, wenn die Infrastruktur erst einmal da ist.

2. Warum macht Meta das?

Meta reagiert mit den neuen Alterskontrollen wahrscheinlich auf die weltweite Debatte um Jugendschutz im Netz und Social-Media-Verbote. Jüngst hat etwa die EU-Kommission festgestellt, dass Meta nicht genug tut, um unter 13-Jährige von Facebook und Instagram fernzuhalten. Das ist ein möglicher Verstoß gegen den DSA; am Ende können Geldbußen drohen.

Die neuen Alterskontrollen könnte der Meta-Konzern als Argument dafür nutzen, dass er sich nun an die Regeln hält. Generell bieten Inferenz-Methoden mehrere Anreize für kommerzielle Online-Plattformen.

• Plattformen wollen ihre Nutzer*innen nicht abschrecken; immerhin ist deren Aufmerksamkeit die wichtigste Geldquelle. Während etwa Ausweiskontrollen für alle eine sichtbare Hürden sind, laufen Inferenz-Methoden zunächst unscheinbar im Hintergrund.
• Inferenz-Methoden basieren auf Wahrscheinlichkeiten. Plattformen können genau steuern, ab welcher Schwelle eines Verdachts die Software Alarm schlägt und von Nutzer*innen eine Altersverifikation verlangt. Auf diese Weise könnte ein Konzern stets optimieren, wie streng die Kontrollen ausfallen – auch mit Blick auf möglichst geringe finanzielle Einbußen.
• Die Systeme hinter Inferenz-Methoden können für Außenstehende komplex und intransparent sein. Kommerzielle Online-Plattformen sprechen gerne davon, dass sie ihre Systeme kontinuierlich verbessern. Das gibt ihnen viel Spielraum, etwaige Fehler zu relativieren mit Verweis auf eine überholte Version der Systeme, etwa gegenüber Aufsichtsbehörden.

3. Ist das neu?

Inferenz-Methoden zur Alterskontrolle auf Online-Plattformen gibt es schon länger. Selbst Meta schreibt, dass sie ihre Systeme lediglich weiter „stärken“. Auch beispielsweise TikTok, ChatGPT, die Google-Suche oder YouTube suchen im Hintergrund nach Hinweisen darauf, ob Nutzer*innen zu jung sein könnten.

Neu ist allerdings die beschriebene Tiefe der Eingriffe – bis hin zur Analyse von Objekten und Knochenstruktur in Bildern und Videos. Wie zur Beschwichtigung betont Meta in der Pressemitteilung: „Das ist keine Gesichtserkennung.“ Die Software identifiziere keine Personen. Das kann technisch korrekt sein, macht die Eingriffe aber nicht unbedenklich.

4. Darf Meta das?

Vielleicht nicht. Die Datenschutzjuristin Kleanthi Sardeli verfolgt die Neuerungen bei Meta jedenfalls mit Skepsis. Sie arbeitet für die spendenfinanzierte NGO noyb („none of your business“) mit Sitz in Wien. Auf Anfrage von netzpolitik.org geht sie darauf ein, dass biometrische Daten wie Knochenstruktur und Körpergröße in der DSGVO einem strengeren Schutz unterliegen.

Knochenstruktur und Körpergröße können als Gesundheitsdaten angesehen werden, die denselben Schutz wie biometrische Daten genießen. Diese dürfen nur in Ausnahmefällen und auf Grundlage spezifischer Rechtsgrundlagen verarbeitet werden. Dazu gehört unter anderem die Einwilligung. In Metas Datenschutzerklärung wird dieser spezifische Einsatzbereich bisher nicht erwähnt, und als Rechtsgrundlage wird lediglich das berechtigte Interesse genannt – was für den Einsatz dieser neuen KI-Technologie eindeutig nicht ausreichend wäre.

Nähere Einschätzungen seien schwierig, schreibt Sardeli. Dafür seien Metas Informationen zu zurückhaltend. „Es wird auch nicht näher erläutert, wie Metas KI-Modelle auf die Alterserkennung trainiert werden – und ob Inhalte auf Meta-Plattformen verwendet werden, um diese KI-Funktionen weiter zu trainieren.“

Scharfe Kritik an Meta kommt von der deutschen Europa-Abgeordneten Alexandra Geese (Grüne), Stellvertretende Vorsitzende im Ausschuss für Binnenmarkt und Verbraucherschutz. Auf Anfrage von netzpolitik.org schreibt sie:

Was Meta hier plant, ist nichts weniger als der nächste Tabubruch: Die systematische Auswertung von Körpermerkmalen wie Knochenstruktur zur Altersbestimmung ist ein massiver Eingriff in hochsensible personenbezogene Daten.

Geese verweist auf eine Regel im DSA, die besagt: Online-Plattformen sind „nicht verpflichtet, zusätzliche personenbezogene Daten zu verarbeiten, um festzustellen, ob der Nutzer minderjährig ist“. Meta tut es dennoch. Statt mehr Schutz reagiere Meta mit mehr Überwachung. „Wer glaubt, man könne Kinderschutz mit biometrischer Massenanalyse erreichen, opfert Grundrechte auf dem Altar eines kaputten Geschäftsmodells.“

5. Was passiert als nächstes?

Die EU-Kommission dürfte sich für das laufende DSA-Verfahren genau anschauen, ob Meta mit den neuen Alterskontrollen die gesetzlichen Vorgaben erfüllt. Einerseits könnte Meta auf diese Weise tatsächlich mehr Minderjährige finden – andererseits könnte die Kommission die datenhungrigen Maßnahmen als unverhältnismäßig einstufen.

Parallel diskutieren Expert*innen gerade auf Deutschland- und EU-Ebene über Maßnahmen für Kinder- und Jugendschutz im Netz. Spitzenpolitiker*innen fordern vehement Social-Media-Verbote und (datensparsame) Alterskontrollen, während Fachleute aus unter anderem Medienpädagogik, Kinderschutz oder IT-Sicherheit vor beidem warnen. Im Sommer sollen die von EU-Kommission und Bundesregierung einberufenen Expert*innen ihre Empfehlungen vorlegen.