TikTok und Instagram kommen ihren Pflichten zur Kennzeichnung von KI-generierten Videos nicht ausreichend nach. Auf TikTok dominieren zudem synthetische KI-Videos die Suchergebnisse zu populären Hashtags. Zu diesem Schluss kommt die europäische gemeinnützige Organisation AI Forensics in einer neuen Studie zur Verbreitung von KI-generierten Inhalten auf den beiden Plattformen.

Die Studie untersucht sogenannten AI Slop. Gemeint sind damit massenproduzierte, KI-generierte Inhalte, die „bizarr und sinnlos“ wirken durch ihre Kombination aus fotorealistischem Stil und unrealistischem Inhalt. AI Forensics hat analysiert, wie viele der Suchergebnissen zu den 13 populärsten Hashtags auf TikTok und Instagram AI Slop sind. Dazu betrachteten die Forscher*innen Suchergebnisse zu #Trump, #History oder #Pope mit einem geografischen Fokus auf Deutschland, Spanien und Polen.

Das Ergebnis: Sucht man nach diesen Hashtags auf TikTok, so seien von den obersten 30 Suchergebnissen 25 Prozent AI Slop. Auf Instagram ist die Anzahl deutlich geringer mit nur zwei Prozent. Von den KI-generierten Videos sind rund 80 Prozent fotorealistisch, das heißt sie sehen aus wie echte Videos. Dadurch würden sie noch trügerischer wirken.

Nicht nur Unterhaltung

Als Beispiel für AI Slop führt AI Forensics Shrimp Jesus an, eine Mischung aus Meerestieren und Jesus, die vergangenes Jahr in den Feeds von Facebook-Nutzer*innen für Irritation sorgte. Zugleich habe AI Slop auch desinformative Elemente. So identifizieren die Forscher*innen eine Kategorie von AI Slop, die sie „synthetischen Bürger-Journalismus“ nennen. Gemeint sind etwa Videos von Explosionen, die wie Amateur-Clips aussehen, aber ebenfalls generiert sind.

Ähnlich irreführend würden KI-generierte Straßeninterviews wirken, die einen vermeintlichen Regierungssturz in Iran kommentieren. Auch Videos von Politiker*innen mit falschen Aussagen hat AI Forensics laut der Studie gefunden.

Kennzeichnung reicht nicht aus

Um diesem trügerischen Effekt entgegenzuwirken, schreibt die KI-Verordnung (AI Act) der Europäischen Union Plattformen in solchen Fällen eigentlich Transparenz vor: Sie müssen KI-generierte Inhalte kennzeichnen. Dabei stützt sich die KI-Verordnung auf das Gesetz über Digitale Dienste (Digital Services Act), das vorschreibt, dass große Plattformen gegen gesellschaftliche Risiken vorgehen müssen. AI Forensics weist darauf hin, dass auch die Kennzeichnung von KI-generierten Videos dazu zähle.

Sowohl TikTok als auch Instagram kämen der Kennzeichnungspflicht nicht nach, so die Studie. TikTok gibt die Verantwortung zur Kennzeichnung von KI-generierten Inhalten an Nutzer*innen weiter und verpflichtet dazu in ihren Guidelines. Das sei nicht verlässlich genug und auch die automatisierte KI-Erkennung funktioniere nicht lückenlos, so AI Forensics.

Von den als AI Slop identifizierten Videos auf TikTok war demnach nur rund die Hälfte als KI-generiert gekennzeichnet. Auf Instagram war es noch weniger mit 23 Prozent, obwohl auch Instagram Nutzer*innen zur Kennzeichnung verpflichtet und eine automatisierte KI-Erkennung einsetzt.

Zudem seien die Kennzeichnungen schlecht sichtbar gewesen: Auf TikTok wurden sie in einer langen Liste aus Hashtags versteckt und in der Instagram-Desktop-Version wurden sie gar nicht angezeigt. netzpolitik.org hat die Kennzeichnungen überprüft und kommt zum gleichen Ergebnis.

Verbreitung läuft automatisiert

Hinter der Verbreitung des AI Slops würden fast vollständig automatisierte Accounts stecken, so AI Forensics. 80 Prozent des AI Slops auf TikTok wurde demnach von Profilen hochgeladen, die generative KI-Werkzeuge einsetzten „für automatisierte Inhaltserstellung und schnelles, repetitives Testen von Plattformalgorithmen und Publikumsinteressen“. Diese Massenproduktion von Inhalten ziele darauf ab, Algorithmen auszuspielen und die Chancen für Videos mit einer hohen Reichweite zu erhöhen. AI Forensics sagt voraus, dass dieser Prozess mit der Hilfe von KI-Agenten vollständig automatisiert werden könne.

Die Studie fordert Plattformen auf, diese Art von automatisierten Accounts zu regulieren, um eine weitere Eskalationen und „Manipulationskampagnen“ zu verhindern. Auch sollen Plattformen sich an ihre Verpflichtungen zur Kennzeichnung von KI-generierten Inhalten halten und eigene Regelungen stärker durchsetzen.

Derzeit haben Angreifer zwei „kritische“ Schwachstellen in Trend Micro Apex One Management Console (On-Premise) unter Windows im Visier. Ein vorläufiges Sicherheitsupdate ist verfügbar, das aber Einschränkungen mit sich bringt. Der Anbieter von IT-Sicherheitssoftware gibt an, dass sie bereits Angriffsversuche dokumentiert haben.

Jetzt patchen!

Konkret bedroht ist den Entwicklern zufolge Trend Micro Apex One (On-Premise) 2019 bis einschließlich Management Server Version 14039. In einer Warnmeldung versichern sie, dass die On-Premise-Version mit dem Patch FixTool_Aug2025 gegen die Attacken gerüstet ist.

Dabei handelt es sich ihnen zufolge aber um ein vorläufiges Update, das Systeme zwar schützt, aber eine Einschränkung mit sich bringt: So können Admins nach der Installation die Funktion „Remote Install Agent“ zur Bereitstellung von Agenten über die Trend Micro Apex One Management-Konsole nicht mehr nutzen. Trend Micro versichert, dass der vollständige Patch ohne Einschränkungen Mitte August erscheinen soll.

In welchem Umfang die Angriffe ablaufen und woran Admins bereits attackierte Systeme erkennen können, ist bislang unklar. Die As-a-Service-Ausgabe der Schutzsoftware ist den Entwicklern zufolge seit Ende Juli abgesichert.

Den Beschreibungen der beiden Sicherheitslücken (CVE-2025-54948, CVE-2025-54987) zufolge können Attacken aus der Ferne erfolgen. Dafür müssen Angreifer aber „pre-authenticated“ sein, schreiben die Entwickler. Ist das gegeben, können sie eigenen Code hochladen und ausführen. Aufgrund der kritischen Einstufung ist davon auszugehen, dass Systeme im Anschluss vollständig kompromittiert sind.

Im Juli hat Trend Micro mehrere Schwachstellen in unter anderem Cleaner One Pro geschlossen.

(des)

Polizei und Ermittlungsbehörden durften 2023 in Deutschland 130 Mal IT-Geräte mit Staatstrojanern hacken und haben es 68 Mal getan. Das hat das Bundesjustizamt bekannt gegeben. Damit hat sich die Anzahl der Trojaner-Einsätze in zwei Jahren mehr als verdoppelt.

Das Bundesjustizamt veröffentlicht jedes Jahr Statistiken zur Telekommunikationsüberwachung. Wir bereiten sie regelmäßig auf.

Anlass für den Einsatz von Staatstrojanern waren wie immer vor allem Drogen, so das Justizamt in der Pressemitteilung: „Wie in den vergangenen Jahren begründete vor allem der Verdacht einer Straftat nach dem Betäubungsmittelgesetz die Überwachungsmaßnahmen.“

62 kleine Trojaner

Die „Quellen-Telekommunikationsüberwachung“ hackt Geräte, um laufende Kommunikation auszuleiten. Dieser „kleine Staatstrojaner“ wurde 104 Mal angeordnet. In 62 Fällen wurde der Einsatz „tatsächlich durchgeführt“. Im Vorjahr waren es 49 Einsätze.

Spitzenreiter ist Nordrhein-Westfalen, dort haben Ermittler 23 Mal gehackt. Danach folgt Niedersachsen, dort kamen kleine Staatstrojaner zehn Mal zum Einsatz. Bayern und Sachsen haben je sieben Mal Geräte infiziert. Hamburg, Hessen und der Generalbundesanwalt hackten drei Geräte. Sachsen-Anhalt hat zweimal die Quellen-TKÜ eingesetzt, Baden-Württemberg, Rheinland-Pfalz, Schleswig-Holstein und Thüringen je einmal.

Damit hackt mittlerweile die Mehrzahl der Bundesländer. Nur fünf Länder haben keine Quellen-TKÜ eingesetzt: Berlin, Brandenburg, Bremen, Mecklenburg-Vorpommern und das Saarland.

Die Justizstatistik enthält leider keine Angaben, bei welchen Straftaten der kleine Staatstrojaner eingesetzt wird. Das Bundesjustizamt sagt, dass „vor allem“ Drogendelikte Anlass für Überwachung sind.

Sechs große Trojaner

Die „Online-Durchsuchung“ hackt Geräte, um sämtliche Daten auszuleiten. Dieser „große Staatstrojaner“ wurde 26 Mal angeordnet. In sechs Fällen wurde der Einsatz „tatsächlich durchgeführt“. Im Vorjahr waren es vier Einsätze.

Der Generalbundesanwalt hat 19 Anordnungen bekommen, aber nur zweimal gehackt. Anlass waren kriminelle oder terroristische Vereinigungen. Das könnten Rechtsterroristen wie die Patriotische Union oder Klimaaktivisten wie die Letzte Generation sein.

Bayern hat zweimal gehackt, wegen krimineller Vereinigungen oder Mord. Baden-Württemberg hackte einmal, wegen Straftaten gegen die sexuelle Selbstbestimmung bzw. kinderpornografischer Inhalte. Hessen hackte einmal, wegen Straftaten gegen die persönliche Freiheit. Hamburg wollte einmal hacken, wegen Straftaten gegen die persönliche Freiheit, war aber nicht erfolgreich.

Für und gegen Sicherheit

Politisch werden Staatstrojaner meist mit Terrorismus, Mord und Totschlag oder Straftaten gegen die sexuelle Selbstbestimmung begründet. Spitzenreiter sind jedoch auch weiterhin Drogendelikte. Damit verhindert der Staat, dass Sicherheitslücken geschlossen werden, um ein paar Drogen-Dealer zu bekämpfen.

Die Polizeibehörden besitzen mehrere Staatstrojaner, die sie einsetzen können. Das BKA hat selbst einen Trojaner Remote Communication Interception Software programmiert. Seit 2013 hat das BKA den Trojaner FinSpy von FinFisher. Seit 2019 hat und nutzt das BKA auch Pegasus von NSO. Welche weiteren Trojaner Polizei und Geheimdienste besitzen, will keine Bundesregierung öffentlich sagen.

Polizei hackt immer öfter

Erst seit fünf Jahren gibt es offizielle Statistiken, wie oft die deutsche Polizei Staatstrojaner einsetzt. Seitdem steigen die Zahlen Jahr für Jahr.

Die Ampel-Regierung wollte die Eingriffsschwellen für Staatstrojaner hochsetzen, hat das aber nicht umgesetzt. Die aktuelle Bundesregierung will den Einsatz von Staatstrojanern ausweiten. Die Bundespolizei soll Staatstrojaner gegen Personen einsetzen, die noch gar keine Straftat begangen haben.