Datenschutz & Sicherheit
Wie künstliche Videos Social Media fluten
TikTok und Instagram kommen ihren Pflichten zur Kennzeichnung von KI-generierten Videos nicht ausreichend nach. Auf TikTok dominieren zudem synthetische KI-Videos die Suchergebnisse zu populären Hashtags. Zu diesem Schluss kommt die europäische gemeinnützige Organisation AI Forensics in einer neuen Studie zur Verbreitung von KI-generierten Inhalten auf den beiden Plattformen.
Die Studie untersucht sogenannten AI Slop. Gemeint sind damit massenproduzierte, KI-generierte Inhalte, die „bizarr und sinnlos“ wirken durch ihre Kombination aus fotorealistischem Stil und unrealistischem Inhalt. AI Forensics hat analysiert, wie viele der Suchergebnissen zu den 13 populärsten Hashtags auf TikTok und Instagram AI Slop sind. Dazu betrachteten die Forscher*innen Suchergebnisse zu #Trump, #History oder #Pope mit einem geografischen Fokus auf Deutschland, Spanien und Polen.
Das Ergebnis: Sucht man nach diesen Hashtags auf TikTok, so seien von den obersten 30 Suchergebnissen 25 Prozent AI Slop. Auf Instagram ist die Anzahl deutlich geringer mit nur zwei Prozent. Von den KI-generierten Videos sind rund 80 Prozent fotorealistisch, das heißt sie sehen aus wie echte Videos. Dadurch würden sie noch trügerischer wirken.
Nicht nur Unterhaltung
Als Beispiel für AI Slop führt AI Forensics Shrimp Jesus an, eine Mischung aus Meerestieren und Jesus, die vergangenes Jahr in den Feeds von Facebook-Nutzer*innen für Irritation sorgte. Zugleich habe AI Slop auch desinformative Elemente. So identifizieren die Forscher*innen eine Kategorie von AI Slop, die sie „synthetischen Bürger-Journalismus“ nennen. Gemeint sind etwa Videos von Explosionen, die wie Amateur-Clips aussehen, aber ebenfalls generiert sind.
Ähnlich irreführend würden KI-generierte Straßeninterviews wirken, die einen vermeintlichen Regierungssturz in Iran kommentieren. Auch Videos von Politiker*innen mit falschen Aussagen hat AI Forensics laut der Studie gefunden.
Kennzeichnung reicht nicht aus
Um diesem trügerischen Effekt entgegenzuwirken, schreibt die KI-Verordnung (AI Act) der Europäischen Union Plattformen in solchen Fällen eigentlich Transparenz vor: Sie müssen KI-generierte Inhalte kennzeichnen. Dabei stützt sich die KI-Verordnung auf das Gesetz über Digitale Dienste (Digital Services Act), das vorschreibt, dass große Plattformen gegen gesellschaftliche Risiken vorgehen müssen. AI Forensics weist darauf hin, dass auch die Kennzeichnung von KI-generierten Videos dazu zähle.
Sowohl TikTok als auch Instagram kämen der Kennzeichnungspflicht nicht nach, so die Studie. TikTok gibt die Verantwortung zur Kennzeichnung von KI-generierten Inhalten an Nutzer*innen weiter und verpflichtet dazu in ihren Guidelines. Das sei nicht verlässlich genug und auch die automatisierte KI-Erkennung funktioniere nicht lückenlos, so AI Forensics.
Von den als AI Slop identifizierten Videos auf TikTok war demnach nur rund die Hälfte als KI-generiert gekennzeichnet. Auf Instagram war es noch weniger mit 23 Prozent, obwohl auch Instagram Nutzer*innen zur Kennzeichnung verpflichtet und eine automatisierte KI-Erkennung einsetzt.
Zudem seien die Kennzeichnungen schlecht sichtbar gewesen: Auf TikTok wurden sie in einer langen Liste aus Hashtags versteckt und in der Instagram-Desktop-Version wurden sie gar nicht angezeigt. netzpolitik.org hat die Kennzeichnungen überprüft und kommt zum gleichen Ergebnis.
Verbreitung läuft automatisiert
Hinter der Verbreitung des AI Slops würden fast vollständig automatisierte Accounts stecken, so AI Forensics. 80 Prozent des AI Slops auf TikTok wurde demnach von Profilen hochgeladen, die generative KI-Werkzeuge einsetzten „für automatisierte Inhaltserstellung und schnelles, repetitives Testen von Plattformalgorithmen und Publikumsinteressen“. Diese Massenproduktion von Inhalten ziele darauf ab, Algorithmen auszuspielen und die Chancen für Videos mit einer hohen Reichweite zu erhöhen. AI Forensics sagt voraus, dass dieser Prozess mit der Hilfe von KI-Agenten vollständig automatisiert werden könne.
Die Studie fordert Plattformen auf, diese Art von automatisierten Accounts zu regulieren, um eine weitere Eskalationen und „Manipulationskampagnen“ zu verhindern. Auch sollen Plattformen sich an ihre Verpflichtungen zur Kennzeichnung von KI-generierten Inhalten halten und eigene Regelungen stärker durchsetzen.
Datenschutz & Sicherheit
Cyberangriff: Kundendaten von Air France und KLM entwendet
Wer kürzlich mit dem Kundenservice der Fluggesellschaften KLM oder Air France zu tun hatte, könnte in Zukunft unerfreuliche E-Mails erhalten. Entweder solche, in denen die Airlines davor warnen, dass die eigenen Daten von Cyberkriminellen entwendet wurden. Oder aber Phishing-Mails der letzteren, auf die auch in den Warnungen der Airlines hingewiesen wird.
Hintergrund: Bei einem Drittanbieter, der im Bereich Kundensupport für die beiden Airlines und ihre Tochtergesellschaften tätig ist, wurden persönliche Daten der Kunden gestohlen. Genauere Angaben macht KLM in seiner Pressemitteilung dazu nicht. Air France wird jedoch explizit auch erwähnt. KLM und Air France gehören beide zur selben Holdinggesellschaft Air France-KLM, was den Zusammenhang erklären dürfte.
KLM versichert: Keine sensiblen Daten betroffen
Die internen Systeme von Air France und KLM sind demnach nicht betroffen. Auch wurden keine sensiblen Daten wie Passwörter, Reisedaten, Meilen aus dem Vielfliegerprogramm Fying Blue, Pass- oder Kreditkartendaten gestohlen, versichert KLM. Das Tech-Portal Bleeping Computer berichtet derweil unter Berufung auf die beiden Fluggesellschaften, dass Namen, E-Mail-Adressen, Telefonnummern, Informationen zum Prämienprogramm und zu jüngsten Transaktionen entwendet wurden.
KLM hat nach eigenen Angaben die niederländische Datenschutzbehörde informiert, Air France die französische. Das eigene IT-Sicherheitsteam habe sofort Maßnahmen ergriffen, um den unerlaubten Zugriff auf die Daten zu unterbinden und auch in Zukunft zu verhindern. Betroffene Kunden sollen nun informiert werden.
(nen)
Datenschutz & Sicherheit
Die Woche, als kein Sommerloch in Sicht war
Liebe Leser*innen,
nächste Woche endet unsere kleine Sommer-Spendenkampagne. Unser Ziel: Innerhalb von 30 Tagen möchten wir 300 Dauerspender*innen finden, um insgesamt 3.000 Euro zu sammeln (das macht im Durchschnitt 10 Euro monatlich pro Nase). Warum das ganze? Um unseren Kampf für digitale Freiheitsrechte auf eine stabile Grundlage zu stellen.
Ihr könnt euch das so vorstellen: Unser größter Posten jeden Monat sind die Personalkosten. 11 Monate im Jahr leben wir quasi über unsere Verhältnisse. Es kommen also 11 Monate im Jahr weniger Spenden neu herein, als wir Geld ausgeben. Erst im letzten zwölften Monat erhalten wir – wenn’s gut läuft – den erhofften und ersehnten Schub, damit der Laden weiterläuft.
Was würde mir (und uns allen im Team!) ein Stein vom Herzen fallen, wenn das etwas ausgeglichener wäre. Deshalb der Wunsch nach Dauerspenden. Lieber zwölf kleinere, monatliche Dosen übers Jahr verteilt als ein riskantes Spendenfinale zum Schluss.
Seit dem Start unserer Sommerkampagne sind schon mehr als 100 neue Dauerspender*innen hinzugekommen. Schön, dass ihr dabei seid und allerbesten Dank an Euch!!
Sprudelnde Nachrichten
Aber: Rund 1.700 Euro fehlen noch. Ihr könnt das jederzeit mit dem Counter auf unserer Website verfolgen. Es ist die türkisfarbene Box. Ob das in den verbliebenen Tagen noch zu schaffen ist? Stand Samstag sind es noch fünf Tage. Ich hoffe ja auf einen Last-Minute-Effekt! Wenn ihr was übrig habt: Helft uns dabei, diesen Counter nach unten zu treiben, und macht hier mit.
Letztes Jahr um die Zeit war der Sommer irgendwie anders. Es war heißer, und es war weniger los. Sommerloch, sagen Journalist*innen dazu. Dieses Jahr sprudeln die netzpolitischen Nachrichten munter weiter. Leider tritt dabei auch eine Menge Schmodder zutage.
Als hätte die EU mit der KI-Verordnung nicht längst klare Leitplanken gezogen, um biometrische Überwachung einzudämmen, hat das Haus von CSU-Innenminister Alexander Dobrindt eine Salve an Überwachungsvorhaben auf den Tisch geklatscht. Biometrische Suche nach Menschen im offenen Netz, sogar nach Zeug*innen? Was für eine furchtbare Idee.
Das finden auch mehrere zivilgesellschaftliche Organisationen, die diese Vorhaben in einem offenen Brief abwatschen. Lest hier die Zusammenfassung meiner Kollegin Chris.
Lasst euch nicht unterkriegen
Sebastian
Datenschutz & Sicherheit
Black Hat: KI als Schwachstellen-Scout und Lücke in Spectre-Schutz
Zum Einstieg in den zweiten Tag der Black Hat 2025 in Las Vegas beschwor die ehemalige New-York-Times-Journalistin Nicole Perlroth vor der versammelten Sicherheitscommunity ein Bild wachsender Cyberbedrohungen. Angreifer zielten mit Desinformationskampagnen auf den öffentlichen Diskurs und mit „Cyberwaffen“ auf kritische Infrastrukturen wie Stromnetze, das Gesundheitswesen und die Wasserversorgung.
Öffentlich-private Partnerschaften ebenso wie KI könnten allerdings gegen zunehmend eskalierende Angriffe helfen. Die Cybersicherheitsbranche brauche angesichts der Lage den Mut, Bedrohungen zu benennen, auch wenn das Konsequenzen nach sich ziehe.
Malware, die via DNS kommuniziert, stoppen
Im Anschluss ging es dann wieder tief in einzelne Lücken, Schwachstellen und Angriffsweisen. Vedang Parasnis demonstrierte, wie DNS als Tunnel für Command-and-Control-Server (C2) ausgenutzt werden kann – und wie man solche Schadprozesse erkennen und auch killen kann. Er hat einen eBPF-Filter und einen Userland-Prozess vorgestellt, der nicht nur den DNS-Verkehr von verdächtigen Prozessen stoppen kann, sondern auch den Malware-Prozess vom Kernel aus beendet. Und wenn dieser erneut aktiv wird, werde er sofort wieder beendet.
Mit KI Schwachstellen in Software finden
Mit dem Thema AI Agents for Offsec with Zero False Positives hat es Brendan Dolan-Gavitt von XBOW geschafft, den Vortragsraum schnell zu füllen. Jeder wollte wissen, wie es ihm gelungen ist, einfach mit LLMs Schwachstellen zu finden, welche keine False-Positives sind.
Als Erstes hat er gezeigt, dass LLMs extrem viele Schwachstellen zutage fördern, welche keine sind. Ein Umstand, der viele Open-Source-Entwickler in den Wahnsinn treibt, da so extrem viele Ressourcen verschwendet werden, ohne die Projekte weiterzubringen. Dolan-Gavitts Ansatz ist ein anderer: Er nutzt die KI-Agenten, um mit Ihnen eine Art „Capture the Flag“ zu spielen.
Er baut in der Software UUID-Flags ein, welche die KI-Agenten finden sollen. So hat er durch einen KI-Bot einen Authentication Bypass bei Redmine gefunden, und in vielen anderen Web-Anwendungen XSS und andere echte Schwachstellen. Dabei unterscheidet er zwischen Business-Logik-Schwachstellen, indem er diese Flags einbaut, und Anwendungen wie Datenbanken, wo er ein Flag in die Admin-SQL-Tabelle oder eine Flag-Datei in das Filesystem legt. So kann er die KI-Agenten nutzen, um Schwachstellen zu suchen, und durch das Auffinden der Flags hat er gleich den Beweis, dass es dort eine Schwachstelle gibt, die sonst unentdeckt wäre.
Durch diese Methode hat die KI 174 echte Schwachstellen gefunden, davon sind 22 CVEs schon zugewiesen und es stehen noch 154 an. Darunter befinden sich Projekte wie GeoServer (XXE), Apache HugeGraph (RCE), Puppy Graph (RCE), Apache TomCat (XXS). Er hat aktuell immer noch einen Backlog von 650 gefundenen Schwachstellen, wobei die größte Schwierigkeit für die Forscher ist, auch die Sicherheitsverantwortlichen für das jeweilige Projekt zu finden.
Hardwarefehler in allen Intel-Prozessoren
Sandro Rüegge und Johannes Wikner von der ETH Zürich zeigten eine Lücke in Intel-Prozessoren auf. Enhanced Indirect Branch Restricted Speculation (eIBRS) ist Intels primäre Abwehrmaßnahme gegen Spectre-Angriffe im Branch Target Injection-Stil (BTI). eIBRS verhindert den Missbrauch nicht vertrauenswürdiger Branch-Target-Predictions in Domänen mit höheren Berechtigungen (zum Beispiel im Kernel-/Hypervisor-Modus), indem es Vorhersagen aus anderen Berechtigungsdomänen als der, für die sie erstellt wurden, einschränkt.
Seit seiner Einführung Ende 2018 ist eIBRS die am besten geeignete BTI-Abwehr, auf die alle gängigen Betriebssysteme und Hypervisoren setzen, und hat Angreifer bisher erfolgreich daran gehindert, beliebige Branch-Target-Vorhersagen über Berechtigungsgrenzen hinweg einzuschleusen. Die Forscher zeigen jedoch, dass mikroarchitektonische Abwehrmaßnahmen wie eIBRS, ähnlich wie Software, anfällig für Race Conditions sind. Daher demonstrieren sie eine Technik, die es Angreifern ermöglicht, diesen Schutz komplett auszuheben über alle CPU-Berechtigungsebenen und Ringe hinweg.
Bei der Zurückverfolgung des Fehlers bis zu seinem Ursprung stellten die Forscher fest, dass er seit der Einführung des eIBRS vorhanden ist. Das bedeutet, dass die Intel-Prozessoren seit Sandy Bridge sind, also seit über sieben Jahren. In einer Live-Demo führten die Sicherheitsforscher vor, dass man mit ihrem Proof of Conzept als normaler Nutzer einfach alle Speicherpages nach dem Inhalt der /etc/shadow erbeuten kann. Diese Password-Datei sollte nur dem System und root zugänglich sein. Der Kernel war ein Linux 6.8, mit allen Mitigations- und Schutzmaßnahmen aktiviert. Das ganze Paper ist hier abrufbar.
Entwickler aus Nordkorea
Unter dem Pseudonym SttyK hat ein Südkoreaner über die IT-Machenschaften des Nordkorea-Regimes berichtet. Dabei werden IT-Mitarbeiter mit falschen Pässen als IT-Dienstleister und Remote-Angestellte eingeschleust, damit sie dann für das Regime Informationen erbeuten oder Devisen beschaffen. Typisch dafür seien Bewerbungen als qualifizierter „Full-Stack-Entwickler“ zu besonders günstigen Gehaltsvorstellungen. Dabei sollte jeder Arbeitgeber oder stutzig werden, wenn Dienstleister plötzlich die Bezahlung in Kryptowährungen haben will.
Die Nordkoreaner bewerben sich auch mit gefälschten Dokumenten, und SttyK hat gezeigt, wie man diese leicht mit Open-Source-Tools erkennen kann. Normale Pässe haben immer Rauschen im Druck. Wenn die Schrift zu perfekt ist, dann liegt eine Manipulation nahe.
(axk)
-
Datenschutz & Sicherheitvor 2 Monaten
Geschichten aus dem DSC-Beirat: Einreisebeschränkungen und Zugriffsschranken
-
Apps & Mobile Entwicklungvor 2 Monaten
Metal Gear Solid Δ: Snake Eater: Ein Multiplayer-Modus für Fans von Versteckenspielen
-
Online Marketing & SEOvor 2 Monaten
TikTok trackt CO₂ von Ads – und Mitarbeitende intern mit Ratings
-
Digital Business & Startupsvor 1 Monat
10.000 Euro Tickets? Kann man machen – aber nur mit diesem Trick
-
UX/UI & Webdesignvor 2 Monaten
Philip Bürli › PAGE online
-
Digital Business & Startupsvor 1 Monat
80 % günstiger dank KI – Startup vereinfacht Klinikstudien: Pitchdeck hier
-
Apps & Mobile Entwicklungvor 2 Monaten
Patentstreit: Western Digital muss 1 US-Dollar Schadenersatz zahlen
-
Social Mediavor 2 Monaten
Aktuelle Trends, Studien und Statistiken