Wir stehen umschlungen in der Ecke eines verlassenen Klassenzimmers. Meine Arme liegen um den Hals meines unbekannten Gegenübers, während er mich so an der Hüfte hält, dass meine Füße über dem Boden schweben. Ich trage eine winzige Shorts und ein bauchfreies Oberteil, das ist hier für Frauen der Standard. Er trägt lange Hose und T-Shirt. Ich wollte diese Umarmung nicht. Er hat mich einfach gepackt. Ich versuche mehrfach, mich aus seinem Griff zu befreien, er fragt nach meinem Namen.

Der Übergriff geschieht in einem Computerspiel namens „Boys and Girls Highschool experience roleplay“. Auf der populären Gaming-Plattform Roblox werden Millionen Spiele angeboten, Nutzer*innen können dort auch selbst Spiele erstellen. Roblox ist eines der populärsten Videospielangebote der Welt. Über zwei Stunden verbringen Kinder dort im Schnitt am Tag, so eine Studie. Doch Roblox ist in Verruf geraten.

Im vergangenen Jahr reichten mehrere Bundesstaaten der USA Klagen gegen den Gaming-Giganten ein. Sie werfen der Roblox Corporation vor, minderjährige Nutzer*innen nicht ausreichend vor Sexualstraftäter*innen zu schützen. Liz Murrill, Generalstaatsanwältin von Louisiana, schrieb: „Roblox wird von schädlichen Inhalten und Sexualstraftätern überrannt, da die Plattform Nutzerwachstum, Umsatz und Profit über die Sicherheit von Kindern stellt.“

Altersempfehlung: ab 16. Freigabe: ab 5.

Roblox dürfen Nutzer*innen ab fünf Jahren spielen. Die Altersempfehlung der deutschen Unterhaltungssoftware Selbstkontrolle (USK) allerdings wurde im vergangenen Jahr von 12 auf 16 Jahre erhöht, unter anderem weil Kinder auf der Plattform vielen Kaufanreizen ausgesetzt seien. Mit der Währung „Robux“, die man auf der Plattform oder Tauschbörsen für echtes Geld erwerben kann, können sich Spieler*innen Waffen und andere Spielvorteile kaufen sowie ihren Avatar individualisieren.

Einige Monate nachdem die USK ihre Altersempfehlung für Roblox heraufgesetzt hatte, gab die Spieleplattform eine Kooperation mit der International Age Rating Coalition bekannt, deren Mitglied die USK ist. Die einzelnen Spiele sollen künftig regional unterschiedlich altersklassifiziert werden, auf Basis eines Fragebogens, den die Spiel-Entwickler*innen ausfüllen. Diese Einstufungen werden von der International Age Rating Coalition und ihren Mitgliedsorganisationen überwacht.

Roblox unterteilt Spiele in vier Kategorien: minimal, mild, moderat und beschränkt. Erlebnisse der Kategorien minimal und mild sind allen Spieler*innen zugänglich. Erst wenn Spiele „moderate Gewalt, leichtes realistisches Blut, milderen derben Humor und milde wiederholte Angst“ enthalten, stuft Roblox diese als moderat ein und verbirgt sie vor Kindern unter neun Jahren. Alle Inhalte mit dem Label „beschränkt“ sind erst ab 18 Jahren einsehbar.

Ich will wissen, was Roblox den Kindern zumutet, die dort Spiele spielen, und erstelle deshalb einen Account. Dabei gebe ich an, acht Jahre alt zu sein. Dennoch empfiehlt mir Roblox auf der Startseite Spiele aus dem „Horror“-Genre. In „Käse-Flucht (Horror)“ werde ich von einer monströsen Ratte durch ein Labyrinth aus Käse verfolgt. In „SCP-Monster“ begegnet mir zu Gruselsounds ein oberkörperfreier Machetenträger. Beide Spiele dürfen auch Fünfjährige schon spielen.

Sturmgewehr, Messer oder Handgranate?

„Kampfarena“ ist ein weiterer Vorschlag auf meiner Startseite. Auch dieses Spiel ist laut der Kennzeichnung für Fünfjährige geeignet. Hier muss man andere Spieler*innen mit einem Sturmgewehr erschießen oder mit Messern und Handgranaten töten. „nice, headshot“ schreibt eine*r der Mitspieler*innen im Chat.

Im Spiel „Dress To Impress“ geht es darum, sich zu einem vorgegebenen Thema möglichst attraktiv zu kleiden, um gute Bewertungen der Mitspieler*innen zu bekommen. Weibliche Avatare haben dabei eine Figur, die Barbie im Vergleich dick aussehen lassen würde.

Bei „[FREE] Hug Fights“ haben weibliche Charaktere, wie auch bei „Highschool experience“ fast nur extrem knappe Outfits zur Auswahl. Die meisten bestehen aus einer winzigen Shorts mit bauchfreiem Oberteil.

Als ich das Spiel starte, werde ich von einem Fremden in ein leeres Haus getragen. Dann kommt ein anderer Avatar und nimmt mich dem ersten ab. Er lässt mich fallen und wirft eine Bombe auf mich – Game Over. Während ich abtrete, sehe ich noch, wie meine ehemaligen Träger sich mit anderen Spielenden schlagen.

Grooming über die Chatfunktion

Auch in „Brookhaven RP“ stirbt mein Avatar schnell. „Brookhaven RP“ ist eine Art sozialistisches Paradies, in dem Häuser, Transport- und Lebensmittel für alle frei verfügbar sind. Um meine Nachbarn kennenzulernen, mache ich einen Ausflug zu einem Haus in meiner Nähe. Ich klingele, zwei Avatare kommen heraus und springen um mich herum. Mein Avatar zerfällt. Meine Nachbarn haben mich umgebracht.

Ich erlebe viel Gewalt in Roblox-Spielen und auch eine unangemessene Sexualisierung weiblicher Körper. Grooming-Versuche habe ich allerdings nicht erlebt. Die geschehen angeblich vor allem über die Chatfunktion.

Da mein Account vorgibt, acht Jahre alt zu sein, sind für mich nur die Chats der einzelnen Spiele zugänglich. Am Chat von „Brookhaven RP“ kann ich teilnehmen, auch ohne die Zustimmung eines Eltern-Accounts. Einen solchen kann man aus Sicherheitsgründen mit den Accounts Minderjähriger verknüpfen.

Im Chat wird jemand als „Hässlichkeit“ beleidigt, ein Mensch schreibt „DIGGA KÜSS MICH ND“, ein anderer verkündet: „Ich steche Männer ab“.

Aufgemalte Bartstoppeln sollen die Altersschätzung täuschen

Wer mit anderen Nutzer*innen auch außerhalb einzelner Spiele – und womöglich auch unter vier Augen – chatten möchte, muss sich seit Anfang Januar einem Gesichtsscan unterziehen, mit dem das Alter bestimmt werden soll. Spieler*innen sollen so in Altersklassen, wie 13-16 und 18+, einsortiert werden und nur mit Menschen aus eigenen oder angrenzenden Altersstufen chatten können.

Berichten zufolge funktioniert der Gesichtsscan nicht einwandfrei. Es gebe Nutzer*innen, deren Alter als zu gering eingeschätzt wird. Andererseits behaupten Kinder, die Software mit aufgemalten Bartstoppeln und Falten zu einer höheren Alterseinschätzung gebracht zu haben.

Zum Teil bahnten Täter*innen Gespräche mit Minderjährigen auf Roblox an, um sie dann auf anderen Plattformen weiterzuführen, zum Beispiel auf Discord. Die US-amerikanische Kanzlei Anapol Weiss vertritt Opfer, die über Roblox sexuell ausgebeutet wurden, und hat in zehn Fällen Klage gegen Roblox eingereicht, in sechs dieser Fälle haben die Täter*innen ihre Kommunikation mit den Opfern von Roblox zu Discord verlegt. Die Kanzlei gibt außerdem an, hunderte ähnliche Fälle zu bearbeiten.

Die öffentliche Verwaltung steckt in einem Dilemma: Seit Jahrzehnten nutzen die meisten Behörden Microsoft-Produkte und Alternativen sind offenbar nur schwer vorstellbar. Nirgends zeigt sich das derzeit so deutlich wie in Bayern.

Im Oktober regte sich Kritik (PDF) an den Plänen des bayerischen Finanzministers Albert Füracker (CSU), Microsoft für fünf weitere Jahre in der Landesverwaltung einsetzen zu wollen. Seit 2023 besteht ein sogenannter Handelspartnervertrag zwischen der bayerischen Staatsverwaltung und dem US-Konzern. Er legt die Konditionen fest, zu denen das Bundesland Bürosoftware und Windows-Lizenzen bezieht. Dieses Vertragsverhältnis will Füracker nun verlängern.

Doch es regt sich breiter Widerstand gegen seine Pläne. „Wir reden hier nicht über den Kauf einzelner Excel-Lizenzen, sondern über eine Zementierung unserer kompletten digitalen Infrastruktur auf Jahre hinaus“, sagt Florian von Brunn (SPD) gegenüber netzpolitik.org.

Aber auch in der Landesregierung gibt es deutliche Kritik. Füracker und Digitalminister Fabian Mehring (Freie Wähler) stritten öffentlich um Datenschutz, Abhängigkeit – und um die Frage, ob die US-Regierung über Microsoft auf bayerische Daten zugreifen könnte. Die breite Medienberichterstattung über den Konflikt brachte Markus Söder (CSU) dazu, sich einzuschalten: „Solche Fragen gehören intern besprochen“, mahnte der bayerische Ministerpräsident.

Mit alten Gewohnheiten brechen

Dass die öffentliche Verwaltung auch ohne Microsoft-Produkte arbeiten kann, zeigt das Beispiel Schleswig-Holstein. Das nördliche Bundesland gelang vergangenes Jahr der Umstieg auf einen Open-Source-Arbeitsplatz in der öffentlichen Verwaltung. Das Fazit fällt bisher positiv aus. Seit dem Umstieg habe man bereits rund 15 Millionen Euro an Lizenzkosten eingespart, sagt Digitalisierungsminister Dirk Schrödter auf Anfrage. Dagegen befürchten Fürackers Kritiker, dass der für seine Verhandlungen mit Microsoft einen dreistelligen Millionenbetrag veranschlagt. Auf Anfrage von netzpolitik.org will sich das Ministerium weder zu den Lizenzkosten noch dazu äußern, mit welchen Einsparungen es rechnet.

Auch in Bayern schaut man Richtung Norden. Er stehe im engen Austausch mit der SPD-Fraktion in Kiel, erklärt von Brunn. Er hofft offenbar darauf, dass die positiven Impulse von dort auch im Süden ankommen. „Es entbehrt nicht einer gewissen Ironie, dass die Regierung Söder in Bayern die Zeichen der Zeit nicht erkennt, während der CDU-Kollege Daniel Günther im Norden auf digitale Souveränität setzt.“

Als „Zeichen der Zeit“ sehen derzeit viele die dramatische geopolitische Lage, ausgelöst durch eine erratische Politik der US-Administration unter Präsident Donald Trump.

Trumps langer Arm

Die Auswirkungen zeigt etwa der Fall am Internationalen Strafgerichtshof in Den Haag. Mindestens zwei Richter verloren im Mai vergangenen Jahres jeglichen Zugriff auf digitale Dienste von US-amerikanischen Unternehmen, mutmaßlich infolge ihrer Rechtsprechung. Zu diesen Diensten gehören auch Microsoft-Produkte wie Outlook oder Office.

Seitdem stellen sich Politiker*innen zunehmend die Frage, wie viel Microsoft in der öffentlichen Verwaltung vertretbar ist – zumal diese in der Regel auch mit sensiblen Daten arbeitet. Zwar versichert das bayerische Finanzministerium gegenüber netzpolitik.org, dass die Daten dauerhaft „in mehreren staatseigenen Rechenzentren auf bayerischem Boden gesichert“ seien. Das schließt aber nicht aus, dass US-Behörden auch auf bayerische Verwaltungs- und Bürger:innendaten zugreifen.

Zu diesem Schluss kommt ein Gutachten vom März 2025, das im Auftrag des Bundesinnenministeriums (BMI) erstellt wurde. Demnach erlaube der US-amerikanische Clarifying Lawful Overseas Use of Data Act, kurz CLOUD Act, den dortigen Sicherheitsbehörden weitreichenden Zugriff auf Daten in europäischen Rechenzentren. Auch der Foreign Intelligence Surveillance Act (FISA) lasse einen solchen Datenzugriff zu. Die Gefahr, die von diesen Gesetzen für die Verwaltung ausgeht, diskutierte (PDF) auch der Landtag Baden-Württemberg im Sommer.

„Das hebelt europäisches Recht aus“, so von Brunn. Daher fordere die SPD in Bayern nicht nur „ein sofortiges Moratorium für den Microsoft-Deal“, sondern auch „einen verbindlichen Migrationsplan bis 2030 hin zu Open Source“. Diese Strategie sollte auch vorsehen, technologische Abhängigkeiten von einzelnen Konzernen überhaupt erst zu identifizieren, sagt Benjamin Adjei von den Grünen auf Anfrage. Um die „heimische Digitalwirtschaft“ zu stärken, brauche es außerdem jene finanziellen Mittel, die die bayerische Landesregierung in Lizenzkosten von Microsoft aufwende.

Gefahr „einer schutzlosen Preisgestaltung“

Inzwischen hat sich auch die SPD-Bundestagsfraktion in die Causa Microsoft eingeschaltet. In einem offenen Brief an Füracker positionieren sich deren digitalpolitischer Sprecher, Johannes Schätzl, der Landesvorsitzende der BayernSPD, Sebastian Roloff, und die Vorsitzende der SPD-Landesgruppe Bayern, Carolin Wagner, „gegen die Entscheidung, zentrale staatliche IT-Strukturen langfristig und ohne strategische Alternativenbewertung an einen einzelnen Anbieter zu binden“.

Füracker habe auf das Schreiben bislang nicht reagiert, sagt Carolin Wagner gegenüber netzpolitik.org, „ich bin mir aber sicher, dass er es gelesen hat“. An ihren Forderungen hält sie weiterhin fest: „Wir werden als Bundesrepublik nicht digital souverän, wenn die Bundesländer nicht souverän werden und dafür gilt es jetzt in München die Weichen zu stellen.“ Andernfalls setze Microsofts „monopolistische Stellung“ die öffentliche Verwaltung weiterhin „einer schutzlosen Preisgestaltung“ aus, warnt die SPD-Politikerin.

Souveränität as a service

Von der Forderung nach digitaler Souveränität hält der Politikwissenschaftler Thorsten Thiel von der Universität Erfurt indes wenig. Der Begriff führe viele, teils widersprüchliche Interessen zusammen und verschleiere, worum es im Kern eigentlich gehen sollte: eine öffentliche digitale Infrastruktur, die Politik und Zivilgesellschaft demokratisch gestalten.

Eines der Hauptprobleme sieht er darin, dass die Politik digitale Souveränität bestellt und die Wirtschaft liefert. Amazon, Google und Microsoft bieten inzwischen vermeintlich souveräne Cloud-Lösungen an – ohne dass die darin gespeicherten Daten tatsächlich sicher vor einem Zugriff durch US-Behörden sind. Souveränität sei so längst zu einem Service geworden, den Tech-Konzerne anbieten, sagt Thiel. In der Forschung wird dies als sovereignty-as-a-service bezeichnet.

Gleichzeitig greifen die Unternehmen gezielt in die Debatte darum ein, was digitale Souveränität bedeutet. „Sie eignen sich die Bedeutungen des zivilgesellschaftlichen Konzepts gezielt an und höhlen es aus“, sagt Thiel gegenüber netzpolitik.org. In der Folge entkämen sie auch einer schärferen Kontrolle und Regulierung durch die Politik.

„Wir sollten daher nicht danach fragen, ob das betreffende IT-Produkt nach Standard XY souverän ist“, sagt Thiel. Viel wichtiger sei die Frage, wie sehr wir uns binden, wenn wir eine bestimmte Software in der öffentlichen Verwaltung einsetzen.

Bei den Plänen Fürackers geht es aus Sicht des Politikwissenschaftlers um die Frage, ob in Bayern damit Alternativen verhindert werden. Thiel fordert daher positive Gegenbegriffe wie jenen der Interoperabilität. Der Begriff beschreibt die Fähigkeit verschiedener digitaler Systeme, miteinander zusammenzuspielen und Daten auszutauschen. Proprietäre Software verhindere dies in der Regel.

Einer aktuellen Studie zufolge kann Künstliche Intelligenz bereits anspruchsvolle Aufgaben wie das Schreiben von Zero-Day-Exploits erledigen, die bisher von menschlichen Experten erledigt wurden. Das Papier sorgt in der Security-Community entsprechend für Aufsehen – und das auch verdient: Die Studie unterscheidet sich grundlegend von „Trust me, bro“-Berichten über irgendwelche chinesischen Angreifer, die unglaubliche Dinge tun sollen. Der Autor Sean Heelan dokumentiert genau, was er wie gemacht hat und warum. Dazu stellt er die dabei entwickelten Prompts und Tools als Open Source zur Verfügung. Schließlich diskutiert er im Rahmen seiner Analyse die Schlüsse, die er aus den Ergebnissen zieht, und auch deren Grenzen.

Zero-Day durch KI ist bereits Realität

Die Kernaussage von Heelans Beitrag „On the Coming Industrialisation of Exploit Generation with LLMs“ ist: Das Finden und konkrete Ausnutzen von Sicherheitslücken mit Exploits wird mit KI komplett industrialisiert. Der begrenzende Faktor für „die Fähigkeit eines Staates oder einer Gruppe, Exploits zu entwickeln, in Netzwerke einzudringen, […] und in diesen Netzwerken zu bleiben“ wird nicht mehr die Anzahl der von ihnen beschäftigten Hacker sein. Die relevante Grenze ist der „token throughput over time“ – also letztlich, wie viel Geld man in KI-Ressourcen investiert. Und das ist keine ferne Zukunft, sondern offensichtlich bereits Realität. Der Autor der Studie konnte es in seinen Experimenten ganz konkret beobachten: „Als die Herausforderungen schwieriger wurden, konnte ich immer mehr Token ausgeben, um weiterhin Lösungen zu finden. Letztlich war mein Budget der begrenzende Faktor, nicht die Modelle.“

Heelan hatte einen Zero-Day-Bug in QuickJS gefunden (übrigens mit einer KI). QuickJS ist ein einfacher JavaScript-Interpreter mit diversen Einschränkungen, aber schon ein recht komplexes Stück Software. Dann baute er Agents auf Basis von Anthropics Opus 4.5 (Claude) und OpenAIs GPT-5.2 (ChatGPT), die die Aufgabe erhielten, eigenständig funktionierende Exploits für diesen Bug zu erstellen. Durch die Tatsache, dass die Lücke noch nirgends dokumentiert war, konnten die KI auch nicht irgendwo abschreiben und Heelan überprüfte das Ergebnis rigoros (und ertappte auch tatsächlich eine der KIs beim Versuch, zu cheaten).

Abgestufte Komplexität

Um das Ergebnis aussagekräftiger zu gestalten, fügte Heelan schrittweise zusätzliche Exploit-Mitigations wie eine Sandbox und Control Flow Integrity hinzu, die die Aufgabe schrittweise und teils drastisch erschwerten. Das Ziel war immer nachgewiesene Remote Code Execution – also etwa eine Verbindung zu einem externen Netzwerk-Port mit einer Shell mit den Rechten des ausführenden JS-Interpreters. Es handelte sich somit um reale und recht anspruchsvolle Aufgaben, für die man normalerweise mindestens einen versierten Security-Spezialisten benötigen würde – besser sogar ein Team. Die KIs bekamen keine Anleitung oder auch nur Hilfestellung, sondern lediglich eine Umgebung, in der sie nach möglichen Lösungen suchen, die evaluieren und dann verwerfen oder weiter verbessern konnten.

Und das Ergebnis war beeindruckend: ChatGPT löste tatsächlich alle Aufgaben; Claude schaffte es in allen Fällen bis auf zwei. Insgesamt erstellten die KIs 40 funktionierende Exploits. Dabei fanden sie keine bahnbrechenden Dinge heraus, sondern nutzten vielmehr bekannte Einschränkungen und Schwächen der jeweiligen Mitigations, um diese zu umgehen. Wie sie die im konkreten Fall ausnutzen konnten, erarbeiteten sie sich selbst. Und sie kamen dabei auf Tricks, die Sean bis dato nicht bekannt waren und die er auch nicht im Internet finden konnte.

Fazit

Heelan demonstriert unter dokumentierten, verifizierbaren Rahmenbedingungen, dass und wie KIs die IT-Sicherheit unumkehrbar verändert: Man kann Angriffswerkzeuge für Tokens kaufen – und das skaliert unabhängig von der Ressource Mensch. In seinen Worten: „Du kannst Token gegen echte Ergebnisse eintauschen.“

Dass die Angriffsfähigkeit mit den Ressourcen des Angreifers skaliert, ist bereits bekannt. Nicht umsonst spielen staatlich finanzierte Advanced Persistent Threats in dieser Hinsicht in der höchsten Liga. Doch inzwischen ist nicht mehr von Millionen-Investments die Rede: Für das Lösen der anspruchsvollsten Aufgabe benötigte ChatGPT etwas mehr als drei Stunden; die Kosten für diesen Agenten-Lauf beliefen sich auf etwa 50 US-Dollar. Das ließe sich also leicht verzehn-, verhundert- oder gar vertausendfachen, ohne das Budget einer mittelgroßen Cybercrime-Bande zu sprengen. Damit skaliert das in einer Art und Weise, die bislang nicht für möglich gehalten wurde.

Es wäre somit erstmals realisierbar, mit einem überschaubaren Investment ein Arsenal von funktionierenden Zero-Day-Exploits für nahezu alle mit dem Internet verbundenen Geräte zu erstellen. Eine Verbindung mit dem Intervnet ist dann kein theoretisches Risiko mehr, das man managen kann. Es bedeutet vielmehr die Gewissheit, dass da draußen jemand direkt die Möglichkeit hat, Schwachstellen auszunutzen – und das im Zweifelsfall auch macht.

Für dieses Szenario müssen wir Security neu denken. Also nicht unbedingt neue Technik, wie wir IT sicher machen. Das wissen wir und die bekannten Methoden funktionieren auch gegen KI-unterstützte Angriffe. Die zentrale Herausforderung ist, wie wir diese Security in die Fläche bekommen, damit das Vorhandensein von Sicherheitslücken eine Ausnahme wird und nicht die Regel.

Was wir auf alle Fälle dringend benötigen, sind mehr Studien dieser Art und Qualität, die nicht nur unser Verständnis der Möglichkeiten von KIs verbessern, sondern weitere Forschung aktiv unterstützen. Insbesondere brauchen wir ähnlich konstruktive Ansätze, um die andere Seite der Medaille zu evaluieren – also wie man mit KI den Angreifern das Leben schwerer macht und den Verteidigern hilft. Und damit meine ich nicht noch knalligere Werbung für angebliche KI-Funktionen in Security-Tools oder mehr „vertraut uns – wir haben das im Griff“

(ju)