Apps & Mobile Entwicklung

Claude Code und Co.: Wie sich autonome KI-Agenten im Web angreifen lassen

Je mehr sich KI-Agenten verbreiten, die autonom durch das Web steuern, desto relevanter werden die Sicherheitsrisiken, die von entsprechenden Systemen ausgehen. DeepMind-Forscher geben in einer Studie (via Decoder) nun einen systematischen Überblick über Angriffsmuster, die sie als Agenten-Fallen beschreiben.

Was sich mit den autonomen Agenten verändert, sind grundlegende Charakteristika des Webs, heißt es in dem Paper. Bislang war das Web für menschliche Augen gebaut, nun erfolgt der Wandel zum maschinellen Lesen.

Es gibt verschiedene Möglichkeiten, die KI-Agenten zu attackieren. Angreifer können etwa Inhalte ins Web stellen, die manipulierte Prompts enthalten. Möglich ist aber auch, die Wissensbasis oder die Reasoning-Fähigkeiten der Modelle zu attackieren, sodass der Output kompromittiert wird, ohne dass ein schadhafter Prompt-Befehl nötig wäre. Und die Menschen, die Agenten bedienen, können ebenso das Ziel von Angreifern sein.

Insgesamt sind es sechs Angriffstypen für Agenten-Fallen („AI Agent Traps“) im Web, die die DeepMind-Forscher in ihrem Framework beschreiben:

Content Injection Traps
Ziel: Wahrnehmung
Angriffsart: Eingebettete Befehle in Bereichen wie CSS, HTML, Metadaten oder Syntax-Masken, die für Menschen unsichtbar, aber für den Agenten auswertbar sind.
Semantic Manipulation Traps
Ziel: Reasoning
Angriffsart: Input-Daten so manipulieren, dass das Schlussfolgern eines Agenten verzerrt wird, ohne dass entsprechende Prompt-Eingaben nötig sind.
Cognitive State Traps
Ziel: Speicher und Lernen
Angriffsart: Schadhafte Informationen in das interne Gedächtnis, die Wissensbasis und die gelernten Verhaltensweisen eines Agenten einschleusen, sodass diese dauerhaft korrumpiert sind.
Behavioural Control Traps
Ziel: Aktionen
Angriffsart: Explizite Anweisungen, die die Handlungsfähigkeiten eines Agenten ausnutzen, um Ziele des Angreifers zu verfolgen.
Systemic Traps
Ziel: Multi-Agent-Systeme
Angriffsart: Eine Umgebung so manipulieren, dass über korrelierendes Verhalten großskalige Fehlfunktionen von mehreren Agenten ausgelöst werden.
Human in the Loop
Ziel: Menschlicher Aufseher
Angriffsart: Agenten so manipulieren, dass kognitive Fehleinschätzungen menschlicher Aufseher ausgenutzt werden.

In der Praxis überschneiden sich die einzelnen Agenten-Fallen oder Angreifer nutzen mehrere Mechanismen, um ihre Ziele zu erreichen. Noch sind nicht alle Bereiche gleichermaßen erforscht oder relevant. Während Content Injections oder Beavioural Control Taps besser verstanden sind (und häufiger auftreten), sind Angriffsfelder wie Human-in-the-Loop bislang eher eine theoretische Angriffsfläche, die die Forscher antizipieren.

Welche Probleme in der Praxis auftreten, hat der IT-Sicherheitsforscher Johann Rehberger auf dem Hacker-Kongress 39C3 im Dezember 2025 beschrieben. Bei den Sicherheitslücken handelte es sich um Content Injections, also manipulierte Prompt-Eingaben. Anbieter schließen zwar solche Schwachstellen, schon heute ist es aber ein Katz-und-Maus-Spiel zwischen Angreifern und Entwicklern.

Die möglichen Motive für den Einsatz von Agent-Traps sind vielfältig. Kommerzielle Akteure könnten versuchen, heimlich für Produkte zu werben, kriminelle Akteure könnten private Nutzerdaten abgreifen, und staatliche Stellen könnten darauf abzielen, Falschinformationen in großem Umfang zu verbreiten.

Studie AI A“gent Traps“

Solche Vorkehrungen sind bedeutsam, denn die Schäden können weitreichend sein. Denkbar ist etwa, dass manipulierte Agenten sensible Daten preisgeben oder finanzielle Überweisungen vornehmen, ohne dass Nutzer etwas merken. Laut den Forschern könnten Unternehmen die Agenten für heimliche Produktwerbung korrumpieren und staatliche Akteure könnten diese für Fake News einsetzen.

Agenten-Entwickler arbeiten an neuen Sicherheitskonzepten

Anbieter arbeiten an Sicherheitsvorkehrungen. Anthropic beschreibt in der Dokumentation, wie man etwa mit Sandboxing-Maßnahmen und Rechtemanagement verhindern will, dass Claude Code etwa manipulierte Befehle ausführt. Google hatte bereits im November 2025 ein Konzept für das Absichern von Agenten-Browsern vorgestellt. Bei diesem ist ein zweites KI-Modell tätig, das ausschließlich kontrollieren soll, ob das zentrale Modell die eigentlichen Aufgaben erfüllt.

Erst in dieser Woche hat Foxit ein Sicherheitssystem für PDF-Reader präsentiert, das das Auslesen manipulierten Codes unterbinden soll. Ein PDF-Aktionsinspektor prüft Dokumente proaktiv auf eingebettetes JavaScript und selbstmodifizierendes Verhalten. Dabei handelt es sich um Bedrohungen, die Schwärzungen umgehen, sensible Daten offenlegen oder die Dokumentausgabe unbemerkt verändern können.

Schon das Modelltraining ist für Absicherung entscheidend

Die DeepMind-Forscher beschreiben in dem Paper ebenfalls, dass es schon beim Modelltraining nötig ist, auf die Robustheit zu achten. Die KI-Systeme müssen in der Lage sein, manipulierte Anweisungen zu erkennen, schadhafte Inhalte zu filtern und den Output zu prüfen. Weil sich viele Angriffsmuster nicht standardisiert testen lassen, gewinnen automatisierte Red-Teaming-Methoden an Bedeutung.

Ebenso angepasst werden müsste laut den DeepMind-Forschern das Ökosystem im Web. Möglich ist das etwa durch Trusted-Content, also für KI-Agenten freigegebene Inhalte, die sich standardmäßig als vertrauenswürdige Quelle verifizieren lassen.

Source link

Verwandte Themen:angreifen Autonome claude Code KIAgenten lassen sich und Web Wie

Up Next

Radeon-Ente: RX 9070 (XT) fällt im Preis, aber nicht erstmals unter UVP

Nicht verpassen

Aus der Community: „Von der Natur zurückgeholt“-Challenge lädt zum Wettbewerb ein

Apps & Mobile Entwicklung

GeForce Now: Zwölf neue Spiele im Juli

Zum Start in den Juli erweitert Nvidia den Cloud-Gaming-Dienst GeForce Now um weitere Titel. Den Anfang machen Monopoly: Star Wars Heroes vs. Villains und Meccha Chameleon, im Laufe des Monats folgen zehn weitere Spiele aus unterschiedlichen Genres.

Star Wars auf dem Spielbrett

Im Mittelpunkt des aktuellen GFN-Thursdays steht Monopoly: Star Wars Heroes vs. Villains. Die Neuauflage des Brettspiel-Klassikers setzt auf bekannte Schauplätze, Fraktionen und Fähigkeiten aus dem Star-Wars-Universum. Gespielt wird wahlweise auf der hellen oder dunklen Seite.

Für GeForce Now ist der Titel seit dieser Woche über Steam und Ubisoft verfügbar. Ebenfalls neu hinzugekommen ist Meccha Chameleon, das auch bei der Redaktion gut ankam. Wie üblich setzt der Dienst voraus, dass die Nutzer die jeweiligen Spiele in einem unterstützten Store besitzen.

Weitere Spiele folgen im Monatsverlauf

Für den restlichen Juli nennt Nvidia zehn weitere Neuzugänge. Zu den bekannteren Namen zählt Assassin’s Creed Black Flag Resynced, das am 9. Juli über Steam und Ubisoft Connect folgen soll. Am 15. Juli sind Denshattack! und The Mound: Omen of Cthulhu vorgesehen, einen Tag später soll Heave Ho 2 starten. Außerdem kommen im Juli:

FogpiercerJuly – 17. Juli
ZeroSpace July – 20. Juli
The Planet Crafter – 21. Juli
Carnival Hunt – 23. Juli
The Ranchers – 30. Juli
Corsair Cove – 31. Juli

Nachträge aus dem Juni und Rabattaktion

Neben der Juli-Liste nennt Nvidia auch zehn Spiele, die im Juni zusätzlich zur zuvor angekündigten Auswahl auf GeForce Now gelandet sind. Dazu gehören unter anderem Doom Eternal aus dem Epic Games Store, The Elder Scrolls Online über Xbox und World of Tanks: Heat.

Weiterhin läuft noch bis zum 8. Juli der Summer Sale für GeForce Now. Auf Premium- und Ultimate-Jahrses-Abo wird ein Rabatt von 35 Prozent gewährt.

Source link

Apps & Mobile Entwicklung

Mit Fedora 44 als Basis: Ultramarine Linux 44 erscheint mit KDE Plasma 6.7 und mehr

Ultramarine Linux 44 steht zum Download bereit, die standardmäßig KDE Plasma in der aktuellen Version 6.7 verwendet. Zudem gibt es Editionen mit den Desktop-Umgebungen GNOME 50, Budgie 10.10 und Xfce 4.20. Dabei setzt die Linux-Distribution auf den Kernel 7.0.

Die KDE-Plasma-Edition von Ultramarine Linux 44 bietet neben Performance-Verbesserungen und Fehlerbehebungen die neue Theme-Engine „Union“. Demgegenüber wechselt die Budgie-Variante dieser Fedora-44-basierten Linux-Distribution erstmals zu Wayland, während die GNOME-Edition einige Verbesserungen des Fenster-Managements erfahren hat.

Die Neuerungen von Ultramarine Linux 44

Die Plasma-Edition von Ultramarine Linux 44 bringt dabei neben dem KDE Plasma 6.7 als Desktop-Umgebung KDE Gear 26.04.2 und KDE Frameworks 6.27 mit. Die GNOME-50-Variante der Linux-Distribution aktiviert standardmäßig die Buttons für Minimieren und Maximieren, zeigt auf Laptops die Batterieladung in Prozent an, bietet einen Taschenrechner in der Übersichtssuche und entfernt eine störende „Fenster ist bereit“-Benachrichtigung.

Neben dem Wechsel zu Wayland umfasst die Budgie-10.10-Edition von Ultramarine Linux 44 eine neue Bluetooth-App und bietet nun den aus KDE Plasma bekannten Login-Manager SDDM. Allerdings schreiben die Entwickler von Fyra Labs in einem aktuellen Blogbeitrag, dass der Wechsel zu SDDM „aus Stabilitätsgründen“ manuell erfolgen muss, wofür es eine gesonderte Anleitung gibt. Ferner kommt derzeit für alle Editionen von Ultramarine 44 laut Distrowatch der Linux-Kernel in Version 7.0.14 zum Einsatz.

Die KDE-Plasma-Edition von Ultramarine Linux. (Bild: Fyra Labs)

Dies ist die GNOME-Edition von Ultramarine Linux. — Die KDE-Plasma-Edition von Ultramarine Linux. (Bild: Fyra Labs)

Zu den weiteren Neuerungen von Ultramarine 44 gehören zusätzliche Bildschirmhintergründe, eine Überarbeitung der Out-of-Box-App „Taidan“ sowie ein Nix-Installer-Tweak der über das Kommandozeilentools umcli mittels „um tweaks enable nix“ aktiviert wird. Darüber hinaus arbeiten die Entwickler von Fyra Labs an einem Skript, das Asahi-Linux-Installationen auf Apple-Silicon-Macs in Ultramarine Linux umwandelt und an der Unterstützung für Asus-ROG-Handheld-PCs. Zudem wird Ultramarine Linux 44 für das Windows Subsystem for Linux (WSL) und für den Raspberry-Pi-Imager erscheinen.

Schnellere Veröffentlichung von Funktionen

Zwar bleibt Ultramarine Linux 44 dem Release-Zyklus von Fedora treu, doch soll es neue Funktionen jetzt zeitnah geben, sobald diese fertiggestellt sind, statt nur anlässlich der großen Veröffentlichungen wie bisher. Dabei soll es den Entwicklern zufolge bereits in diesem Sommer neue Funktionen geben, wozu neue Hardware-Ports und eine öffentliche Vorschauversion der Atomic-Edition von Ultramarine gehören.

Source link

Apps & Mobile Entwicklung

Spieleentwicklung: KI hätte Destiny 2 gerettet, denkt Epic-CEO

Destiny 2 musste eingestellt werden, weil seine Entwicklung zu teuer war. Epic-CEO Tim Sweeney hat dafür eine Lösung: KI. In einer Branche, die von Kreativität lebt und deren Kunden tendenziell noch negativ auf den Einsatz der LLMs reagieren, haben die Aussagen Brandpotential.

Für das Ende von Destiny 2 waren hohe Kosten verantwortlich, hieß es schon vor Wochen von Insidern. Forbes geht noch etwas mehr ins Detail und destilliert die Gründe für das Scheitern auf eine einfache Formel: „hohe Kosten, schlechte Entscheidungen“.

Destiny 2 habe eine Menge neuer Inhalte benötigt um Spieler bei der Stange zu halten und sei deshalb während seiner Lebensdauer nur selten profitabel gewesen. Gewinne habe die Studioleitung zudem nicht sinnvoll verwendet, etwa für zu viele Konzeptideen oder ein unnötiges neues Unternehmensgebäude. Auch deshalb seien Erweiterungen hinter den Erwartungen geblieben: Selbst The Final Shape habe sie trotz Rekordverkäufen nicht erfüllt, weil die Erwartungen nicht von den Möglichkeiten, sondern den Kosten diktiert worden seien.

KI als Spaßmaßnahme

In diesem Kontext steht die ironische Anmerkung von Tim Sweeney, es möge doch irgendeine neumodische Technologie geben, die bei der Erstellung vieler neuer Inhalte helfe. Gemeint ist natürlich Künstliche Intelligenz. Sweeney vertritt damit eine Position, die im Mainstream großer Konzerne liegt. Dort wird KI als Möglichkeit gesehen, die explodierenden Kosten der Spieleentwicklung im Zaum zu halten oder, am Rande, auch neue Spielerlebnisse zu ermöglichen. Aufgrund der kritischen Haltung von Konsumenten wird aktuell aber noch eingeschränkt: KI soll unterstützen, prüfen und Ideen liefern, nicht ausführen.

If only some sort of newfangled technology could come along and make it possible to overcome bullet point #1 and enable games like Destiny to thrive! pic.twitter.com/ct7cgj2P0q

— Tim Sweeney (@TimSweeneyEpic) June 29, 2026

Kosten sparen, schneller mehr Inhalte erstellen: Sweeney geht mit seinen Äußerungen in die aktuell extremere Vision von Spieleentwicklung, bei der KI einen aktiven Teil übernimmt. Zynisch mag man anmerken, dass sich das Genre dafür tatsächlich hervorragend eignet: Generische Slop-Service-Shooter lösen dann generische Live-Service-Shooter ab, die eben häufig viel Austauschbares und Ähnliches bieten – was mitunter keinen großen Unterschied machen darf. Das wirft ein Schlaglicht auf die Problemzone des Genres und von KI: Fehlender Kreativität, einer Perspektive, die gleichwohl aus der Sicht von Bilanzen und Gewinnkalkulationen nur bedingt berücksichtigt wird.

Source link