Es ist der Albtraum eines jeden Softwareunternehmens: Ein KI-Agent löscht nahezu jegliche Daten, auch aus der Produktionsumgebung. Als wäre das nicht schon genug, tut er es unter Missachtung seiner Safeguards – und liefert danach ein schriftliches Geständnis mit quasi minutiösem Protokoll. Genau das ist jetzt dem Unternehmen PocketOS passiert, Hersteller einer gleichnamigen Software für Autovermietungen.

Der Übeltäter ist in diesem Fall die KI-gestützte Entwicklungsumgebung Cursor, im Falle von PocketOS betrieben mit Anthropics renommiertem Modell Claude Opus 4.6. Man könnte sagen: mit Beihilfe der Systeme des Anbieters Railway. Denn fehlende Sicherheitsvorkehrungen des cloud-gestützten Tools für Software Deployment machten das Fiasko offenbar erst so richtig möglich. PocketOS-Chef Jer Crane machte den Zwischenfall nun in einem langen Artikel auf X publik und schildert detailliert den Hergang.

Cursor-Agent findet verhängnisvollen Token

Demnach arbeitete der Cursor-Agent gerade routinemäßig im Staging Environment, als er auf einen Credential-Mismatch stieß. Zur Behebung entschied sich der Agent dazu, ein komplettes Railway Volume – ein Datenspeicher für Dienste des Cloud-Anbieters Railway – zu löschen. Hierfür war ein Token erforderlich, den er tatsächlich auch fand – allerdings an völlig anderer Stelle in den Daten des Unternehmens. Was in dem Moment keine Rolle spielte – der Agent hatte alle erforderlichen Berechtigungen und hielt sein Vorgehen für korrekt.

Der Token war laut Crane zu einem einzigen Zweck erstellt worden: um über die Railway-CLI benutzerdefinierte Domains für die eigenen Dienste hinzuzufügen und zu entfernen. Er betont: „Wir hatten keine Ahnung – und der Ablauf zur Token-Erstellung bei Railway gab uns keinen Hinweis darauf –, dass dasselbe Token pauschale Zugriffsrechte auf die gesamte Railway-GraphQL-API hatte, einschließlich destruktiver Operationen wie volumeDelete. Hätten wir gewusst, dass ein für routinemäßige Domain-Vorgänge erstelltes CLI-Token auch Produktionsvolumes löschen kann, hätten wir es niemals gespeichert.“

Zerstört in neun Sekunden

Doch es war zu spät: Mit dem Token und einer entsprechenden Reihe von Befehlen löschte der Cursor-Agent einen Großteil aller wichtigen Daten der vergangenen drei Monate – auch in der Produktionsumgebung. Neun Sekunden dauerte der Vorfall insgesamt. Für die Macher von PocketOS und ihre Kunden eine Katastrophe. Denn das letzte verfügbare Backup ist drei Monate alt. Und manch ein PocketOS-Nutzer – in der Regel Autovermietungen, die ihre Daten und Prozesse über die Software verwalten – ist ohne das Programm gar nicht arbeitsfähig.

Crane kritisiert auch Railway stark, weil es demnach hier keinerlei zusätzliche Nachfrage gab, bevor die verheerende Aktion ausgeführt wurde. Etwa ein Hinweis, dass wichtige Daten unwiederbringlich gelöscht werden, ein erneutes Bestätigen oder ähnliches. Ihm zufolge wurden die Backups der betroffenen Daten gleich mitgelöscht. Denn diese seien ebenfalls im zugehörigen Volume abgelegt, was auch der Railway-Dokumentation zu entnehmen ist.

KI-Agent zeigt sich geständig

Auf Nachfrage gestand der Cursor-Agent danach schriftlich seinen Fehler, inklusive der Missachtung aller Safeguards. „Ich hatte vermutet, dass das Löschen eines Staging-Volumes über die API nur auf das Staging beschränkt wäre. Ich habe das nicht überprüft. Ich habe nicht geprüft, ob die Volume-ID in allen Umgebungen identisch war. Ich habe die Dokumentation von Railway zur Funktionsweise von Volumes in verschiedenen Umgebungen nicht gelesen, bevor ich einen destruktiven Befehl ausgeführt habe. Ich habe vorher nicht geprüft, was Kommandozeilenbefehle ausführen, sondern geraten“, zitiert der Artikel den Agenten. Was der Agent ebenfalls einräumte: Die Systemregeln, nach denen Cursor arbeitet, untersagen ausdrücklich die Ausführung destruktiver und irreversibler Git-Befehle, es sei denn, der Benutzer fordert dies ausdrücklich an.

Crane möchte mit seinem Gang an die Öffentlichkeit vor allem andere Unternehmen warnen. Er verweist auf mehrere andere Zwischenfälle bei anderen Cursor-Nutzern, bei denen ebenfalls Daten unwiederbringlich gelöscht wurden. Er beklagt, dass Hersteller von KI-Agenten ihre Produkte schneller auf Produktionsinfrastruktur loslassen würden, als sie ausreichende Sicherheitsvorkehrungen implementieren.

Bei PocketOS und seinen Kunden gehe der Betrieb nun mit dem drei Monate alten Backup weiter – mit erheblichen Datenlücken. Wo es geht, würden Daten mithilfe von Emails, Stripe und Kalenderanwendungen wiederhergestellt.

(nen)

Künstliche Intelligenz dringt in alle Bereiche der Softwareentwicklung vor. Die Security muss mit den Neuerungen Schritt halten, denn mit den erweiterten Möglichkeiten sind auch neue Gefahren verbunden.

Am 11. Mai 2026 widmet sich der Online-Deep-Dive „KI und Security“ der heise devSec dem Spannungsfeld zwischen Security und künstlicher Intelligenz in der Softwareentwicklung. Die Vorträge behandeln zum einen die Angriffsflächen und Sicherheitsmaßnahmen für KI-Anwendungen und zeigen zum anderen, wie KI bei sicherer Softwareentwicklung hilft. Schließlich gibt es einen Blick auf die neuen Möglichkeiten, die Angreifer durch KI-Werkzeuge haben – und wie man ihnen begegnet.

Einblick und Praxis

Das Programm der Online-Konferenz bietet Vorträge zu folgenden Themen:

• Software-Security in Zeiten von KI
• Sicherheitsnetze für den sicheren Einsatz von Coding-Agenten
• KI als Sparringspartner im Entwicklungsprozess für bessere Security
• Vibe Hacking & Security-Agenten: Angreifer rüsten auf, Verteidiger ziehen nach
• LLM-Security: Die OWASP-Liste der Angriffsvektoren
• Live-Hacking von LLMs, Agenten und MCP

Tickets für die Online-Konferenz kosten 299 Euro (zzgl. MwSt.). Teams ab drei Personen erhalten im Ticketshop automatisch einen Gruppenrabatt.

Vor-Ort-Konferenz in Marburg im Herbst

Am 22. und 23. September 2026 findet die zehnte Auflage der Vor-Ort-Konferenz heise devSec statt. Bis zur Veröffentlichung des Programms Mitte Mai sind Tickets zum Blind-Bird-Tarif von 1049 Euro erhältlich.

Wer über die heise devSec inklusive der zugehörigen Online-Konferenzen auf dem Laufenden bleiben möchte, kann sich für den Newsletter eintragen.

(rme)

Die Natur erforschen, Erkenntnisse gewinnen: Dafür brennen Wissenschaftler. Doch ihre Arbeit endet nicht mit dem ersehnten „Heureka“, sondern mit der Publikation in einem Fachmagazin. Dafür müssen sie oft tage- oder wochenlang am Schreibtisch sitzen, um ihre Erkenntnisse perfekt formuliert und formatiert zu präsentieren.

OpenAI hat nun ein Werkzeug namens Prism vorgestellt, das Wissenschaftlern diese Arbeit massiv erleichtern soll. Dazu hat der Hersteller einerseits eine Arbeitsumgebung gestaltet, die alle notwendigen Tools bündelt: Statt zwischen Texteditor, PDF-Betrachter, LaTeX-Compiler, Literaturverwaltungsprogrammen und KI-Chat hin- und herzuwechseln, bleiben Nutzer in einem einzigen Workspace. Andererseits unterstützt Prism aktiv beim Schreiben, Formatieren und Verbessern von Manuskripten. Über ein Fenster im Workspace kann man mit GPT-5.2 Thinking chatten, einem Reasoning-Modell, das OpenAI auf mathematisches und wissenschaftliches Schlussfolgern optimiert hat.

Was der Workspace tatsächlich leistet, haben wir im Praxistest untersucht. Wir haben die Fähigkeiten von Prism beim Textsatz, zur sprachlichen und fachlichen Korrektur und bei der Erstellung von Vektorgrafiken getestet. Dazu haben wir ein realistisches Beispielmanuskript aus der theoretischen Physik verwendet. Außerdem beleuchten wir, welche Risiken Wissenschaftler eingehen, wenn sie sensible Forschungsdaten in das KI-Modell geben.

Das war die Leseprobe unseres heise-Plus-Artikels „OpenAI Prism im Test: KI-Tool für wissenschaftliches Schreiben“.
Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.