KI-Agent löscht Daten: Katastrophe für PocketOS

Es ist der Albtraum eines jeden Softwareunternehmens: Ein KI-Agent löscht nahezu jegliche Daten, auch aus der Produktionsumgebung. Als wäre das nicht schon genug, tut er es unter Missachtung seiner Safeguards – und liefert danach ein schriftliches Geständnis mit quasi minutiösem Protokoll. Genau das ist jetzt dem Unternehmen PocketOS passiert, Hersteller einer gleichnamigen Software für Autovermietungen.

Der Übeltäter ist in diesem Fall die KI-gestützte Entwicklungsumgebung Cursor, im Falle von PocketOS betrieben mit Anthropics renommiertem Modell Claude Opus 4.6. Man könnte sagen: mit Beihilfe der Systeme des Anbieters Railway. Denn fehlende Sicherheitsvorkehrungen des cloud-gestützten Tools für Software Deployment machten das Fiasko offenbar erst so richtig möglich. PocketOS-Chef Jer Crane machte den Zwischenfall nun in einem langen Artikel auf X publik und schildert detailliert den Hergang.

Cursor-Agent findet verhängnisvollen Token

Demnach arbeitete der Cursor-Agent gerade routinemäßig im Staging Environment, als er auf einen Credential-Mismatch stieß. Zur Behebung entschied sich der Agent dazu, ein komplettes Railway Volume – ein Datenspeicher für Dienste des Cloud-Anbieters Railway – zu löschen. Hierfür war ein Token erforderlich, den er tatsächlich auch fand – allerdings an völlig anderer Stelle in den Daten des Unternehmens. Was in dem Moment keine Rolle spielte – der Agent hatte alle erforderlichen Berechtigungen und hielt sein Vorgehen für korrekt.

Der Token war laut Crane zu einem einzigen Zweck erstellt worden: um über die Railway-CLI benutzerdefinierte Domains für die eigenen Dienste hinzuzufügen und zu entfernen. Er betont: „Wir hatten keine Ahnung – und der Ablauf zur Token-Erstellung bei Railway gab uns keinen Hinweis darauf –, dass dasselbe Token pauschale Zugriffsrechte auf die gesamte Railway-GraphQL-API hatte, einschließlich destruktiver Operationen wie volumeDelete. Hätten wir gewusst, dass ein für routinemäßige Domain-Vorgänge erstelltes CLI-Token auch Produktionsvolumes löschen kann, hätten wir es niemals gespeichert.“

Zerstört in neun Sekunden

Doch es war zu spät: Mit dem Token und einer entsprechenden Reihe von Befehlen löschte der Cursor-Agent einen Großteil aller wichtigen Daten der vergangenen drei Monate – auch in der Produktionsumgebung. Neun Sekunden dauerte der Vorfall insgesamt. Für die Macher von PocketOS und ihre Kunden eine Katastrophe. Denn das letzte verfügbare Backup ist drei Monate alt. Und manch ein PocketOS-Nutzer – in der Regel Autovermietungen, die ihre Daten und Prozesse über die Software verwalten – ist ohne das Programm gar nicht arbeitsfähig.

Crane kritisiert auch Railway stark, weil es demnach hier keinerlei zusätzliche Nachfrage gab, bevor die verheerende Aktion ausgeführt wurde. Etwa ein Hinweis, dass wichtige Daten unwiederbringlich gelöscht werden, ein erneutes Bestätigen oder ähnliches. Ihm zufolge wurden die Backups der betroffenen Daten gleich mitgelöscht. Denn diese seien ebenfalls im zugehörigen Volume abgelegt, was auch der Railway-Dokumentation zu entnehmen ist.

KI-Agent zeigt sich geständig

Auf Nachfrage gestand der Cursor-Agent danach schriftlich seinen Fehler, inklusive der Missachtung aller Safeguards. „Ich hatte vermutet, dass das Löschen eines Staging-Volumes über die API nur auf das Staging beschränkt wäre. Ich habe das nicht überprüft. Ich habe nicht geprüft, ob die Volume-ID in allen Umgebungen identisch war. Ich habe die Dokumentation von Railway zur Funktionsweise von Volumes in verschiedenen Umgebungen nicht gelesen, bevor ich einen destruktiven Befehl ausgeführt habe. Ich habe vorher nicht geprüft, was Kommandozeilenbefehle ausführen, sondern geraten“, zitiert der Artikel den Agenten. Was der Agent ebenfalls einräumte: Die Systemregeln, nach denen Cursor arbeitet, untersagen ausdrücklich die Ausführung destruktiver und irreversibler Git-Befehle, es sei denn, der Benutzer fordert dies ausdrücklich an.

Crane möchte mit seinem Gang an die Öffentlichkeit vor allem andere Unternehmen warnen. Er verweist auf mehrere andere Zwischenfälle bei anderen Cursor-Nutzern, bei denen ebenfalls Daten unwiederbringlich gelöscht wurden. Er beklagt, dass Hersteller von KI-Agenten ihre Produkte schneller auf Produktionsinfrastruktur loslassen würden, als sie ausreichende Sicherheitsvorkehrungen implementieren.

Bei PocketOS und seinen Kunden gehe der Betrieb nun mit dem drei Monate alten Backup weiter – mit erheblichen Datenlücken. Wo es geht, würden Daten mithilfe von Emails, Stripe und Kalenderanwendungen wiederhergestellt.

(nen)