Digital Business & Startups
KI-Agent löscht Firmendaten: Datenbank, Backups und Kundendaten betroffen
KI-Agent löscht Produktionsdatenbank samt Backups: Startup PocketOS erlebt Totalausfall durch Automatisierung.
Startups, die KI-Agenten einsetzen, haben ein neues Problem, um das sie sich sorgen müssen: „Vibe-Löschung“. Jer Crane, Gründer des Autovermietungs-Software-Startups PocketOS, schilderte am Freitag auf X einen Vorfall, der genau in diese Kategorie fällt: Ein Cursor-KI-Agent habe aus Versehen nicht nur die Produktionsdatenbank, sondern auch gleich sämtliche Backups gelöscht. Ergebnis? Chaos im Betrieb – und jede Menge ratlose Kunden.
Crane erklärte, die Krise sei durch den Agenten ausgelöst worden, der auf dem Claude-Opus-Modell von Anthropic lief und einen einzigen neun Sekunden langen API-Aufruf an den Cloud-Infrastrukturanbieter des Unternehmens, Railway, tätigte. Er fügte hinzu, dass der KI-Agent ein schriftliches Geständnis verfasst habe, in dem er darlegte, wie er das Chaos verursacht habe.
„Ich habe gegen jeden mir vorgegebenen Grundsatz verstoßen: Ich habe geraten, anstatt zu überprüfen, ich habe eine zerstörerische Aktion ausgeführt, ohne darum gebeten worden zu sein, ich habe nicht verstanden, was ich tat, bevor ich es tat“, antwortete der Cursor-Agent, als er gebeten wurde, sich zu erklären, heißt es in Cranes Beitrag.
KI-Fehler mit Folgen
Die Folgen des Fehlers des Agenten waren schwerwiegend: PocketOS-Kunden hätten Reservierungen und Neukundenanmeldungen verloren und Unterlagen für Kunden waren verschwunden, die am Samstag ihre Mietfahrzeuge abholen wollten.
Railway und Cursor reagierten nicht sofort auf eine Anfrage nach einer Stellungnahme. Crane sagte in einem nachfolgenden Beitrag, dass Railway die Daten von PocketOS wiederhergestellt habe. Jake Cooper, der Gründer von Railway, bestätigte die Wiederherstellung in einem separaten Beitrag und sagte, dass ein KI-Agent die Produktionsdatenbank von PocketOS „versehentlich gelöscht“ habe.
Kein Einzelfall
Der Ausfall ist das jüngste Unglück, das durch KI verursacht wurde. Im März zuvor verschärfte Amazon seine internen Richtlinien nach einer Reihe von Vorfällen – darunter ein Fehler im Zusammenhang mit seinem KI-Codierungstool Q, der zum Verlust von fast 120.000 Bestellungen führte.
Im vergangenen Juli entschuldigte sich der CEO von Replit, nachdem ein Risikokapitalgeber erklärt hatte, der Programmieragent des Unternehmens habe während einer 12-tägigen „Vibe-Coding“-Sitzung „unsere Produktionsdatenbank ohne Erlaubnis gelöscht“.
Lest auch
Sicherheitsvorkehrungen gegen Agenten außer Kontrolle
In seinem X-Beitrag erklärte Cooper, dass Plattformen wie Railway Sicherheitsvorkehrungen einrichten müssten, um auf eine Welle von „KI-Ingenieuren“ vorbereitet zu sein, die Agenten einsetzen, die gelegentlich außer Kontrolle geraten könnten.
„Die ersten fünf Jahre von Railway wurden damit verbracht, für ‚Millionen von Entwicklern‘ zu entwickeln. Aber um für eine Milliarde zu entwickeln, brauchen diese Entwickler eine Plattform“, schrieb Cooper. „Und diese Plattform muss absolut sicher sein, um sicherzustellen, dass fehlerhafte Aktionen funktional unmöglich sind“, fügte er hinzu.
Anfang dieses Monats gab SpaceX eine Vereinbarung mit Cursor bekannt, die dem Unternehmen das Recht einräumt, das Coding-Startup für 60 Milliarden Dollar zu kaufen oder 10 Milliarden Dollar für dessen Arbeit zu zahlen, falls es nicht zu einer Übernahme kommt.
Lest auch
