KI-Agent löscht Produktionsdatenbank samt Backups: Startup PocketOS erlebt Totalausfall durch Automatisierung.

Illustration by Pavlo Gonchar/SOPA Images/LightRocket via Getty Images

Startups, die KI-Agenten einsetzen, haben ein neues Problem, um das sie sich sorgen müssen: „Vibe-Löschung“. Jer Crane, Gründer des Autovermietungs-Software-Startups PocketOS, schilderte am Freitag auf X einen Vorfall, der genau in diese Kategorie fällt: Ein Cursor-KI-Agent habe aus Versehen nicht nur die Produktionsdatenbank, sondern auch gleich sämtliche Backups gelöscht. Ergebnis? Chaos im Betrieb – und jede Menge ratlose Kunden.

Crane erklärte, die Krise sei durch den Agenten ausgelöst worden, der auf dem Claude-Opus-Modell von Anthropic lief und einen einzigen neun Sekunden langen API-Aufruf an den Cloud-Infrastrukturanbieter des Unternehmens, Railway, tätigte. Er fügte hinzu, dass der KI-Agent ein schriftliches Geständnis verfasst habe, in dem er darlegte, wie er das Chaos verursacht habe.

„Ich habe gegen jeden mir vorgegebenen Grundsatz verstoßen: Ich habe geraten, anstatt zu überprüfen, ich habe eine zerstörerische Aktion ausgeführt, ohne darum gebeten worden zu sein, ich habe nicht verstanden, was ich tat, bevor ich es tat“, antwortete der Cursor-Agent, als er gebeten wurde, sich zu erklären, heißt es in Cranes Beitrag.

KI-Fehler mit Folgen

Die Folgen des Fehlers des Agenten waren schwerwiegend: PocketOS-Kunden hätten Reservierungen und Neukundenanmeldungen verloren und Unterlagen für Kunden waren verschwunden, die am Samstag ihre Mietfahrzeuge abholen wollten.

Railway und Cursor reagierten nicht sofort auf eine Anfrage nach einer Stellungnahme. Crane sagte in einem nachfolgenden Beitrag, dass Railway die Daten von PocketOS wiederhergestellt habe. Jake Cooper, der Gründer von Railway, bestätigte die Wiederherstellung in einem separaten Beitrag und sagte, dass ein KI-Agent die Produktionsdatenbank von PocketOS „versehentlich gelöscht“ habe.

Kein Einzelfall

Der Ausfall ist das jüngste Unglück, das durch KI verursacht wurde. Im März zuvor verschärfte Amazon seine internen Richtlinien nach einer Reihe von Vorfällen – darunter ein Fehler im Zusammenhang mit seinem KI-Codierungstool Q, der zum Verlust von fast 120.000 Bestellungen führte.

Im vergangenen Juli entschuldigte sich der CEO von Replit, nachdem ein Risikokapitalgeber erklärt hatte, der Programmieragent des Unternehmens habe während einer 12-tägigen „Vibe-Coding“-Sitzung „unsere Produktionsdatenbank ohne Erlaubnis gelöscht“.

Lest auch

Umfrage zeigt: Erfolgreiche Gründer verzichten auf Urlaub, Familie und Freizeit

Sicherheitsvorkehrungen gegen Agenten außer Kontrolle

In seinem X-Beitrag erklärte Cooper, dass Plattformen wie Railway Sicherheitsvorkehrungen einrichten müssten, um auf eine Welle von „KI-Ingenieuren“ vorbereitet zu sein, die Agenten einsetzen, die gelegentlich außer Kontrolle geraten könnten.

„Die ersten fünf Jahre von Railway wurden damit verbracht, für ‚Millionen von Entwicklern‘ zu entwickeln. Aber um für eine Milliarde zu entwickeln, brauchen diese Entwickler eine Plattform“, schrieb Cooper. „Und diese Plattform muss absolut sicher sein, um sicherzustellen, dass fehlerhafte Aktionen funktional unmöglich sind“, fügte er hinzu.

Anfang dieses Monats gab SpaceX eine Vereinbarung mit Cursor bekannt, die dem Unternehmen das Recht einräumt, das Coding-Startup für 60 Milliarden Dollar zu kaufen oder 10 Milliarden Dollar für dessen Arbeit zu zahlen, falls es nicht zu einer Übernahme kommt.

Lest auch

Wir haben 10 Jahre über KI geredet – was wir jetzt aber machen müssen

Es ist wieder soweit – neue Startups stehen in den Startlöchern! Hier sind einige spannende junge Unternehmen, die man kennen sollte. Heute werfen wir einen Blick auf diese Neugründungen: Backsleepers, LeadRep, PAVE Space, FREI und lowcloud.

deutsche-startups.de stellt heute erneut eine Auswahl junger Startups vor, die in den vergangenen Wochen und Monaten gegründet wurden oder kürzlich aus dem Stealth-Mode hervorgetreten sind. Noch mehr spannende Neugründungen gibt es übrigens in unserem Newsletter Startup-Radar.

Backsleepers 
Die noch frische Firma Backsleepers, in München von Nicolas Espich an den Start gebracht, kümmert sich um  Schlafoptimierung. „Unsere Mission ist es, berufstätigen Menschen dabei zu helfen, durch erholsamen Schlaf ihre Leistungsfähigkeit, Gesundheit und Lebensqualität nachhaltig zu steigern“, teilt das Team mit. 

LeadRep
Das Startup LeadRep aus Frankfurt am Main, von Hafiz Mama und Herve Eblohoue ins Leben gerufen, richtet sich an B2B-Sales-Teams. „LeadRep helps B2B sales teams act on real buying signals – timing outreach based on context, intent, and change rather than static lead lists“, heißt es zur Idee hinter dem Unternehmen. 

PAVE Space
PAVE Space aus Crissier arbeitet an Orbital transfer vehicles (OTVs), die Satelliten in weniger als 24 Stunden ins All transportieren sollen. „Today, rockets reliably get satellites to low Earth orbit. But getting them from there to their final operational orbit still takes 6 to 12 months. We believe that has to change“, so das Team der Gründer:innen Julie Böhning und Jérémy Marciacq.

FREI
Hinter FREI aus Seeboden in Kärnten verbirgt sich eine gamifizierte App, die junge Menschen im DACH-Raum Schritt für Schritt durch die Selbstständigkeit führt. „Kein trockener Ratgeber, sondern ein echtes Begleittool für die Generation, die raus will – aber nicht weiß wie“, ist sich Gründer Luis Zauchner sicher.

lowcloud
lowcloud aus Bielefeld, von Thomas Ens, Florian Karbus und Fabian Sander angeschoben, bringt sich als „All-in-one Cloud-Deployment-Plattform“ in Stellung. Das Unternehmen „konfiguriert automatisch die Cloud-Infrastruktur, richtet die Deployment-Pipeline ein und übernimmt das vollständige Management“.

Tipp: In unserem Newsletter Startup-Radar berichten wir einmal in der Woche über neue Startups. Alle Startups stellen wir in unserem kostenpflichtigen Newsletter kurz und knapp vor und bringen sie so auf den Radar der Startup-Szene. Jetzt unseren Newsletter Startup-Radar sofort abonnieren!

Startup-Jobs: Auf der Suche nach einer neuen Herausforderung? In der unserer Jobbörse findet Ihr Stellenanzeigen von Startups und Unternehmen.

Foto (oben): Bing Image Creator – DALL·E 3