KI-Agent löscht Produktionsdatenbank samt Backups: Startup PocketOS erlebt Totalausfall durch Automatisierung.

Illustration by Pavlo Gonchar/SOPA Images/LightRocket via Getty Images

Startups, die KI-Agenten einsetzen, haben ein neues Problem, um das sie sich sorgen müssen: „Vibe-Löschung“. Jer Crane, Gründer des Autovermietungs-Software-Startups PocketOS, schilderte am Freitag auf X einen Vorfall, der genau in diese Kategorie fällt: Ein Cursor-KI-Agent habe aus Versehen nicht nur die Produktionsdatenbank, sondern auch gleich sämtliche Backups gelöscht. Ergebnis? Chaos im Betrieb – und jede Menge ratlose Kunden.

Crane erklärte, die Krise sei durch den Agenten ausgelöst worden, der auf dem Claude-Opus-Modell von Anthropic lief und einen einzigen neun Sekunden langen API-Aufruf an den Cloud-Infrastrukturanbieter des Unternehmens, Railway, tätigte. Er fügte hinzu, dass der KI-Agent ein schriftliches Geständnis verfasst habe, in dem er darlegte, wie er das Chaos verursacht habe.

„Ich habe gegen jeden mir vorgegebenen Grundsatz verstoßen: Ich habe geraten, anstatt zu überprüfen, ich habe eine zerstörerische Aktion ausgeführt, ohne darum gebeten worden zu sein, ich habe nicht verstanden, was ich tat, bevor ich es tat“, antwortete der Cursor-Agent, als er gebeten wurde, sich zu erklären, heißt es in Cranes Beitrag.

KI-Fehler mit Folgen

Die Folgen des Fehlers des Agenten waren schwerwiegend: PocketOS-Kunden hätten Reservierungen und Neukundenanmeldungen verloren und Unterlagen für Kunden waren verschwunden, die am Samstag ihre Mietfahrzeuge abholen wollten.

Railway und Cursor reagierten nicht sofort auf eine Anfrage nach einer Stellungnahme. Crane sagte in einem nachfolgenden Beitrag, dass Railway die Daten von PocketOS wiederhergestellt habe. Jake Cooper, der Gründer von Railway, bestätigte die Wiederherstellung in einem separaten Beitrag und sagte, dass ein KI-Agent die Produktionsdatenbank von PocketOS „versehentlich gelöscht“ habe.

Kein Einzelfall

Der Ausfall ist das jüngste Unglück, das durch KI verursacht wurde. Im März zuvor verschärfte Amazon seine internen Richtlinien nach einer Reihe von Vorfällen – darunter ein Fehler im Zusammenhang mit seinem KI-Codierungstool Q, der zum Verlust von fast 120.000 Bestellungen führte.

Im vergangenen Juli entschuldigte sich der CEO von Replit, nachdem ein Risikokapitalgeber erklärt hatte, der Programmieragent des Unternehmens habe während einer 12-tägigen „Vibe-Coding“-Sitzung „unsere Produktionsdatenbank ohne Erlaubnis gelöscht“.

Lest auch

Umfrage zeigt: Erfolgreiche Gründer verzichten auf Urlaub, Familie und Freizeit

Sicherheitsvorkehrungen gegen Agenten außer Kontrolle

In seinem X-Beitrag erklärte Cooper, dass Plattformen wie Railway Sicherheitsvorkehrungen einrichten müssten, um auf eine Welle von „KI-Ingenieuren“ vorbereitet zu sein, die Agenten einsetzen, die gelegentlich außer Kontrolle geraten könnten.

„Die ersten fünf Jahre von Railway wurden damit verbracht, für ‚Millionen von Entwicklern‘ zu entwickeln. Aber um für eine Milliarde zu entwickeln, brauchen diese Entwickler eine Plattform“, schrieb Cooper. „Und diese Plattform muss absolut sicher sein, um sicherzustellen, dass fehlerhafte Aktionen funktional unmöglich sind“, fügte er hinzu.

Anfang dieses Monats gab SpaceX eine Vereinbarung mit Cursor bekannt, die dem Unternehmen das Recht einräumt, das Coding-Startup für 60 Milliarden Dollar zu kaufen oder 10 Milliarden Dollar für dessen Arbeit zu zahlen, falls es nicht zu einer Übernahme kommt.

Lest auch

Wir haben 10 Jahre über KI geredet – was wir jetzt aber machen müssen

+++ #DealMonitor +++ IndustrialTech Spread AI bekommt 30 Millionen +++ BioTech Primogene sammelt 4,1 Millionen ein +++ HealthTech dehaze erhält 3,2 Millionen +++ Finanzspritze für HealthTech odacova +++ ECD International übernimmt SC Media House +++

Im #DealMonitor für den 29. April werfen wir einen Blick auf die wichtigsten, spannendsten und interessantesten Investments und Exits des Tages in der DACH-Region. Alle Deals der Vortage gibt es im großen und übersichtlichen #DealMonitor-Archiv.

STARTUPLAND 2027: SAVE THE DATE

The next unicorn? You’ll meet it at STARTUPLAND
+++ Du hast unsere phänomenale dritte STARTUPLAND verpasst? Dann trage Dir jetzt schon einmal unseren neuen Termin in Deinen Kalender ein: Die nächste STARTUPLAND findet am 10. März 2027 statt. Mehr über Startupland

INVESTMENTS

Spread AI
+++ Der Hamburger Investor DTCP Growth, der CIA-Venture-Ableger IQT, OTB Ventures, Salesforce, Thesiger Capital, Christian Schulz, HV Capital und NAP investieren 30 Millionen US-Dollar in Spread. Das Berliner Startup, 2019 von Daniel Halbig, Philipp Noll und Robert Göbel gegründet, möchte Maschinen beibringen, komplexe Produkte zu verstehen. „The company will use the new funding to accelerate global expansion across Europe and the U.S., further scale within the Salesforce ecosystem, and strengthen its presence in aerospace & defense, and heavy machinery sectors“, teilt das Unternehmen mit. HV Capital, NAP und Business Angels investierten zuletzt 15 Millionen Euro in das Unternehmen. Insgesamt flossen nun bereits rund 45 Millionen Euro in Spread. Derzeit wirken 100 Mitarbeitende für das Startup. DTCP Growth hält derzeit 2,61 % an Spread. Auf den Berliner Geldgeber NAP (ehemals Cavalry) entfallen derzeit 19,9 %. HV Capital ist nun mit 16,5 % an Bord. Mehr über Spread

Primogene 
+++ Der Bonner Frühphasen-Investor High-Tech Gründerfonds (HTGF), Technologiegründerfonds Sachsen (TGFS), better ventures, Sächsische Beteiligungsgesellschaft (SBG), Golzern Holding, FS Life Science Investment und Marc Struhalla investieren 4,1 Millionen Euro in Primogene. Das BioTech aus Leipzig, 2023 von Reza Mahour, Valerian Grote und Linda Karger gegründet, setzt auf die Herstellung funktioneller Inhaltsstoffe für Ernährung, Personal Care sowie pharmazeutischer Rohstoffe. Das frische Kapital solle in den „Ausbau des IP-Portfolios, der Produktionskapazitäten und strategische Partnerschaften“ fließen. Mehr über Primogene

dehaze
+++ Der Münchner HealthTech-Investor YZR Capital, der englische Investor DN Capital, Angel Invest, ZOHO.VC und better ventures investieren 3,2 Millionen Euro in dehaze. Das Münchner HealthTech, 2023 vom Vation-Gründer Marius Klages, Andreas Santoro und Jan Baumbach gegründet, setzt auf Präzisionsmedizin. Das Team schreibt zur Idee: „The AI copilot to identify overlooked diagnoses, inappropriate treatments and future health risks.“ Mehr über dehaze

odacova
+++ Der Essener Geldgeber Aquarius Invest, 5P Future of Health aus Bochum, der Kölner Impact-Investor capacura, NRW.BANK sowie Business Angels rund um M. Lee Greene und Gerriet Hellge investieren eine ungenannte Summe in odacova. Das Startup aus Dortmund, 2023 von Timo Sievernich und Robin Wiebusch gegründet, kümmert sich um „personalisierte Ernährung am Arbeitsplatz“. Mit der App des Startups erhalten Mitarbeitende personalisierte Ernährungsempfehlungen für die jeweilige Betriebsgastronomie. Mehr über odacova

BeatSquares 
+++ Miriam Meckel, Professorin an der Universität St. Gallen und ada-Gründerin investiert in BeatSquares. Das Berliner KI-Startup, 2024 von Mark Page und René Bosch gegründet, bereitet journalistische Inhalte automatisiert in Podcasts, Newsletter oder interaktive Formate um. Mehr über BeatSquares

MERGERS & ACQUISITIONS

ECD International – SC Media House
+++ Die Beyond Capital Partners-Beteiligung ECD International, eine Full-Service Agentur aus Stuttgart, übernimmt die Mehrheit an der Münchner Influencer-Marketing-Agentur SC Media House, 2018 von Oliver Huber gegründet. Mehr über ECD International

Startup-Jobs: Auf der Suche nach einer neuen Herausforderung? In der unserer Jobbörse findet Ihr Stellenanzeigen von Startups und Unternehmen.

Foto (oben): azrael74

Es ist wieder soweit – neue Startups stehen in den Startlöchern! Hier sind einige spannende junge Unternehmen, die man kennen sollte. Heute werfen wir einen Blick auf diese Neugründungen: Backsleepers, LeadRep, PAVE Space, FREI und lowcloud.

deutsche-startups.de stellt heute erneut eine Auswahl junger Startups vor, die in den vergangenen Wochen und Monaten gegründet wurden oder kürzlich aus dem Stealth-Mode hervorgetreten sind. Noch mehr spannende Neugründungen gibt es übrigens in unserem Newsletter Startup-Radar.

Backsleepers 
Die noch frische Firma Backsleepers, in München von Nicolas Espich an den Start gebracht, kümmert sich um  Schlafoptimierung. „Unsere Mission ist es, berufstätigen Menschen dabei zu helfen, durch erholsamen Schlaf ihre Leistungsfähigkeit, Gesundheit und Lebensqualität nachhaltig zu steigern“, teilt das Team mit. 

LeadRep
Das Startup LeadRep aus Frankfurt am Main, von Hafiz Mama und Herve Eblohoue ins Leben gerufen, richtet sich an B2B-Sales-Teams. „LeadRep helps B2B sales teams act on real buying signals – timing outreach based on context, intent, and change rather than static lead lists“, heißt es zur Idee hinter dem Unternehmen. 

PAVE Space
PAVE Space aus Crissier arbeitet an Orbital transfer vehicles (OTVs), die Satelliten in weniger als 24 Stunden ins All transportieren sollen. „Today, rockets reliably get satellites to low Earth orbit. But getting them from there to their final operational orbit still takes 6 to 12 months. We believe that has to change“, so das Team der Gründer:innen Julie Böhning und Jérémy Marciacq.

FREI
Hinter FREI aus Seeboden in Kärnten verbirgt sich eine gamifizierte App, die junge Menschen im DACH-Raum Schritt für Schritt durch die Selbstständigkeit führt. „Kein trockener Ratgeber, sondern ein echtes Begleittool für die Generation, die raus will – aber nicht weiß wie“, ist sich Gründer Luis Zauchner sicher.

lowcloud
lowcloud aus Bielefeld, von Thomas Ens, Florian Karbus und Fabian Sander angeschoben, bringt sich als „All-in-one Cloud-Deployment-Plattform“ in Stellung. Das Unternehmen „konfiguriert automatisch die Cloud-Infrastruktur, richtet die Deployment-Pipeline ein und übernimmt das vollständige Management“.

Tipp: In unserem Newsletter Startup-Radar berichten wir einmal in der Woche über neue Startups. Alle Startups stellen wir in unserem kostenpflichtigen Newsletter kurz und knapp vor und bringen sie so auf den Radar der Startup-Szene. Jetzt unseren Newsletter Startup-Radar sofort abonnieren!

Startup-Jobs: Auf der Suche nach einer neuen Herausforderung? In der unserer Jobbörse findet Ihr Stellenanzeigen von Startups und Unternehmen.

Foto (oben): Bing Image Creator – DALL·E 3