Das passiert, wenn der KI-Betreiber die Sicherheit vernachlässigt

Von großen Datenabflüssen im Zusammenhang mit KI liest man aktuell ständig. Doch dieser ist anders; keine Prompt Injection, kein Jailbreak, sondern sträflich vernachlässigte Security-Basics bei der Infrastruktur eines KI-Betreibers – zumindest, wenn man den uns vorliegenden Informationen Glauben schenken darf. Und dafür spricht einiges.

Fast alle Firmen experimentieren aktuell mit KI. Wer vorsichtig ist, wirft dabei die eigenen Daten schon aus Datenschutzgründen nicht den großen KI-Anbietern wie OpenAI oder Anthropic zum Fraß vor, sondern betreibt das benutzte Large Language Model selbst. Es gibt ja genug leistungsfähige und offene KI-Systeme. Und wer das nicht komplett selbst leisten kann, greift gern auf von einer vertrauenswürdigen Firma im Geltungsbereich der DSGVO gehostete oder gemanagte Systeme zurück. Genau das bietet nach eigener Beschreibung die österreichische Firma Localmind:

„Localmind ist eine lokale & sichere KI-Plattform für Unternehmen, die eine individuelle und leistungsstarke KI-Lösung suchen. Für maximale Datensicherheit, volle Kontrolle und Unabhängigkeit von der Cloud.“

Wenn man selbst die Kontrolle hat, kann man die KI auch vertrauliches Material verarbeiten lassen und ihm Zugang zu den eigenen Servern gewähren, so die Logik dahinter. Das Problem dabei: Wenn ein solcher KI-Anbieter seine eigenen Systeme nicht ausreichend sichert, dann können Dritte diese einfach übernehmen und bekommen darüber Zugriff auf alles, was die KI lesen kann. Genau das gelang einem anonymen Datenforscher, der sich nach eigenen Angaben mit trivialen Mitteln Zugang zu den Systemen von Localmind verschaffen konnte – und von dort aus auch auf Systeme von deren Kunden.

Vom Test-System zum Vollzugriff

So bekam er demnach Zugriff auf Dokumente und Infrastruktur der Localmind-Kunden: E-Mail-Konten, CRM- und ERP-Systeme und vieles mehr standen ihm nach eigenen Angaben offen. Für den initialen Zugang genügte es laut ihm, sich auf einem öffentlich zugänglichen Localmind-System einen Account einzurichten, der offenbar sofort mit Admin-Rechten ausgestattet war. Gemäß den von Localmind veröffentlichten Erkenntnissen zu dem Vorfall handelte es sich dabei um „eine extern erreichbare Beta-Testinstanz“.

Von dort aus hangelte er sich weiter; alles, was er dazu benötigte, war nach seinen Angaben mit geringem Aufwand erreichbar. Localmind bestätigt, dass er von dort lesenden Zugang auf die interne Wissensdatenbank erlangte und:

„Diese Datenbank enthielt Informationen zu unserer Infrastruktur sowie Zugangsdaten, die nicht durchgehend nach heutigen Best Practices geschützt waren.“

Damit meinen sie wohl Dinge wie die uns als Beweis vorgelegten, einfachen Klartext-Passwörter für den Root-Zugang auf ihren Servern. Einige davon waren triviale Variationen von whatTheHell123$$$, was kaum als sicheres Passwort durchgehen kann.

Mit diesen nahezu unbeschränkten Zugangsrechten sammelte der Hacker weitere Belege für die Sicherheitsprobleme und deren Bedeutung ein. Da er sich als einer der Guten versteht, missbrauchte er diese nicht für Erpressung, sondern informierte die betroffenen Firmen und einige Pressevertreter – darunter heise security. In seinen Hinweis-Mails präsentierte er eine ganze Reihe von imposanten Datenschätzen: Neben diversen Chats finden sich darin Rechnungen, Verträge, eine schriftliche Stellungnahme vor einem Verwaltungsgericht, reihenweise Account-Daten, teilweise mit Zugangs-Tokens oder Passwörtern und vieles mehr.

Die betroffenen Firmen

Als potenziell betroffene Unternehmen listen die uns vorliegenden Dokumente gleich mehrere Banken und Behörden auf Kommunal- und Landesebene, Energieversorger, ein Bistum, Hotels und weitere — insgesamt über 150 Entitäten vornehmlich in Österreich und Deutschland. Ersten Recherchen zufolge sind allerdings nicht alle gleich stark involviert.

So versicherte ein von uns kontaktiertes Unternehmen, dass man lediglich einen vierstündigen Workshop mit einem Test-System bei Localmind absolviert habe. Die dabei verwendeten Daten seien „unkritisch“ gewesen. Die Landeshauptstadt Kiel erklärte gegenüber heise security, dass man ausschließlich Test-Systeme bei Localmind betrieben habe und dabei ausschließlich „Use Cases getestet werden, die weder personenbezogene Daten noch vertrauliche Daten verwenden“. Außerdem beteuert Localmind in einer Stellungnahme gegenüber heise security, dass es keine Hinweise darauf gäbe, dass auch on-premise — also bei den Kunden selbst gehostete LLMs von dem Datenabfluss betroffen seien.

Zumindest jetzt geht Localmind vorbildlich mit dem Vorfall um. Sie haben nach Bekanntwerden der Sicherheitsprobleme alle relevanten Systeme abgeschaltet, untersuchen diese aktuell und dokumentieren den aktuellen Informationsstand regelmäßig auf einer eigens dazu eingerichteten Seite. Ferner bieten sie betroffenen Kunden Unterstützung an, etwa beim Melden bei Datenschutzbehörden. Daran gibt es nichts auszusetzen.

Fragwürdige Disclosure

Es fragt sich, warum der Hacker nicht zunächst bei Localmind über die von ihm gefundenen Sicherheitsprobleme informierte und denen eine angemessene Zeitspanne einräumte, diese zu beseitigen. Das entspräche der allgemein üblichen Praxis bei White Hat Hackern. Doch aus seiner Sicht lassen sich die Sicherheitsprobleme der Firma nicht sinnvoll fixen; er sieht einen sicherheitstechnischen Totalschaden: „Sie haben offensichtlich den Großteil ihrer Infrastruktur und ihrer Produkte, die sie ihren Kunden als sichere Lösungen verkaufen wollen, mit Vibe Coding erstellt. Dabei zeigten sie eine so erstaunliche Nachlässigkeit und Inkompetenz bei der Umsetzung der grundlegendsten Sicherheitsmaßnahmen, dass man fast schon von Vorsatz ausgehen muss“, lautet sein harsches Fazit.

Ob es sich wirklich um ein systematisches Komplettversagen in Sicherheitsdingen handelt oder um eine Verkettung dummer Fehler, die zwar nicht passieren sollten — aber doch gelegentlich eintreten, lässt sich wohl erst nach einer ausführlichen Dokumentation der Sachverhalte durch Localmind abschließend beurteilen. Gemessen an ihrem bisherigen Umgang mit dem Vorfall steht zu hoffen, dass sie daran bereits arbeiten.

(ju)