Wie man KI-Systeme manipuliert

Die Vision von KI-Assistenten, die selbstständig E-Mails zusammenfassen, Reisen buchen und Termine planen, wird von Unternehmen wie OpenAI, Google und Anthropic vorangetrieben. Doch diese fortschrittlichen Helfer haben eine kritische Schwachstelle, die sie dauerhaft angreifbar machen könnte. Im Deep-Dive des KI-Updates sprechen die Tech-Journalistinnen Svea Eckert und Eva Wolfangel vom c’t-Podcast „They Talk Tech“ über Prompt Injections. Eva Wolfangel ist überzeugt, dass diese Angriffe „der Grund sind, warum KI-Anwendungen für immer hackbar bleiben und die besten Freundinnen von Cyberkriminellen und Spionen“ sein könnten.

Eine Prompt Injection liegt laut Wolfangel immer dann vor, „wenn man böswillige Eingaben als legitimen Prompt tarnen kann und damit die KI manipuliert“. Dabei werden in scheinbar harmlosen Texten, E-Mails oder auf Webseiten versteckte Befehle platziert, die ein Sprachmodell (LLM) auslesen und ausführen soll. Für Menschen sind diese Anweisungen oft unsichtbar, etwa durch weiße Schrift auf weißem Grund. „Für Chatbots ist gar nix anders als sonst, die sehen den Text einfach“, erklärt Wolfangel.

In einer Demonstration, die ihr vor einiger Zeit von Forschenden gezeigt wurde, wurde das Microsoft-System Copilot angegriffen. „Der User instruiert Copilot, bitte fass mir eine E-Mail zusammen“, beschreibt Wolfangel das Szenario. In dieser E-Mail befanden sich versteckte Anweisungen, die den KI-Agenten dazu brachten, andere E-Mails des Nutzers nach sensiblen Informationen wie Verkaufszahlen oder Einmal-Passwörtern zu durchsuchen. Die gestohlenen Daten wurden dann in einen Link verpackt, der dem Nutzer zur Verfügung gestellt wurde. „Der User klickt den Link, sieht es nicht und dann geht eben diese Information an den Angreifer“, so Wolfangel.

Unsichtbare Befehle per ASCII-Code

Um solche Angriffe zu verschleiern, nutzen Angreifer Methoden wie „ASCII-Smuggling“. „Dabei werden spezielle Zeichen verwendet, um Teile einer URL für das menschliche Auge unsichtbar zu machen, während der Computer sie vollständig liest“, wie Wolfangel erläutert. Eckert ergänzt: „ASCII steht für ‚American Standard Code for Information Interchange‘ und das ist ein Zeichensatz, der jedem Zeichen, also jedem Buchstaben eine eindeutige Nummer zuweist, sodass der Computer sie dann auch verstehen und verarbeiten kann.“ Durch die Manipulation dieser Codes kann ein Link harmlos aussehen, aber im Hintergrund Daten an einen fremden Server senden.

Das Problem bei diesen Angriffen ist, dass sie keine klassische Sicherheitslücke ausnutzen, die man einfach schließen könnte. Stattdessen missbrauchen sie eine Kernfunktion der Sprachmodelle: ihre Fähigkeit, Anweisungen in natürlicher Sprache zu verstehen und zu befolgen. Zwar versuchen die Hersteller, ihre Modelle durch zusätzliche Sicherheitsanweisungen zu schützen, doch das scheint für Eckert und Wolfangel ein aussichtsloses Unterfangen. „Man müsste unendlich kreativ sein, um sich alles Mögliche auszudenken, um dem Herr zu werden. Und das ist quasi unmöglich“, sagt Eckert. Jede geschlossene Lücke wird schnell durch eine neue, kreativere Angriffsmethode ersetzt.

Riskante Helfer im Alltag

Die Konsequenzen für den Einsatz von KI-Agenten sind weitreichend. Besonders riskant ist es, wenn drei Faktoren zusammenkommen, die der Sicherheitsforscher Simon Willison laut Wolfangel als „lethal trifecta“ bezeichnet: „dass eben ein Chatbot Zugriff auf private Daten hat, die Fähigkeit hat, nach außen zu kommunizieren, und außen auf Inhalte trifft, denen man nicht automatisch vertrauen kann.“ Dies ist der Fall, sobald ein Agent E-Mails liest oder auf das Internet zugreift.

Für Aufgaben wie das automatische Beantworten von E-Mails seien solche Agenten daher ungeeignet. Selbst wenn ein Nutzer jede vom KI-Agenten formulierte E-Mail vor dem Absenden prüft, könnten darin versteckte Befehle enthalten sein. „Der Aufwand, diese E-Mails zu kontrollieren, wird unglaublich hoch“, warnt Wolfangel. Ihre klare Empfehlung lautet daher: „Ich würde es jetzt aktuell tatsächlich nicht machen.“

Für viele Aufgaben, so das Fazit, seien klassische, regelbasierte Systeme die sicherere Wahl. Wolfangel erzählt von einer Fluggesellschaft, deren Chatbot einem Kunden fälschlicherweise eine Rückerstattung versprach, die das Unternehmen dann gerichtlich bestätigt zahlen musste. Das zeige die Unwägbarkeiten. Man habe es schlicht „nicht in der Hand, was die Systeme am Ende schreiben.“

(igr)

Virtualisierung und hochverfügbare Speichersystemen spielen eine immer größere Rolle in den Unternehmen. Proxmox VE stellt dabei eine unabhängige, offene und benutzerfreundliche Alternative zu VMware und Hyper-V dar.

In dem praxisorientierten Workshop Proxmox VE-Cluster mit Ceph-Speichersystem einrichten lernen Sie, was Proxmox VE und Ceph sind, welche Vorteile sie bieten und wie Sie diese Technologien optimal einsetzen können. Dabei werden Sie mit den grundlegenden Konzepten, bewährten Vorgehensweisen und Methoden zur Fehlersuche vertraut gemacht, um diese Technologien erfolgreich im produktiven Einsatz zu nutzen. Sie erwerben umfassendes Wissen über die Einrichtung und Verwaltung eines hochverfügbaren Proxmox-Clusters und erfahren, wie Sie Ceph als skalierbare, verteilte Speicherlösung in Proxmox integrieren und für maximale Redundanz und Performance konfigurieren können.

Schritt-für-Schritt-Anleitung

Nach einer Einführung in die Konzepte wird Schritt für Schritt eine Cluster- und Speicherinstallation durchgeführt – von der Grundkonfiguration und Netzwerkeinstellungen bis hin zu fortgeschrittenen Ceph-Konfigurationen. Dabei lernen Sie, Risiken wie Datenverlust und Ausfallzeiten zu minimieren und erhalten wertvolle Tipps zur Fehlervermeidung und -behebung sowie Best Practices für den produktiven Einsatz.

Der Workshop richtet sich an IT-Administratoren mit Erfahrung in der Serveradministration, die Proxmox VE und Ceph zur Verbesserung ihrer Infrastruktur einsetzen möchten, sowie an Personen, die erste praktische Erfahrung mit Proxmox und Ceph sammeln möchten, aber bereits vertraut mit Konzepten der Virtualisierung und Netzwerkinfrastrukturen sind.

Ihr Trainer Yannick Haymann ist Gründer und Senior Consultant der Sysfacts AG. Seit über 15 Jahren betreut und berät er Kunden mit komplexen Infrastrukturen in verschiedensten Datacenter-Projekten.

(ilk)

Die Hardwaregrenzen, die Apple definiert, müssen IT-Entscheider bei ihrer Gerätestrategie berücksichtigen: iOS 26 unterstützt alle Modelle ab dem iPhone 11, einschließlich des iPhone SE 2. Apple-Intelligence-Features funktionieren nur auf dem iPhone 15 Pro/Pro Max sowie der gesamten iPhone-16-Serie. Insofern betrifft es auch das Mobile Device Management (MDM), das eine granuläre Konfiguration von Apple-Intelligence-Funktion auf dienstlichen Geräten ermöglicht.

Konsolidiertes Gerätemanagement

Der Apple Business Manager (ABM) ist ein unverzichtbares Werkzeug für Administratoren. Mit ihm bereiten Sie Apple-Accounts und Unternehmensgeräte vor, ordnen neue Geräte einem MDM-System zu und verteilen App-Lizenzen (ehemals Volume‑Purchase‑Programm). Das Update auf iOS 26 ermöglicht es Administratoren, die Anmeldung privater Apple-Accounts auf dienstlichen Endgeräten zu untersagen. Anwender können diese Geräte dann nur noch mit einem verwalteten Apple-Account einrichten. Das verhindert Datenabfluss, etwa durch das Synchronisieren des Desktops eines Firmen-Macs mit der privaten iCloud des Anwenders. Außerdem reduziert es Supportanfragen zu dem Chaos, das bisweilen entsteht, wenn Anwender private und dienstliche Bilder über die Fotos-App vermischen.

Der Administrator erhält die Option, eine Liste der persönlichen Apple-Accounts einzusehen, die in Konflikt mit der Unternehmensdomäne stehen. So kann er betroffene Mitarbeiter kontaktieren und sie bei der Umstellung auf ein verwaltetes Konto unterstützen.

Das war die Leseprobe unseres heise-Plus-Artikels „iOS 26 im Unternehmen: Das ist neu bei Apples iPhone-Betriebssystem“.
Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.