Künstliche Intelligenz
Künstliche Intelligenz: Agentic AI aus Securitysicht – Angriffe und Verteidigung
Beim Thema Agentic AI und Sicherheit denken viele zuerst und oft sogar ausschließlich an Prompt Injections. Die sind aber nur eine von vielen Sicherheitsherausforderungen bei Agentic AI – und oft nicht einmal die dringendste. Agentic-AI-Systeme sind komplex und bestehen aus vielen einzelnen Bestandteilen. Aus Securitysicht erben diese Systeme damit die Sicherheitsanforderungen aller beteiligten Komponenten. Die folgende Abbildung zeigt die Schichten, die dieser Artikel näher betrachtet.
Die Systemschicht umfasst alle allgemeinen Supportkomponenten wie Bibliotheken, Compute- und Netzwerkressourcen. Die Datenschicht beinhaltet den Lang- und Kurzzeitspeicher, sowohl für die Nutzung durch Agenten als auch für die Protokollierung. Die Modelle selbst und ihre Trainingsdaten sind ebenfalls in dieser Schicht beheimatet. In der Agentenschicht interagieren die KI-Agenten untereinander und mit den verfügbaren Werkzeugen.
- Agentic-AI-Systeme bestehen aus komplexen Schichten, die jeweils eigene, teils bekannte und teils neue Sicherheitsrisiken mit sich bringen, darunter Infrastruktur-, Datenbank- und DevOps-Schwachstellen.
- Angriffe wie Data Poisoning, Prompt Injection, Tool Subversion und Infrastrukturlecks betreffen sowohl die Modelle selbst als auch deren Betriebsumgebung – oft auch über öffentliche Repositorys und APIs.
- Effektiver Schutz erfordert die Härtung und Isolierung aller Komponenten, sichere Schnittstellen, strenge Sitzungsverwaltung sowie präventive Design-Patterns gegen Prompt Injection und andere Agentic-spezifische Angriffe.
- Neben technischen Maßnahmen sind Governance, Verantwortlichkeiten und ein umfassendes Verständnis der Systeme im Einsatzkontext essenziell, um Risiken bei autonomen Agentensystemen effektiv zu steuern.
Die Orchestrationsschicht verwaltet Aktionen im Zusammenhang mit der Verarbeitung, wie die Aktivierung ausgewählter Agenten zur Erarbeitung von (Teil-)Ergebnissen. Alle für Benutzer, Administratoren und APIs von außen sichtbaren Schnittstellen ins Agentic-AI-System befinden sich auf der Interaktionsschicht. Zu den externen Einheiten gehören Bibliotheken von Drittanbietern, öffentliche Trainingsdatensätze, externe Tools und vieles mehr. Aus Sicht der Lieferkettensicherheit sind dies die ersten externen Einstiegspunkte.
Das war die Leseprobe unseres heise-Plus-Artikels „Künstliche Intelligenz: Agentic AI aus Securitysicht – Angriffe und Verteidigung“.
Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.