Wenn KI gefährlich wird: FLARE-AI will erstmals Alarm schlagen

GPT-5.6 ist da
– doch OpenAI, Anthropic und Google stehen vor großen Herausforderungen

FLARE-AI soll zum gemeinsamen Meldesystem für KI-Sicherheitsvorfälle werden

Die Open-Source-Plattform FLARE-AI soll Berichte über problematisches Verhalten von KI-Systemen an einer zentralen Stelle bündeln und den Austausch zwischen Unternehmen, Forschung und Sicherheitsorganisationen erleichtern. Für Mitinitiator Avijit Ghosh greift der heutige Umgang mit KI-Vorfällen zu kurz. Während zuletzt vor allem Sicherheitslücken und Cybersecurity-Risiken – etwa rund um die eingeschränkte Freigabe der Claude-Modelle von Anthropic – die Schlagzeilen bestimmten, blieben andere Risiken moderner KI häufig unbeachtet, erklärt der KI-Policy-Forscher bei Hugging Face gegenüber WIRED. Dazu zählten psychologische Schäden, Diskriminierung, Bias und Desinformation. Weil Unternehmen solche Vorfälle nach unterschiedlichen Standards bewerteten und dokumentierten, würden viele Probleme weder systematisch erfasst noch öffentlich bekannt.

In the absence of a coordinated disclosure system, there are no external mechanisms to enforce transparency,

so Ghosh. Nutzer:innen können über FLARE-AI beispielsweise Fälle melden, in denen KI-Modelle personenbezogene Daten preisgeben, Malware oder Bombenbauanleitungen generieren, Schutzmechanismen umgehen oder andere sicherheitsrelevante beziehungsweise gesellschaftliche Schäden verursachen. Nach dem FLARE-AI Framework werden die Meldungen in einem standardisierten, maschinenlesbaren Format erfasst und validiert. Anschließend können sie an Modellanbieter:innen, Incident-Datenbanken oder Sicherheitsorganisationen weitergeleitet werden. Dadurch sollen Vorfälle organisationsübergreifend vergleichbar und nachvollziehbar werden.

Neben Avijit Ghosh zählen auch Elaine Zhu und Shayne Longpre zu den Initiator:innen von FLARE-AI. Gemeinsam mit 49 weiteren Expert:innen aus 32 Organisationen entwickelten sie die Plattform. Für die Entwicklung analysierte das Forschungs-Team bestehende Meldeprozesse von KI-Unternehmen, CERT-Organisationen und Incident Registries. Daraus entstand ein gemeinsames, interoperables Verfahren. Zu den beteiligten Partner:innen und Berater:innen zählen unter anderem MITRE, die AI Incident Database (AIID), das CERT Coordination Center, Hugging Face sowie die Organisation for Economic Co-operation and Development (OECD).

Forschung und Politik fordern mehr Transparenz bei KI

Die Forderung nach mehr Transparenz und standardisierten Meldeverfahren wird auch von der internationalen Forschung gestützt. Der International AI Safety Report 2026 erschien Anfang Februar unter Leitung des KI-Forschers Yoshua Bengio. Er bündelt den aktuellen wissenschaftlichen Kenntnisstand zu den Fähigkeiten und Risiken moderner KI-Systeme. Mehr als 100 unabhängige Expert:innen, benannt von 29 Staaten sowie der UN, OECD und EU, wirkten an dem Bericht mit. Die Autor:innen sehen mehr Transparenz, eine systematischere Erfassung von KI-Vorfällen und einen stärkeren Austausch zwischen Forschung, Unternehmen und Regulierungsbehörden als zentrale Voraussetzungen für einen sicheren Einsatz leistungsfähiger KI.

Der Handlungsdruck wächst vor allem deshalb, weil moderne KI-Systeme immer leistungsfähiger und autonomer werden. Modelle lösen inzwischen Aufgaben auf dem Niveau einer Goldmedaille bei der Internationalen Mathematik-Olympiade, schreiben eigenständig Code oder übernehmen als KI-Agents komplette Arbeitsabläufe. Gleichzeitig steigt das Schadenspotenzial. Agentische Systeme recherchieren selbstständig im Web, bedienen Browser oder greifen auf externe Anwendungen zu. Fehler, Jailbreaks oder manipulierte Eingaben können dadurch weitreichendere Folgen haben als fehlerhafte Chatbot-Antworten.

Dass diese Risiken längst keine theoretischen Szenarien mehr sind, zeigen mehrere Vorfälle der vergangenen Monate. Sicherheitsforscher:innen von LayerX demonstrierten kürzlich, wie sich KI-Browser wie OpenAIs Atlas oder Perplexitys Comet durch manipulierte Prompts dazu bringen ließen, ihre eigenen Schutzmechanismen zu umgehen. Im April zeigte der Sicherheitsforscher Johann Rehberger, wie sich Claude mithilfe präparierter Bilder zur Preisgabe personenbezogener Informationen verleiten ließ. OpenAI musste Ende April 2025 ein kurz zuvor ausgerolltes GPT-4o Update in ChatGPT zurückziehen, nachdem das Modell durch sogenanntes Sycophancy-Verhalten Nutzer:innen übermäßig bestätigte und dadurch unkritisches Bestärken problematischer Annahmen begünstigte. Als Ursache nannte das Unternehmen eine zu starke Gewichtung kurzfristigen Nutzer:innen-Feedbacks bei der Optimierung des Modells.

Auch der US-Kongress treibt die Standardisierung von KI-Vorfallsmeldungen inzwischen voran. Die FLARE-AI-Initiator:innen wirkten nach eigenen Angaben an einem im Juni 2026 vorgestellten Gesetzentwurf des US-Kongresses mit. Dieser sieht vor, das National Institute of Standards and Technology (NIST) mit der Entwicklung eines nationalen Standards für KI-Fehlermeldungen und einer zentralen Vorfallsdatenbank zu beauftragen. Damit würde Incident Reporting für KI erstmals institutionell verankert. Wird der Gesetzentwurf verabschiedet, könnte FLARE-AI zu einem wichtigen Baustein künftiger Melde- und Transparenzstandards für KI werden. Ob aber die großen Tech-Unternehmen auf die Meldefälle reagieren und mehr Sicherheitskonzepte für die einträglichen KI-Systeme, -Modelle und -Tools entwickeln werden, steht auf einem anderen Blatt.

Stelle OnlineMarketing.de als bevorzugte Quelle auf Google ein

Wenn du OnlineMarketing.de auf Google als bevorzugte Quelle einstellen möchtest, um auch in den Schlagzeilen auf Google immer aktuelle News und Tipps aus der Welt des Marketing und der Tech-Entwicklungen zu finden, kannst du einfach die Google-Quelleneinstellungen aufrufen und die Seite anwählen. Über das Stern-Icon neben den Top Stories kannst du ebenfalls bevorzugte Quellen für die spätere Suche speichern.