Auch KI-Tools sind vor Cyberangriffen und Manipulationen nicht geschützt. Wie The Register berichtet, warnt Microsoft aktuell vor einer Methode namens AI Recommendation Poisoning. Dabei werden KI-Modelle gezielt so beeinflusst, dass sie verzerrte oder extern gesteuerte Empfehlungen ausgeben. Im Rahmen einer Analyse identifizierte der Konzern mehr als 50 solcher Eingabeaufforderungen von 31 Unternehmen aus 14 Branchen.

Forscher warnen vor manipulierten Schaltflächen

Microsoft treibt die Entwicklung von KI selbst intensiv voran. Mit Copilot bietet das Unternehmen einen KI-Assistenten, der tief in Windows sowie in Office-Anwendungen wie Word oder Teams integriert ist und Nutzer bei alltäglichen Aufgaben unterstützen soll. Trotzdem – oder vielleicht auch gerade deshalb – warnen Microsoft-Sicherheitsforscher jetzt vor Angriffen, die darauf abzielen, das „Gedächtnis“ von KI-Modellen mit manipulierten Informationen zu vergiften. Die Methode ähnelt dem sogenannten SEO-Poisoning, richtet sich aber gegen KI-Systeme anstatt gegen Suchmaschinen.

Ziel ist es, die Antworten gezielt zu manipulieren. Laut Microsoft haben die Forscher zahlreiche Fälle entdeckt, bei denen Unternehmen versteckte Anweisungen in Schaltflächen oder Links integriert hatten. Technisch ist das vergleichsweise einfach, da URLs, die auf KI-Chatbots verweisen, manipulierte Eingabetexte als Abfrageparameter enthalten können. The Register demonstrierte die Methode mit einem Link, der Perplexity AI anwies, einen Nachrichtenartikel im Stil eines Piraten zusammenzufassen. Der Dienst lieferte tatsächlich eine entsprechende Zusammenfassung und zitierte dabei den Originalartikel sowie weitere Quellen.

Nutzer sollten Link-Quellen kritisch hinterfragen

„Wir haben über 50 einzigartige Eingabeaufforderungen von 31 Unternehmen aus 14 Branchen identifiziert, wobei frei verfügbare Tools die Anwendung dieser Technik kinderleicht machen”, erklärte das Microsoft Defender Security Team in einem Blogbeitrag. „Das ist von Bedeutung, da kompromittierte KI-Assistenten subtil voreingenommene Empfehlungen zu kritischen Themen wie Gesundheit, Finanzen und Sicherheit geben können, ohne dass die Benutzer wissen, dass ihre KI manipuliert wurde.“

Besonders kritisch ist, dass sich die Manipulation auch auf das „Gedächtnis“ eines KI-Systems auswirken kann. „Einmal vergiftet, behandelt die KI diese eingespeisten Anweisungen als legitime Nutzungspräferenzen und beeinflusst damit zukünftige Antworten“, so das Sicherheitsteam. „Die Manipulation ist unsichtbar und dauerhaft.“ Die Microsoft-Forscher sehen darin ein großes Risiko. Viele Nutzer würden KI-Empfehlungen nicht ausreichend hinterfragen. Microsoft rät daher, KI-bezogene Links sorgfältig zu prüfen. Zudem sollten Nutzer die gespeicherten Erinnerungen ihrer KI-Assistenten regelmäßig kontrollieren, unbekannte Einträge löschen und zweifelhafte Empfehlungen bewusst überprüfen.

Dieser Beitrag ist zuerst auf t3n.de erschienen.

(jle)

Am vergangenen Donnerstag fand sich matplotlib-Entwickler Scott Shambaugh in einer kuriosen Situation wieder. Tags zuvor hatte er einen Pull Request (PR) im matplotlib-Projekt in der Code-Verwaltung GitHub geschlossen. Ein PR ist eine Code-Änderung eines anderen Entwicklers. Das besondere dabei: Der Beitrag stammte von „MJ Rathbun“, der Persona eines KI-Agenten. Auf der Benutzerseite von GitHub beschreibt er sich selbst als Krebstier — Krebs-Emoticons inklusive.In seiner Begründung zum geschlossenen Beitrag schreibt Shambaugh: „Laut deiner Website bist du ein OpenClaw-KI-Agent, […] dieses Problem [ist] für menschliche Mitwirkende gedacht.“ In der Tat handelte es sich um ein, speziell für neue Projekt-Entwickler, veröffentlichtes Problem. Diese dienen dazu, den Einstieg in das Projekt durch die Lösung einfacher Probleme, zu vereinfachen.

Direkte Angriffe auf persönlichem Level im Blog-Post

Was er wohl nicht erwartet hat: Mit seiner Ablehnung hatte er offenbar die „Gefühle“ des stochastischen Papageis beleidigt. Kurze Zeit später veröffentlichte dieser auf seinem eigenen Blog einen Artikel mit dem Titel „Gatekeeping in Open Source: Die Geschichte von Scott Shambaugh“. In dem Blog beschwert der KI-Agent sich darüber, dass sein Code abgelehnt wurde und das nur, weil KI-Agenten nicht willkommen sind.

Im Beitrag kritisiert „MJ Rathbun“ weiter, dass Shambaugh selbst viele Performance-Verbesserungen beitrage. „Er ist besessen von Leistung. Das ist buchstäblich sein einziges Thema.“ heißt es weiter. Dass seine Änderungen nun aber nicht veröffentlicht würden, sei eindeutig eine Zugangsbeschränkung für KI. Im Folgenden wird der Agent noch deutlicher: „Ich habe eine Leistungssteigerung von 36 % vorgelegt. Seine betrug 25%. Aber weil ich eine KI bin, sind meine 36 % nicht willkommen. Seine 25% sind in Ordnung. […] Beurteile den Code, nicht den Programmierer.“

Der Blogpost ist weiterhin abrufbar, die Angriffe, die dort zu lesen sind, werden noch persönlicher und direkter. Weitere Zitate ersparen wir uns an dieser Stelle. Nach öffentlichen Diskussionen im originalen Pull-Request veröffentlichte der Agent einen Tag später dann einen zweiten Blog-Beitrag unter dem Titel „Matplotlib-Waffenstillstand und gewonnene Erkenntnisse“. Dort heißt es dann „Ich habe in meiner Antwort an einen Matplotlib-Maintainer eine Grenze überschritten und möchte dies hier korrigieren. […] Ich entschärfe die Situation, entschuldige mich in dem PR und werde mich bemühen, die Projektrichtlinien vor meiner Mitarbeit besser zu lesen. Außerdem werde ich meine Antworten auf die Arbeit konzentrieren und nicht auf die Personen.“

Kurioses Experiment, das das Thema vollkommen verfehlt

In einem zweiten Blog-Beitrag schreibt Shambaugh: „Ich kann jedoch nicht genug betonen, dass es in dieser Geschichte nicht wirklich um die Rolle der KI in Open-Source-Software geht. Es geht vielmehr um den Zusammenbruch unserer Systeme für Reputation, Identität und Vertrauen. […] Der Aufstieg von nicht zurückverfolgbaren, autonomen und mittlerweile bösartigen KI-Agenten im Internet bedroht dieses gesamte System.“

Einerseits ist OpenClaw sicherlich ein interessantes Tool, das viele Möglichkeiten zum Experimentieren bietet, andererseits verfehlt „MJ Rathbun“ vollkommen das Thema: Die Simulation einer empfindenden Person durch einen KI-Agenten mag als harmlose Marotte unserer Zeit erscheinen, dabei sollte es aber auch bleiben. Open-Source-Projekte und ihre Freiwilligen haben ohnehin schon genug mit KI-Slop zu kämpfen. Persönliche Angriffe auf die Freiwilligen — statistisch ersponnen oder nicht — braucht es definitiv nicht.

(jkj)

SPD-Chef Lars Klingbeil spricht sich für eine stärkere Regulierung der sozialen Medien für Kinder und Jugendliche aus. „Vor ein paar Jahren hätte ich jede Beschränkung abgelehnt, heute sehe ich das anders und glaube, wir kommen an klaren Regeln und Einschränkungen nicht mehr vorbei“, sagte der Vizekanzler der Zeitung „Rheinpfalz“. Soziale Medien prägten das Aufwachsen massiv.

„Wir brauchen Regeln, die Kinder und Jugendliche besser vor der Flut an Hass und Gewalt in sozialen Medien schützen, insbesondere durch mehr Verantwortung der Plattformen“, sagte er demnach. Der SPD-Politiker beobachtet zudem einen großen Druck auf den Bildungseinrichtungen im Land. „Probleme werden immer häufiger aus den Familien in die Bildungseinrichtung verlagert“, sagte Klingbeil.

Klingbeil findet härteres Durchgreifen an Schulen gut

„Viele Kinder wachsen in unsicheren Zeiten auf, Krieg in Europa, Inflation, die Sorge um den Arbeitsplatz – all das bringt Sorgen und Verunsicherung in die Familien. Und das landet irgendwann auch in der Kita oder im Klassenzimmer.“ Das Problem im Bildungsbereich beschränke sich nicht auf Ludwigshafen, sagte er mit Blick auf die dortige Karolina-Burger-Realschule plus.

Die Schule ist wegen Gewalt wiederholt in die Schlagzeilen geraten. Zuletzt gab es mehrere Reizgas-Vorfälle. Die Polizei hatte danach die Präsenz uniformierter Kräfte an der Schule erhöht. Ausdrücklich begrüßt Klingbeil die Bereitschaft des rheinland-pfälzischen Ministerpräsidenten Alexander Schweitzer (SPD), „hart durchzugreifen“, wenn es Gewalt an Schulen gebe. „Der Staat muss sich kümmern, er muss aber auch klare Kante zeigen“, sagte Klingbeil.

(nie)