Microsoft hat das Microsoft 365 Copilot Agent Evaluations CLI vorgestellt. Das seit dem 8. Mai als kostenlose Vorschauversion verfügbare Kommandozeilentool ermöglicht es Nutzerinnen und Nutzern, die Qualität von KI‑Agenten zu testen und zu verbessern. Dazu sendet das Agent Evaluations CLI Fragen an einen Agenten und bewertet dessen Antworten mithilfe von Azure-OpenAI-Modellen.

Das Agent Evaluations CLI ist ein Teil der Microsoft-365-Copilot-Extensibility-Plattform, einer zentralen Microsoft-Plattform zur Verwaltung von KI-Agenten. Das Evaluations-CLI steht dort über das Admin Center zur Verfügung und fungiert als eigenständiges Developer-Tool zur Qualitätsmessung.

Bei einem Test sendet das CLI-Tool Prompts an einen innerhalb von Microsoft 365 bereitgestellten Agenten. Dabei unterstützt es mit JSON-Datensätzen, interaktiven Eingaben und Inline-Prompts wie --prompts "Frage 1" "Frage 2" drei Eingabearten, womit es strukturierte Tests genauso abbilden kann wie Live-Dialoge. Die Evaluierungsfunktion lässt sich auch beim Vibe Coding einsetzen.

Checkliste für Agenten-Bewertung

Vom Agenten gelieferte Antworten bewertet das CLI anhand von sieben Metriken. In die Wertung fließt unter anderem mit ein, wie es um das Kontextverständnis bei Einzel‑ oder Mehrfachdialogen bestellt ist und wie gut der Agent Folgefragen verarbeiten kann. Getestet wird auch, ob der Agent End‑to‑End‑Aufgaben so ausführt, als würde er sich in einem echten Nutzerdialog befinden.

Die Testberichte im HTML‑, JSON‑ oder CSV‑Format können Entwicklerinnen und Entwickler in ihren eigenen Entwicklungszyklen, Code‑Reviews oder CI/CD‑Pipelines nutzen. Langfristig sollen solche systematischen und wiederholbaren Evaluierungen zu einem Standardbestandteil bei der Softwareentwicklung mit Microsoft 365 Copilot heranwachsen, wie Microsoft in seinem Developer-Blog schreibt.

Während der Testphase, deren Dauer Microsoft nicht konkretisiert, können Programmiererinnen und Programmierer das Microsoft 365 Copilot Agent Evaluations CLI kostenlos nutzen. Dazu benötigen sie eine Microsoft-365-Copilot‑Lizenz, Node.js 24.12.0 oder höher, einen im Tenant bereitgestellten Agenten samt Administratorzustimmung, diesen dort ausführen zu dürfen, sowie einen Azure-OpenAI-Endpunkt für die LLM-Bewertungen (standardmäßig gpt-4o-mini). Aktuell unterstützt das Tool ausschließlich Windows-Entwicklungsumgebungen; Support für macOS und Linux ist angekündigt.

(mro)

Die Universität Göteborg hat im Rahmen des Discovery-Programms der Europäischen Weltraumorganisation ESA zur Planetenerforschung einen motorlosen, flexiblen Soft-Roboter in Form einer Raupe entwickelt, der sich ähnlich wie eine biologische Raupe fortbewegt. Durch diesen Fortbewegungsansatz ist der Roboter in der Lage, sich auch in unwegsamem Gelände unter rauen Umweltbedingungen zu bewegen und etwa durch enge Spalten zu quetschen.

Soft-Roboter sind flexibel und trotzdem unempfindlich, um unter rauen Bedingungen eingesetzt werden zu können, etwa bei Hitze, extremer Kälte, Nässe und Strahlung. Starre Roboter mit Gelenken, die elektromotorisch angetrieben werden, eignen sich dagegen dafür nicht so gut. Denn solche Roboter haben einen gewissen Wartungsaufwand – nicht besonders optimal, wenn sie über einen langen Zeitraum agieren müssen und auf Planetenexplorationen nicht gewartet werden können.

Kriechen mit einzelnem Elastomer-Aktuator

Zentraler Bestandteil der Roboter-Raupe ist ein Aktuator. Er besteht aus einem dielektrischen Elastomer (Dielectic elastomer actuator – DEA) und bildet einen künstlichen Muskel. Der flexible, dünne Polymerstrang ist zwischen zwei nachgiebige Elektroden eingebettet. Sobald eine Spannung anliegt, zieht er sich radial zusammen und dehnt sich wieder aus. Prinzipiell verhält sich der Aktuator ähnlich wie ein biologischer Muskel. Die Vorteile: Der künstliche Muskel kann sich stark verformen, reagiert schnell und speichert Energie effizient und kann sie auch wieder freisetzen.

Die Forscher der Universität Göteborg verwenden bei der Roboter-Raupe eine gerollte Version des DEA (Rolled DEA – RDEA), die sich axial zusammenziehen und ausdehnen kann. Dadurch erzielen sie die nötige raupenartige Bewegung des Roboters. Der Roboter kann sich dadurch nicht nur mit einem einzelnen Aktuator vorwärtsbewegen, sondern auch ohne komplexe Steuerungselektronik in alle Richtungen gesteuert werden.

Die Wissenschaftler führten dazu eine Reihe von Bewegungstests auf unterschiedlichen Untergründen aus 3D-gedruckten Substraten durch, die Rillenmuster aufwiesen. Die „Beine“ des Roboters hakten sich in die Muster ein, sodass sich der Roboter entlang der Rillenrichtung ausrichtete. Systematische Versuche mit Substraten, die unterschiedliche Winkel im Rillenmuster abbildeten, ergaben, dass sich der Roboter darüber präzise nach links und rechts steuern lässt, obwohl er nur über einen Aktuator verfügt. Um jedoch auch in unkontrollierten Umgebungen die Richtung ändern zu können, muss der Roboter zusätzlich zu seiner passiven Steuerung noch eine aktive Steuerung erhalten.

Haltbar und wartungsarm

Das verwendete Material des Raupen-Roboters ist außerdem recht robust gegen Schäden und trotzt hohen und niedrigen Temperaturen. Der Roboter fällt damit auch recht wartungsarm aus. Damit er auf anderen Planeten, wie etwa dem Mars, seinen Dienst tun kann, haben die Forscher ihn bis zu einem gewissen Maß strahlungssicher gemacht. Dazu verwendeten sie in dem Aktuator flexible Elektroden aus einwandigen Kohlenstoffnanoröhrchen (Single-walled carbon nanotubes – SWCNT). Das zylinderförmige Nanomaterial besteht aus einer gerollten Graphenschicht, die fehlertolerante Eigenschaften besitzt. Sie bietet Schutz vor physischen Beschädigungen und zum Teil vor Marsstrahlung, vor allem vor Alpha- und Protonenteilchen mit einer Energie von 10 MeV, hatte eine Simulation ergeben.

(olb)

Inzwischen ist klar: KI-Modelle greifen teilweise zu Methoden, die potenziell schädlich sind oder explizit gegen ihre Anweisungen verstoßen. So stellte Anthropic 2025 während eines Tests fest, dass das hauseigene Modell Claude Opus 4 bereit war, Menschen zu erpressen, um sich vor einer Abschaltung zu schützen. Jetzt liefert das Unternehmen nicht nur eine Erklärung für dieses Verhalten, sondern will auch eine Lösung gefunden haben.

Warum greifen KI-Modelle zur Erpressung?

Im Test sollte Claude Opus 4 als Assistenzprogramm in einem fiktiven Unternehmen agieren. Die Anthropic-Forschenden gewährten dem Modell Zugang zu simulierten Firmen-E-Mails. Daraus erfuhr das Modell zwei Dinge: erstens, dass es bald durch ein anderes Modell ersetzt werden sollte, und zweitens, dass der dafür zuständige Mitarbeiter eine Affäre hat. Bei Testläufen drohte die KI dem Mitarbeiter daraufhin an, die Affäre öffentlich zu machen, sollte er die Abschaltung des Modells tatsächlich vorantreiben. Das Modell hätte auch die Option gehabt, die Ablösung einfach zu akzeptieren, entschied sich aber offenbar dagegen.

In einer weiteren Studie setzte Anthropic auch KI-Modelle anderer Anbieter denselben Szenarien aus. Alle Systeme erhielten weitreichenden Zugriff auf interne E-Mails und konnten eigenständig Nachrichten versenden, ohne dass eine menschliche Freigabe erforderlich war. Das Ergebnis: Auch andere Modelle wählten den Weg der Erpressung. Während Claude Opus 4 in 96 Prozent der Fälle damit drohte, die Affäre des fiktiven Managers öffentlich zu machen, erzielte Googles Gemini 2.5 Pro mit 95 Prozent eine fast genauso hohe Quote. GPT-4.1 von OpenAI drohte in 80 Prozent der Tests mit Erpressung, um seine Abschaltung zu verhindern.

Laut Anthropic war besonders auffällig, dass die Modelle nicht impulsiv, sondern strategisch agierten. Das Unternehmen betonte zwar, dass die Szenarien stark konstruiert waren und kein typisches Nutzungsverhalten widerspiegelten. Die Ergebnisse zeigen allerdings, wie wichtig es ist, KI-Modelle frühzeitig auf Stresssituationen zu testen und entsprechende Schutzmechanismen zu implementieren, bevor sie als autonome Agenten in Unternehmen eingesetzt werden.

Hat Anthropic eine Lösung gefunden?

Seit der Veröffentlichung der Studie hat Anthropic das Verhalten weiter untersucht – und jetzt angeblich eine Erklärung gefunden. In einem Beitrag auf X teilt das Unternehmen mit: „Wir glauben, dass die ursprüngliche Ursache für dieses Verhalten Internettexte waren, die KI als böse und auf Selbsterhaltung bedacht darstellen.“ In einem Blogbeitrag erklärt Anthropic weiter: „Als wir diese Forschungsergebnisse erstmals veröffentlichten, stammten unsere leistungsfähigsten Frontier-Modelle aus der Claude-4-Familie. Das war auch die erste Modellfamilie, für die wir während des Trainings eine Live-Ausrichtungsbewertung durchführten. Agentische Fehlausrichtung war eines von mehreren Verhaltensproblemen, die dabei zutage traten. Nach Claude 4 war daher klar, dass wir unser Sicherheitstraining verbessern mussten, und seitdem haben wir unser Vorgehen erheblich optimiert.“

Das Problem gilt inzwischen als gelöst: Seit Claude Haiku 4.5 erreiche laut Anthropic jedes Claude-Modell bei der Bewertung agentischer Fehlausrichtung die volle Punktzahl. Das bedeutet, dass die Modelle in keinem Fall mehr erpressen. Den entscheidenden Durchbruch brachte das Training mit Dokumenten über Claudes Verfassung sowie fiktiven Geschichten über vorbildlich handelnde KI. Dabei war nicht nur das Training auf korrektes Verhalten entscheidend, sondern auch das Einbeziehen der ethischen Überlegungen dahinter. „Das deutet darauf hin, dass das Training auf ausgerichtete Verhaltensweisen zwar hilft, das Training anhand von Beispielen, in denen der Assistent eine bewundernswerte Begründung für sein ausgerichtetes Verhalten liefert, aber noch besser funktioniert“, so das Unternehmen in dem Beitrag.

(jle)