Connect with us

Entwicklung & Code

KubeCon EU 2026: Solo.io bringt Observability für KI-Agenten-Workflows


Solo.io hat im Rahmen der KubeCon EU 2026 mit agentevals ein Open-Source-Werkzeug vorgestellt, das die Qualität von KI-Agenten messbar machen soll. Aus dem Bereich der LLMs (Large Language Models) kennt man den Vergleich von Eingabe und Ausgabe. Doch dieser Ansatz genügt bei Agenten nicht, denn sie greifen auf weitere Werkzeuge, Informationssysteme oder sogar andere KI-Komponenten zurück. Wie gut und effektiv ist die Schleife von Aufrufen? Das umfasst die Daten, die hin- und herfließen, aber auch die Auswahl der externen Instanzen und deren Anzahl.

Weiterlesen nach der Anzeige


Logo der Konferenz Mastering Observabilkity 2026

Logo der Konferenz Mastering Observabilkity 2026

(Bild: AtemisDiana/Shutterstock)

Mehr zu Observability bietet die Online-Konferenz Mastering Observability von iX und dpunkt.verlag am 16. April 2026. Die Konferenz widmet sich unter anderem den Herausforderungen automatisierter Observability für KI- und agentenbasierte Systeme.

Für diese Auswertung macht sich agentevals bereits bekannte Methoden aus dem Machine Learning zunutze und verwendet vorhandene Telemetriedaten. Außerdem können Anwender eigene Metriken definieren und Schwellenwerte festlegen. Letzteres bezeichnet das Projekt als „Golden Eval Sets“.


Beispielhafte Auswertung von agentevals mit einer Liste von Evaluators

Beispielhafte Auswertung von agentevals mit einer Liste von Evaluators

Beispielhafte Auswertung von agentevals mit einer Liste von Evaluators

Damit lassen sich Agenten evaluieren, bevor sie in Produktion gehen. Tut die Software, was sie soll? Arbeitet sie kosteneffizient und mit den richtigen Mitteln? Agentenbasierte KI arbeitet konstruktionsbedingt nicht deterministisch – gleiche Eingaben können also unterschiedliche Ergebnisse liefern. Agentevals soll einen Teil dieser Vorhersagbarkeit wiederherstellen. Am einfachsten gelingt die Integration über OpenTelemetry, ein offenes Observability-Framework für verteilte Systeme. Hier lassen sich entsprechende Agenten ohne Codeänderung anweisen, ihre Telemetriedaten an die agentevals-Plattform zu schicken. Ebenso lassen sich historische Daten auswerten. Ein bereits entsprechend dokumentierter Agentenlauf lässt sich im Nachhinein mit agentevals inspizieren. Dafür bietet das Werkzeug eine webbasierte Oberfläche und einen Kommandozeilenzugang.

Zusammen mit agentevals hat Solo.io bereits vier Projekte im Bereich der KI-Agent-Infrastruktur veröffentlicht. Im Gespräch mit heise erklärte Keith Babo, Vice President, Product bei Solo.io, dass jedes Mal dieselbe Motivation dahinterstand. Die Frage lautete jeweils: Welche Lücke im Ökosystem der KI-Agenten muss dringend geschlossen werden? Den Anfang machte kagent. Das Framework ermöglicht es, KI-Agenten nativ in Kubernetes – der weitverbreiteten Container-Orchestrierungsplattform – zu betreiben. Danach folgte agentgateway, eine Data Plane – also die Komponente, die den eigentlichen Datenverkehr verarbeitet – für KI-Agenten beziehungsweise deren Plattform. Sie unterstützt unter anderem die Protokolle MCP (Model Context Protocol) und A2A (Agent-to-Agent). Mit agentregistry lassen sich KI-Artefakte zentral verwalten und auditieren.

Weiterlesen nach der Anzeige

Auf der KubeCon EU 2026 in Amsterdam übergab Solo.io agentregistry an die CNCF (Cloud Native Computing Foundation) und findet dort mit kagent sogar schon einen Bekannten; agentgateway liegt bei der Linux Foundation. Offen ist, welcher Foundation agentevals zugeordnet wird – und welche Lücke Solo.io als Nächstes schließen will.

Keith Sabo vermutet, dass im nächsten Schritt MCP und dessen breiterer Einsatz in den Fokus rücken. Konkret: Wie lassen sich bestehende REST-APIs in die Welt von KI und Model Context Protocol überführen? Eine 1:1-Abbildung funktioniert dabei nicht. Alles von Grund auf neu zu entwickeln, ist aber oft ebenfalls keine Option. Es bleibt abzuwarten, ob Solo.io dieses Thema als Nächstes angeht.


(map)



Source link

Entwicklung & Code

Deutschland-Stack: Mit über 50 offenen Standards zur souveränen Verwaltung


Wer in Deutschland eine Verwaltungsleistung digital nutzen will, stößt schnell auf ein Grundproblem: 16 Bundesländer, hunderte Kommunen und der Bund betreiben jeweils eigene IT-Systeme, die oft nicht miteinander sprechen können. Unterschiedliche Formate, proprietäre Schnittstellen, gewachsene Insellösungen – die technische Fragmentierung der deutschen Verwaltung ist einer der Hauptgründe dafür, dass die Digitalisierung des Staates seit Jahren stockt.

Weiterlesen nach der Anzeige

Der IT-Planungsrat – das zentrale politische Steuerungsgremium für die Verwaltungsdigitalisierung von Bund und Ländern – hat nun einen Versuch unternommen, dieses Problem grundsätzlich anzugehen. Mit B-2026/03-IT hat der IT-Planungsrat für den Deutschland-Stack einen verbindlichen Standardrahmen beschlossen. Bund, Länder und Kommunen sollen die Stack-Lösungen bei Neu- und Weiterentwicklungen gemäß Portfolio nutzen.

Das Papier, vorgelegt vom Bundesministerium für Digitales und Staatsmodernisierung, gliedert die gesamte IT-Architektur der Verwaltung in sieben Schichten – von der virtualisierten Infrastruktur ganz unten bis zur künstlichen Intelligenz ganz oben. Für jede Schicht benennt es konkrete Standards, die als souverän gelten sollen: also offen, herstellerunabhängig und interoperabel. Gleichzeitig listet es in jeder Schicht explizit auf, wo noch Festlegungsbedarf bestehen – hier fehlen also Standards.

Im Ergebnis ist das Dokument in seiner Breite und seinem Detailgrad ungewöhnlich konkret für die sonst eher vorsichtige Standardisierungspolitik der deutschen Verwaltung. Es reicht von Dateiformaten wie ODF über Cloud-Standards wie OpenStack und Sovereign Cloud Stack bis hin zu KI-Agenten-Protokollen, die teils erst wenige Monate alt sind.

Den Kern des Stacks bildet die Schicht semantische Technologien, die den Umgang mit Daten und Dokumenten regelt. Hier finden sich die meisten Standards und einige bemerkenswerte Entscheidungen.

Bei den Dokumentenformaten setzt der IT-Planungsrat auf das Open Document Format (ODF), den offenen ISO-Standard für Textdokumente, Tabellen und Präsentationen. ODF wird nativ zum Beispiel von LibreOffice unterstützt und gilt seit Jahren als wichtigster Hebel gegen die Abhängigkeit von Microsoft Office. Dass ODF im Stack steht, ist keine Überraschung: Der IT-Planungsrat hatte bereits im März 2025 beschlossen, dass offene Formate wie ODF in der Verwaltung zunehmend verwendet und bis 2027 zum Standard für den Dokumentenaustausch werden sollen.

Auffällig ist die Wahl von PDF/UA statt PDF/A. PDF/UA ist der ISO-Standard 14289 für barrierefreie PDFs. Dass der Stack dieses Format nennt, passt zum regulatorischen Umfeld: Das BFSG setzt den European Accessibility Act um und ist grundsätzlich seit dem 28. Juni 2025 anzuwenden. Barrierefreiheit hat also Vorrang vor reiner Archivierungsfähigkeit.

Weiterlesen nach der Anzeige

Für den Datenaustausch setzt der Stack auf bewährte Web-Standards: JSON, XML und CSV als Formate, ergänzt um SQL sowie die offenen Datenbankschnittstellen ODBC und JDBC für herstellerunabhängigen Datenbankzugriff. Für die semantische Vernetzung von Daten kommen die W3C-Standards RDF, OWL, SPARQL, SKOS und DCAT zum Einsatz – das klassische Instrumentarium des Semantic Web, das unter anderem die Grundlage für das Open-Data-Portal GovData bildet. Das OAI-PMH-Protokoll ergänzt den Katalog für den Metadatenaustausch zwischen Archiven und Repositorien.

Was allerdings auffällt: Für modernere Formen der Datenhaltung – Vektordatenbanken, Graphdatenbanken, dokumenten- und objektorientierte Systeme – gibt es noch keine Festlegungen. Ebenso fehlen Standards für Datenmodellierung, -integration, -auswertung und -visualisierung sowie für harmonisierte Fachdatenräume. Gerade letztere wären entscheidend, um den Datenaustausch – beispielsweise von Personendaten – zwischen Fachverfahren verschiedener Behörden zu standardisieren.



Source link

Weiterlesen

Entwicklung & Code

software-architektur.tv: Wie unabhängig ist dein Service wirklich?


Der fachliche Schnitt eines Systems entscheidet darüber, ob es langfristig änderbar bleibt. Doch wie findet man einen sinnvollen Schnitt, ohne sich direkt in die Komplexität von Domain-Driven Design zu stürzen?

Weiterlesen nach der Anzeige

In dieser Episode von software-architektur.tv wirft Eberhard Wolff einen Blick auf die Independent Service Heuristics (ISH) aus dem Team-Topologies-Umfeld. Sie liefern einfache, aber wirkungsvolle Fragen, um zu beurteilen, ob ein „Ding“ als eigenständiger Service funktionieren kann.

Eberhard Wolff erörtert, wie diese Heuristiken helfen, Domänengrenzen greifbarer zu machen, warum sie besonders gut mit Business-Expertinnen und -Experten funktionieren und wo ihre Grenzen liegen. Am Ende steht ein pragmatischer Ansatz für alle, die bessere Services schneiden wollen – ohne sich in Abstraktionen zu verlieren.

Die Ausstrahlung findet am Freitag, 27. März 2026, live ab 13 Uhr statt. Die Folge steht im Anschluss als Aufzeichnung bereit. Während des Livestreams können Interessierte Fragen via Twitch-Chat, YouTube-Chat oder anonym über das Formular auf der Videocast-Seite einbringen.

software-architektur.tv ist ein Videocast von Eberhard Wolff, iX-Blogger und bekannter Softwarearchitekt, der als Head of Architecture bei SWAGLab arbeitet. Zum Team gehören außerdem Lisa Maria Schäfer (Socreatory) und Ralf D. Müller (DB Systel). Seit Juni 2020 sind über 250 Folgen entstanden, die unterschiedliche Bereiche der Softwarearchitektur beleuchten – mal mit Gästen, mal Wolff, Schäfer oder Müller solo. Seit mittlerweile mehr als zwei Jahren berichtet heise Developer über die Episoden.

Weiterlesen nach der Anzeige


(map)



Source link

Weiterlesen

Entwicklung & Code

KubeCon EU 2026: Kubernetes wird weiter als Infrastruktur für KI optimiert


Auf der KubeCon und CloudNativeCon Europe 2026 in Amsterdam spielte Infrastruktur für KI wie auch letztes Jahr eine zentrale Rolle. Ein Großteil von Trainings- und Inferenz-Workloads laufen auf Beschleunigern von Nvidia. Jetzt stellt das Unternehmen den Dynamic-Resource-Allocation-Treiber (DRA) für seine GPUs unter die Schirmherrschaft der CNCF (Cloud Native Computing Foundation). Mit dem Treiber kann Kubernetes flexibel GPU-Ressourcen anfragen und umverteilen, mittels NVLink über eine Vielzahl von Kubernetes-Nodes, auf denen DRA aktiviert ist.

Weiterlesen nach der Anzeige

Flankiert wird der DRA-Treiber von einem neuen Open-Source-Werkzeug namens AI Cluster Runtime (AICR), das reproduzierbar GPU-beschleunigte Kubernetes-Cluster hochzieht. Es erstellt Snapshots und schreibt die Kombination aus Treiber, Kubernetes-Operator, Kernel und Systemkonfiguration in sogenannte Rezepte, die später von einem Paketmanager wie Helm oder einem GitOps-Werkzeug wie Argo CD genutzt und gegen die AI-Conformance-Anforderungen der CNCF validieren.

Das AI-Conformance-Programm der CNCF baut auf dem Kubernetes-Conformance-Programm auf. Die Zahl der Plattformen, die sich „certified AI Platform“ nennen dürfen, hat sich seit dem Start im November von 18 auf 31 nahezu verdoppelt. Neu dazu gekommen sind unter anderem OVHcloud, SpectroCloud, JD Cloud und China Unicom Cloud.

Eines der neuen CNCF-Projekte ist llm-d, das im Mai 2025 von Red Hat, Google Cloud, IBM, CoreWeave und Nvidia ins Leben gerufen wurde. Bisherige Methoden in Kubernetes für Routing, Autoscaling und Cache sind nicht unbedingt für Inferenz geeignet, weil es sich um einen höchst variablen und gleichzeitig Zustands-behafteten Workload handelt.



(Bild: CNCF)

Das Projekt orchestriert Kubernetes-Cluster und nutzt die Inferenz-Erweiterung für das Kubernetes Gateway API (GAIE). Die Verarbeitung von Prompts und Token-Generierung wird auf verschiedene Pods aufgeteilt, die unabhängig voneinander skaliert werden können. Außerdem verwaltet es den State und kümmert sich um Prefix-Caching. Dabei ist llm-d komplett Hardware-agnostisch und arbeitet mit CPUs, GPUs und TPUs verschiedener Hersteller. Inferenz-Optimierung mit llm-d soll die Time to First Token (TTFT) deutlich verringern und den Token-Durchsatz steigern.

Weiterlesen nach der Anzeige

CNCF-Projekte werden je nach Reifegrad den Kategorien Sandbox, Incubating und Graduation zugeordnet. Die Policy Engine Kyverno hat den höchsten Reifegrad erreicht und ist jetzt ein graduiertes Projekt.

Neben llm-d ist auch das Agones-Projekt ein Neuzugang in der Sandbox-Kategorie. Die Plattform zur Orchestrierung von Gameservern wurde 2017 von Ubisoft und Google ins Leben gerufen und jetzt an die CNCF übergeben.

Man hätte meinen können, dass das CNCF-Event in Europa Open Source als Schlüssel zu Digitaler Souveränität mehr in den Fokus rückt. Man betonte jedoch lediglich, dass Code global verfügbar ist und weiter verfügbar bleiben muss. Gesetzesvorgaben und Compliance-Vorschriften seien auf Deployment- und Plattformebene zu lösen. Das Thema Souveränität wurde größtenteils in den Open Sovereign Cloud Day ausgelagert.

c’t Open Source Spotlight abonnieren

Innovative Software, spannende Projekte: Erweitern Sie Ihre Möglichkeiten und werden Sie Teil der Open Source Community.

E-Mail-Adresse

Ausführliche Informationen zum Versandverfahren und zu Ihren Widerrufsmöglichkeiten erhalten Sie in unserer Datenschutzerklärung.

Mit etwa 13.000 Teilnehmenden aus 100 Ländern und einem umfangreichen Programm aus 900 Sessions war die Konferenz bislang die größte KubeCon und CloudNativeCon.


(ndi)



Source link

Weiterlesen

Beliebt