Nvidia XR AI: KI-Agenten sollen auf AR-Brillen helfen

Mit Nvidia XR AI stellt der GPU-Hersteller eine Entwicklerbibliothek für KI-Agenten auf AR-Brillen und XR-Geräten als öffentliche Beta bereit. Sie soll Sensordaten, Unternehmenswissen, KI-Modelle und Werkzeuge zusammenführen, um kontextbezogene Assistenz in Echtzeit zu ermöglichen.

KI-Agenten für die Arbeit vor Ort

Nvidia beschreibt XR AI als Grundlage für Anwendungen, bei denen KI-Agenten nicht nur auf Texteingaben reagieren, sondern die Umgebung des Nutzers einbeziehen. Dafür können Daten aus Kameras, Mikrofonen, Tiefensensoren, Positionsdaten und weiteren Sensoren von AR– oder XR-Geräten verarbeitet werden.

Die Agenten sollen dadurch erfassen können, was der Nutzer gerade sieht oder hört, welche räumliche Situation vorliegt und welche Informationen aus Unternehmenssystemen relevant sein könnten. Ziel ist eine Assistenz, die bei praktischen Aufgaben unterstützt, ohne den Nutzer durch unnötige Einblendungen abzulenken.

Vier Bausteine für multimodale Assistenz

Die öffentliche Beta kombiniert laut Nvidia mehrere Funktionen. Dazu gehört die Aufnahme realer Signale aus AR- und XR-Geräten, etwa Video, Audio, Tiefeninformationen und Sensordaten. Hinzu kommt die Anbindung an spezialisierte Dienste und Werkzeuge, darunter Nvidia Metropolis für visuelle KI und Videoverständnis sowie Nvidia NeMo Retriever für die Suche in Unternehmenswissen.

XR AI soll außerdem verschiedene KI-Modelle unterstützen, darunter Nvidias Nemotron-Modelle und Cosmos Reason. Für die Steuerung von Agenten, die Nutzung von Werkzeugen und die Koordination mehrerer Agenten verweist Nvidia auf das NeMo Agent Toolkit. Als Rechenbasis nennt der Hersteller unter anderem DGX Spark, DGX Station und RTX-Pro-Systeme.

Beispiele aus Industrie, Forschung und Medizin

Als möglichen Einsatzbereich nennt Nvidia die Fertigung. Siemens untersucht demnach in einem Forschungskontext, wie XR AI zusammen mit DGX Spark Werksingenieure bei Wartungsinformationen, Fehlersuche, Arbeitsprüfung und Dokumentation unterstützen kann. Ein Ingenieur mit einer leichten Brille könnte beispielsweise Fragen zu einer speicherprogrammierbaren Steuerung stellen und direkt Hinweise erhalten.

In der Forschung setzt Rana, ein Unternehmen von AutoBio, sein LabOS-System auf Basis von Nvidia XR AI ein. Es soll Wissenschaftler bei komplexen Laborabläufen unterstützen, unter anderem bei Stammzelltherapie- und Gen-Editing-Forschung an Laboren der Stanford University School of Medicine und der Princeton University.

Auch im medizinischen Umfeld zeigt Nvidia ein Beispiel: Das Surreality Lab am University of Pittsburgh Medical Center demonstrierte ein System, das Operationsteams kontextbezogene Informationen liefern soll. Dabei soll das System berücksichtigen, welche Bereiche im Sichtfeld eines Chirurgen nicht verdeckt werden dürfen.

XR als Schnittstelle zu Unternehmenswissen

Weitere Beispiele betreffen Design, digitale Zwillinge und immersive Lernumgebungen. Innoactive nutzt laut Nvidia XR AI, um Informationen aus Design Reviews, Produktpräsentationen und digitalen Zwillingen besser erfassen und später wiederverwenden zu können. Atlantic Studios wiederum verwendet die Technik für eine interaktive Darstellung eines Scans der Titanic, bei der Nutzer per Sprache nach Punkten von Interesse fragen können.

Nvidia positioniert XR AI damit als Bindeglied zwischen AR-Brillen, Unternehmensdaten und KI-Agenten. Die öffentliche Beta richtet sich zunächst an Entwickler, die solche Anwendungen für Fabriken, Labore, Kliniken oder immersive Umgebungen erstellen wollen. Grundlage dafür sind Nvidias Softwarebibliotheken, KI-Modelle und beschleunigte Rechensysteme.