Robostral Navigate von Mistral: Neues KI-Modell steu­ert Ro­boter mit nur einer RGB-Ka­mera

Mit Robostral Navigate stellt Mistral sein erstes KI-Modell für die autonome Roboternavigation vor. Die Besonderheit: Das System soll sich ausschließlich mithilfe einer einzelnen RGB-Kamera, ohne zusätzliche Sensoren und mit natürlichen Sprachbefehlen selbstständig durch komplexe Umgebungen bewegen können.

Mit nur einem Auge besser

Laut Mistral wurde Robostral Navigate speziell für die autonome Navigation entwickelt und benötigt lediglich eine einzelne RGB-Kamera, um einen Roboter anhand sprachlicher Anweisungen selbstständig durch Innen- und Außenbereiche zu führen. Im Gegensatz zu vielen bisherigen Lösungen verzichtet das Unternehmen vollständig auf Tiefenkameras, LiDAR (Light Detection and Ranging) zur optischen Abstands- und Geschwindigkeitsmessung sowie weitere Mehrkamerasysteme und Sensoren. Dennoch soll das neue KI-Modell auf dem R2R-CE-Benchmark zur Navigation anhand natürlicher Sprachbefehle eine Erfolgsquote von 79,4 Prozent in bekannten sowie 76,6 Prozent in bislang unbekannten Testumgebungen erreichen.

Damit würde Robostral Navigate bisherige Systeme, die ebenfalls ausschließlich mit einer einzelnen Kamera arbeiten, in diesem Benchmark um nahezu zehn Prozentpunkte übertreffen. Selbst Lösungen mit Tiefensensoren und zusätzlichen Kameras sollen noch um 4,5 Prozentpunkte übertroffen werden. Das Modell kombiniert dabei eine zeigerbasierte Navigation mit Reinforcement Learning zur kontinuierlichen Verbesserung und soll damit laut Hersteller den Weg für eine einheitliche, verkörperte KI in der Robotik ebnen.

Das Modell basiert auf einer Architektur mit acht Milliarden Parametern und stellt eine vollständige Eigenentwicklung von Mistral dar. Grundlage ist laut Unternehmensangaben ein ebenfalls eigenes Vision-Language-Modell, das ursprünglich für Aufgaben wie Objekterkennung, Lokalisierung, Zählen und räumliche Zuordnung entwickelt wurde. Auf dieser Basis lernt das System während des Einsatzes kontinuierlich hinzu und entwickelt fortlaufend verfeinerte Navigationsstrategien. Über das Zeigerprinzip werden Bildkoordinaten innerhalb der aktuellen Kameraperspektive bestimmt, auf die sich der Roboter einschließlich der gewünschten Ausrichtung am Zielpunkt zubewegen soll.

Dadurch soll das System unempfindlicher gegenüber unterschiedlichen Kamerakalibrierungen sein und sich auch auf verschiedenen Robotertypen einsetzen lassen. Befindet sich das Ziel außerhalb des aktuellen Sichtfelds, wechselt das Modell automatisch auf Bewegungsanweisungen im lokalen Koordinatensystem, etwa in Form konkreter Richtungs- und Drehbefehle.

Durch hohe Optimierungen besonders effektiv

Auf Grundlage dieses Ansatzes entstand in einer vollständig simulierten Trainingsumgebung ein Datensatz mit rund 400.000 Navigationsverläufen aus etwa 6.000 unterschiedlichen Szenarien, eine Trainingsmethode auf Basis von Prefix-Caching reduzierte dabei den Rechenaufwand erheblich. Mithilfe einer baumbasierten Attention-Maskierung kann das System zudem komplette Navigationssequenzen in einem einzigen Trainingsdurchlauf verarbeiten. Nach Unternehmensangaben ließ sich dadurch die Anzahl der benötigten Trainings-Token um den Faktor 22 reduzieren, wodurch sich Trainingszeiten von mehreren Monaten auf nur noch wenige Tage verkürzen lassen.

Gleichzeitig wurde dem System mithilfe des unternehmenseigenen Algorithmus CISPO beigebracht, aus Fehlern zu lernen und diese eigenständig zu korrigieren. Dadurch sollen Roboter in die Lage versetzt werden, unbekannte Situationen zu bewältigen und neue Strategien für künftige Navigationen zu entwickeln. Laut Mistral stieg die Erfolgsquote allein durch diesen Trainingsschritt um weitere 3,2 Prozentpunkte.

Vielseitig einsetzbar

Robostral Navigate soll auf einer Vielzahl unterschiedlicher Robotersysteme eingesetzt werden können. Dazu zählen fahrende, laufende und sogar fliegende Plattformen. Laut Mistral soll sich das Modell auch in realen Umgebungen mit Personen und Hindernissen zurechtfinden, obwohl diese während des Trainings nicht Bestandteil der Simulation waren. Als mögliche Einsatzgebiete nennt das Unternehmen Büros, Wohngebäude, Industrieanlagen und Außenbereiche. Insbesondere Anwendungen in der Fertigung, der Logistik, bei Lieferdiensten sowie in der Hotellerie hebt der Hersteller dabei hervor.