Robostral Navigate: Mistral veröffentlicht Einzelkamera-KI für die Roboter

Das französische KI-Unternehmen Mistral AI erweitert sein Portfolio um ein erstes Modell für die Navigation eines Roboters. Robostral Navigate ist ein Modell, das einen Roboter allein auf Basis einer einzelnen RGB-Kamera und einer Anweisung in natürlicher Sprache durch Innenräume und Außenbereiche steuern können soll. Das soll ganz ohne Lidar, Tiefensensoren oder Multi-Kamera-Setups funktionieren, die bei vielen anderen Roboter-Navigationssystemen zum Einsatz kommen.

Laut Mistrals Blogbeitrag zu Robostral Navigate erreicht das Modell auf dem Benchmark R2R-CE (Room-to-Room in Continuous Environments) eine Erfolgsrate von 76,6 Prozent, wenn die Umgebung unbekannt ist. Das seien 9,7 Prozentpunkte mehr als der beste bisherige Einzelkamera-Ansatz und 4,5 Prozentpunkte mehr als das beste System mit Tiefen- oder Mehrkamera-Setup. In bereits bekannten Umgebungen komme das Modell auf 79,4 Prozent. Embodied AI ist ein Bereich, der gerade von zahlreichen Stakeholdern intensivereforscht wird; wie zum Beispiel vom MIT, das gerade das räumliche Langzeitgedächtnis-Framework DAAAM entwickelt hat.

Um sich durch die Umgebung zu navigieren, wählt Robostral Navigate eine Technik namens Pointing, bei der es die Bildkoordinaten des Zielorts im aktuellen Kamerabild sowie die gewünschte Ausrichtung beim Ankommen vorhersagt. Ist das Ziel nicht im Sichtfeld, wechselt es zu lokalen Koordinatenverschiebungen – etwa „2 Meter vorwärts, 1,5 Meter nach links, 25 Grad links drehen“. Laut Mistral macht der Pointing-Ansatz das Modell robuster gegenüber Änderungen, zum Beispiel von den Kamera-Einstellungen.

Das Modell wurde laut Mistral vollständig selbst entwickelt und basiert nicht auf bestehenden Open-Source-VLMs. Die Grundlage bildet Mistrals eigenes Vision-Language-Modell, das auf Grounding-Aufgaben wie Objektlokalisierung und Zählen spezialisiert ist.

Training vollständig in Simulation

Die Trainingsdaten stammten laut Mistral vollständig aus simulierten Umgebungen und enthielten rund 400.000 Trajektorien aus 6000 Szenen. Eine auf Prefix-Caching basierende Trainingsmethode reduzierte die Zahl der benötigten Tokens wohl um den Faktor 22 und verkürzte Trainingsläufe von Monaten auf Tage. Nach dem überwachten Training kam CISPO (Clipped Importance Sampling Policy Optimization) zum Einsatz, ein Online-Reinforcement-Learning-Algorithmus, der die Erfolgsrate laut Mistral um weitere 3,2 Prozentpunkte verbesserte.

Vom Sprachmodell zum Robotik-Agenten

Robostral Navigate soll auf Rad-, Lauf- und Flugrobotern verschiedener Größe laufen. Als Einsatzfelder nennt Mistral unter anderem Fertigung, Lieferung und Logistik. Der Verzicht auf teure Sensorik wie Lidar könnte die Hardwarekosten und die Integrationskomplexität senken – allerdings muss sich der rein kamerabasierte Ansatz in realen, sicherheitskritischen Umgebungen erst behaupten.

Mistral selbst bezeichnet Robostral Navigate ausdrücklich als „nur den ersten Schritt hin zu einem einheitlichen Embodied Agent“. Das Unternehmen baut nach eigenen Angaben sein Robotik-Team aus – ein Signal für einen längerfristigen Einstieg in KI-Robotik.

Auch darüber hinaus erweitert Mistral seine Produktpalette. Zuletzt hatte das Unternehmen mit Leanstral 1.5 ein spezialisiertes Modell für formale mathematische Beweise veröffentlicht.

(rie)