Test von KI im Auto: Gemini soll Umgebung und Verkehrsschilder erklären

Google hat eine experimentelle Gemini-Funktion für Android Automotive demonstriert, mit der Gemini Fragen zur Umgebung außerhalb des Fahrzeugs beantworten kann. Hierfür greift die KI auf Befehl der Fahrerin oder des Fahrers temporär auf die Frontkamera des Fahrzeugs zu. Die neue Funktion hat Android-Ökosystem-Chef Sameer Samat im Rahmen der Google-Developer-Reihe „Release Notes“ mit Logan Kilpatrick, Produktleiter bei Google AI Studio, vorgeführt.

„Hey Google, was siehst du um uns herum?“

Für die Funktion hat Google einen Volvo EX60, der im Januar dieses Jahres vorgestellt wurde und noch nicht ausgeliefert wird, angepasst. Das Fahrzeug basiert softwareseitig auf Android Automotive und hat als KI-Assistenz Gemini an Bord. Um die Funktion zu starten, sagt man lediglich „Hey Google, was siehst du um uns herum?“. Der Befehl aktiviert die Frontkamera des Fahrzeugs, Gemini analysiert die Umgebung und erklärt, was zu sehen ist. Samat betont im Hinblick auf den Datenschutz, dass Gemini keinen ständigen Zugriff auf die Kamera habe. „Erst wenn man es aufruft und eine Frage stellt, liefern die Kameras für einen bestimmten Zeitraum diese Bilder an Gemini“, so der Google-Manager. Nach Beantwortung der Frage werde der Zugriff wieder beendet.

Im Video zeigt Google, dass man Gemini auch während der Fahrt nach Informationen etwa zu Gebäuden am Straßenrand und Orten fragen kann. Bei der Fahrt durch Mountain View, wo Googles Hauptquartier ist, fragte Samat etwa danach, um was für eine Skulptur es sich handle und was für ein Gebäude sich dahinter befinde, das auf der rechten Seite zu sehen sei. Gemini nannte dann nach einer gewissen Denkpause nicht nur den Namen der Skulptur, sondern auch, woraus sie besteht und weitere Hintergründe. Ebenso auskunftsfreudig zeigte Gemini sich bei dem Gebäude.

Die Funktionsweise dürfte manchen bekannt vorkommen, denn sie ähnelt dem Kameramodus von Gemini Live auf Android-Smartphones. Anstatt das Smartphone auf die Umgebung zu richten, nutzt Gemini letztlich die Kamera des Autos als Augen. „Wir wollten herausfinden, was möglich wäre, wenn Gemini – mit deiner Erlaubnis – die Welt so sehen könnte, wie du sie beim Fahren erlebst“, erklärte Samat während der Demo.

Gemini trifft BMW Natural Interaction

Google ist dabei nicht das erste Unternehmen, das die Außenkameras von Fahrzeugen mit KI kombiniert. So hatte BMW im Jahr 2019 sein Konzept BMW Natural Interaction präsentiert, mit dem sich Funktionen nicht nur per Gesten und Sprache im Fahrzeug steuern lassen, auch konkrete Fragen zu Dingen der Umwelt soll eine KI beantworten können. Bis heute hat der Konzern dies aber nicht in dieser Form umgesetzt. Ob Google seine experimentelle Funktion für Serienfahrzeuge anbieten wird, hat der Konzern noch nicht verraten.

Weiter sagte Samat, dass Google noch daran arbeite, den besten Weg zu finden, um diese Funktion in Fahrzeuge zu integrieren. Ferner prüfe der Konzern Möglichkeiten, wie sie sich im realen Straßenverkehr als nützlich erweisen könnte. Als Beispiel nannte er die Verwendung von Gemini, um während der Fahrt Verkehrsschilder in einer fremden Sprache zu übersetzen.

Einige KI-Funktionen für Android Automotive, die sich teilweise auch die Frontkamera zunutze machen sollen, hat Google im Zuge der I/O 2026 im Mai angekündigt. So könne Gemini künftig etwa Fragen beantworten, die speziell auf ein Fahrzeug zugeschnitten seien – beispielsweise die Identifizierung einer Kontrollleuchte auf dem Armaturenbrett oder, ob der Fernseher, den man abholen möchte, in den Kofferraum passe.

Ferner soll die immersive Navigation in Google Maps in kompatiblen Fahrzeugen mithilfe der Live-Spurführung präziser sein. Diese funktioniere vollständig im Fahrzeug und analysiere die Straße über die Frontkamera des Fahrzeugs. Die Live-Spurführung erkenne überdies, auf welcher Spur man sich befinde, und könne in Echtzeit Hinweise geben, wann man die Spur wechseln oder abfahren müsse. Diese Funktionen sollen im Laufe dieses Jahres freigegeben werden.

(afl)