Interface für die Welt: Forscher zeigen innovatives AR-Interaktionsmodell

AR-Brillen könnten eines Tages eine Bedienoberfläche für die Welt liefern: So ließe sich etwa vom Sofa aus das Licht ausknipsen, ein Buch im Regal markieren und als digitaler Text anzeigen oder der Saugroboter auswählen und gezielt in eine staubige Ecke schicken.

Die Frage ist, wie sich ein Interface dieser Art benutzerfreundlich gestalten ließe. Schließlich ist die Welt dreidimensional und deutlich komplexer aufgebaut als ein Computerdesktop oder Homescreen. Wie wählt man mühelos Gegenstände aus, die weit entfernt und daher im Sichtfeld winzig erscheinen, zwischen vielen anderen liegen oder teilweise von diesen verdeckt werden? Ob per Handzeig oder Blickfokus: diese Methoden sind fehleranfällig und nicht selten anstrengend.

Forscher der New York University, der University of Minnesota und Google schlagen nun einen ungewöhnlichen Ansatz für die Interaktion mit solchen Objekten vor: Ihr „Reality Proxy“ genanntes Interaktionsmodell blendet in Reichweite der Nutzer ein Interface ein, über das sich Objekte mithilfe digitaler Stellvertreter („Proxies“) derselben auswählen lassen. Dabei wird von individuellen Eigenschaften der Objekte wie Position, Größe und Entfernung abstrahiert, die eine Auswahl oder Manipulation erschweren würden. Mithilfe der eingeblendeten Stellvertreter können Anwender schnell von Objekt zu Objekt springen, mehrere Objekte gleichzeitig auswählen, diese gruppieren, nach Attributen filtern und mehr.

Mit Apple Vision Pro getestet

In einem Video zeigen die Forschenden teils ausgefallene Einsatzszenarien: von der Steuerung mehrerer Drohnen bis zu räumlichen Navigationshilfen für Gebäude.

Das System setzt voraus, dass die auswählbaren Objekte vorab von einer KI korrekt segmentiert und semantisch identifiziert werden. Das KI-Modell muss demnach einzelne Objekte voneinander trennen und sie logischen Gruppen (Lichtschalter, Buch, Saugroboter) zuordnen können. Eine Aufgabe, die für sich genommen bereits sehr anspruchsvoll sein kann.

Die Forschenden testeten Reality Proxy mit einer Apple Vision Pro. Prinzipiell könnte das System aber auch auf AR-Brillen zum Einsatz kommen und als Grundfunktion direkt im Betriebssystem implementiert werden.

Die Forschungsarbeit ist frei im Internet zugänglich.

(tobe)