Zum Greifen nah: KI-generierte 3D-Umgebungen in VR

Ein fiktives Schweizer Bergdorf vor eindrucksvoller Alpenkulisse, eine imposante Steampunk-Stadt mit spitzen Türmen, Bögen und prunkvollen Uhren, ein Wald voller fluoreszierender Riesenpilze: Die KI-generierten Umgebungen der WebXR-Anwendung „Lofi Worlds“ laden zum Verweilen und Träumen ein. Von realistisch über fantastisch und märchenhaft bis hin zu künstlerisch stilisiert: das Angebot an VR-Szenerien ist vielfältig. Sogar in Edward Hoppers berühmtes Gemälde „Nighthawks“ entführt die Anwendung, erweitert um Umgebungen, die über das Original hinausgehen.

Lofi Worlds ist eine Anwendung des KI-Start-ups World Labs und läuft auf autarken VR-Brillen wie Meta Quest 3 und Apple Vision Pro. Dank WebXR-Technologie reicht es, die entsprechende Webseite aufzurufen, um in die 3D-Umgebungen einzutauchen.

Als Rendertechnik kommt 3D Gaussian Splatting („3DGS“) zum Einsatz. Die 3D-Umgebungen bestehen also aus winzigen, räumlich angeordneten Farbklecksen, die sich im Gesamteindruck zu durchgehenden Landschaften fügen. Das verleiht manchen Szenen eine impressionistische Anmutung. Eine Neuheit von Lofi Worlds ist, dass sich die Splats dynamisch bewegen, um etwa den Eindruck von Blättern im Wind zu erzeugen. Auch auf Berührungen reagieren sie und beginnen sanft zu wogen, als wären sie lebendig.

Dynamische Gaussian Splats im Web und auf fast allen Geräten

Was beim ersten Mal sofort auffällt und die Erfahrung trübt, ist die vergleichsweise niedrige Auflösung und UndSchärfe. Zudem wird das freie Umhergehen bestraft: Wer sich weiter als ein paar Schritte bewegt und die Perspektive verändert, stößt schnell auf dunkle Leerräume in den Kleckshaufen, die die Illusion einer durchgehenden 3D-Welt zerstören.

Dennoch ist es bemerkenswert, dass Lofi Worlds auf autarken VR-Brillen wie Meta Quest 3 interaktive Gaussian Splats rendern kann. Die technische Grundlage der Anwendung bildet Spark, ein von World Labs entwickelter 3DGS-Renderer für Webanwendungen, der kürzlich als Open Source unter der MIT-Lizenz veröffentlicht wurde. Spark unterstützt die webbasierte 3D-Grafikengine Three.js und nutzt WebGL2 für das Rendering der Gaussian Splats, was eine breite Gerätekompatibilität sicherstellt. Lofi Worlds lässt sich somit auch auf Smartphones und Desktop-Computern ausprobieren. In Verbindung mit VR-Brillen übernimmt WebXR die stereoskopische Darstellung, also getrennte Bilder für jedes Auge, und ermöglicht Interaktion per Handtracking.

World Labs will KI mit „Spatial Intelligence“ ausstatten

World Labs ist ein US-Start-up und wurde unter anderem von der KI-Pionierin Fei-Fei Li gegründet. Die oft als „Godmother of AI“ bezeichnete Forscherin leitete seit 2006 die Entwicklung des Bilddatensatzes ImageNet, der einen Durchbruch im Bereich des maschinellen Sehens markierte. Den nächsten Entwicklungsschritt visueller KI sieht Fei-Fei Li in „räumlicher Intelligenz“, also der Fähigkeit, sich Räume vorzustellen und in ihnen mit Objekten zu interagieren. Das Start-up arbeitet an sogenannten großen Weltmodellen („Large World Models“), mit denen KIs die Welt wie Menschen als räumlich und physikalisch erfahrbar wahrnehmen sollen anstatt als zweidimensionale, statische Gegebenheit. Das Start-up sammelte bislang 230 Millionen US-Dollar an Investitionskapital ein.

Das Start-ups möchte eine generative KI entwickeln, die persistente, begehbare und geometrisch solide 3D-Umgebungen auf Basis von Textprompts oder einzelnen Bildern erzeugen kann. Im Dezember veröffentlichte World Labs erste Beispiele für KI-generierte 3D-Umgebungen, auf denen auch Lofi Worlds beruht. Testen kann man die Technologie allerdings noch nicht. Sundquist versichert, dass das Start-up daran arbeite, die KI-Modelle weiterzuentwickeln und genau diese Möglichkeit in Zukunft anzubieten.

Die möglichen Anwendungsfelder sind laut Sundquist vielfältig: Eine KI mit räumlicher Intelligenz könnte virtuelle Welten für Videospiele, Filmsets, YouTube-Hintergründe, Trainingsumgebungen für Roboter und nicht zuletzt für VR- und AR-Brillen generieren, also jene Geräte, die räumliche Inhalte am eindrucksvollsten erlebbar machen.

(tobe)