Google stellt mit Genie 4 ein neues Weltmodell für interaktive Echtzeit-Simulationen vor. Szenen lassen sich per natürlicher Sprache steuern und verändern, während das Modell Umgebungsgeräusche, Musik und Dialoge selbst erzeugt. Gemini-Modelle sollen dabei Realismus, Kohärenz und Kontinuität gewährleisten.

Virtuelle Welten wie in Wirklichkeit

Genie 4 beschränkt sich dabei nicht darauf, Ereignisse darzustellen, sondern simuliert auch deren weiteren Verlauf. Das Modell berechnet, wie eine Umgebung auf Veränderungen reagiert, wie sie klingt und wie sich Personen darin bewegen, sich verhalten und äußern. Technisch fließen dafür Fähigkeiten verschiedener Modelle der Gemini-Familie ein: So soll Gemini Omni unter anderem Aussehen und Verhalten der simulierten Welten an der Realität ausrichten und damit deren Authentizität erhöhen. Bei komplexeren Abläufen arbeitet Genie 4 enger mit Gemini zusammen. Als steuernder Agent beobachtet beispielsweise Gemini 3.8 Flash die Szene fortlaufend, unterteilt Ziele in einzelne Schritte und kontrolliert anhand eingehender Bilder, ob diese erfolgreich ausgeführt wurden. Ändert sich die Situation oder erfolgt ein Eingriff, wird der Plan unmittelbar angepasst. Auf diese Weise sollen verlässliche Kausalität, prozedurale Verhaltensweisen und mehrstufiges Schlussfolgern ermöglicht werden.

Noch weiter führt Google den Ansatz in Experimenten mit Gemini 4 Argon fort. Das Modell zerlegt Aufgaben in einzelne Schritte und übermittelt diese während der Generierung als Textanweisungen an Genie 4, sodass sich die laufende Simulation auf ein bestimmtes Ziel ausrichten lässt. In Verbindung mit Gemini Robotics erprobt Google außerdem, unterschiedliche Szenarien zunächst innerhalb simulierter Welten durchzuspielen. Andere Gemini-Modelle übernehmen darüber hinaus komplexe Schlussfolgerungen, um Kohärenz und Kontinuität während einer laufenden Simulation zu erhalten. Zusammengenommen soll dies den Realismus der Ergebnisse steigern. Bei physikalischen Vorgängen will Genie 4 unter anderem Aerodynamik und Kollisionen realitätsnah simulieren. Den größten Fortschritt sieht Google allerdings bei der Darstellung von Menschen: Charaktere sollen sich natürlich bewegen, organisch auf ihre Umgebung reagieren und zugleich in Echtzeit steuerbar bleiben.

Ergebnisse lassen sich bei der Entstehung verändern

Eine Simulation bleibt zudem nicht auf die vorab festgelegte Ausgangssituation beschränkt. Auch während sie läuft, können Nutzer per natürlicher Sprache beispielsweise Wetterbedingungen und Kamerabewegungen verändern oder weitere Personen und Objekte hinzufügen. Gemini integriert solche Anweisungen in die bereits bestehende Szene und überwacht deren Entwicklung auch zwischen den Eingaben, damit die simulierte Welt zusammenhängend fortgeführt wird.

Auch der Ton wird passend erzeugt

Genie 4 generiert parallel zum visuellen Geschehen auch unmittelbar die passende Tonkulisse der simulierten Welt. Neben Umgebungsgeräuschen wie Wind oder brechenden Wellen gehören dazu Musik und interaktive Dialoge. Figuren können miteinander sprechen und sowohl ihre Äußerungen als auch ihre Reaktionen unmittelbar an Eingaben oder Ereignisse anpassen. Bild und Ton bilden damit Bestandteile derselben fortlaufenden Simulation beziehungsweise Szenerie. Zugleich sieht Google die Simulation der Welt als wichtigen Baustein auf dem Weg zu einer allgemeinen künstlichen Intelligenz (AGI). Entsprechende Modelle könnten sichere Trainingsumgebungen für Roboter und KI-Agenten schaffen. Darüber hinaus nennt das Unternehmen kreative Werkzeuge für Filmproduktion, Journalismus und Gaming sowie Anwendungen in der Fertigung als mögliche Einsatzgebiete.

Neues Modell wird bereits in verschiedenen Kreativbereichen getestet

In ersten Tests kommt Genie 4 bereits in Kreativbranchen, Journalismus, Bildung, Gaming und Ingenieurwesen zum Einsatz. Filmschaffende können simulierte Szenen unmittelbar mit verschiedenen Kamerawinkeln, Beleuchtungen, Dialogen und Handlungsabläufen erproben; Google versteht das Modell dabei als schnellen Entwurfsmodus für Prävisualisierung und Ideenfindung. Im Fotojournalismus wird untersucht, wie sich zweidimensionale historische Aufnahmen binnen Sekunden in dynamische Simulationen ihrer Umgebung verwandeln lassen. Auf diese Weise könnten historische Orte erfahrbar gemacht oder Ereignisse wie Sturzfluten und Waldbrände visualisiert werden. Spieleentwickler wiederum können aus Ideen erkundbare Prototypen erstellen und visuelle Stile, Materialien sowie Spielmechaniken per Sprache ausprobieren, noch bevor Engine-Code entsteht. Unternehmenspartner prüfen Genie 4 außerdem für die schnelle Erstellung neuer Simulationsszenarien und identifizieren dabei bestehende Defizite.

Genie 4 macht noch Fehler

Trotz der gezeigten Möglichkeiten hebt Google hervor, dass Genie 4 noch ein frühes experimentelles Forschungsmodell ist. Über kurze Zeiträume könnten die erzeugten Welten zwar kohärent bleiben, in längeren Sitzungen drohten jedoch visuelle Details und die Objektpermanenz abzudriften. Das gelte insbesondere nach mehreren komplexen Änderungen oder längerer Navigation. Forschungsbedarf besteht darüber hinaus weiterhin bei komplexen physikalischen Interaktionen, der Genauigkeit von Echtzeit-Audio, lesbarer Schrift, räumlicher Präzision und langfristiger Konsistenz.

Bis zur breiten Verfügbarkeit noch ein langer Weg

Zum Start bleibt Genie 4 einer begrenzten Erprobungsphase mit ausgewählten vertrauenswürdigen Testern vorbehalten. Danach will Google den Zugang auf Abonnenten von Google AI Ultra innerhalb von Project Genie sowie auf Early-Access-Partner ausweiten. Letztere sollen das Modell über die Gemini API und AI Studio verwenden können.