World models, auf deutsch: Weltmodelle – schon die Bezeichnung klingt monumental. Mit solchen Echtzeit-KI-Modellen wie Project Genie geht Google weit über das hinaus, was Foto- und Video-KI-Modelle leisten. Diese liefern Momentaufnahmen, aber keine Nachbildung der Welt, die sich Interaktionen dynamisch anpasst. Viele dürften bei dem Gedanken zunächst an künftige Spielewelten denken, die auf Zuruf jeden dazu in die Lage versetzen, seine Wunschspiele zu erschaffen. Doch dem Forschungsteam geht es primär um etwas anderes: Hier denkt man vor allem an Einsatzzwecke in der Robotik oder an einen Simulator, um Katastrophen zu simulieren.

Auf der Entwicklerkonferenz Google I/O wurde die Erweiterung des 3D-Weltgenerators um echte Orte aus Street View angekündigt. Im Gespräch mit heise online erklärten Genie-Forscher Jack Parker-Holder und Diego Rivas, Group Product Manager bei Google DeepMind, wo das Modell aktuell steht.

Was ist ein World Model?

Der Ansatz klingt simpel, ist technisch aber anspruchsvoll: Genie lernt, wie sich eine Welt in Abhängigkeit von Aktionen verändert. Man drückt eine Taste – links, rechts, vorwärts –, und das Modell berechnet den nächsten Frame der Welt. „Es ist mehr ein Language-Model als ein klassisches Videomodell“, erklärt Forschungsleiter Jack Parker-Holder. Klassische Videogeneratoren produzieren ein ganzes Video auf einmal – Genie generiert Frame für Frame, kausal und interaktiv.

Das Ergebnis ist kein Videospiel im klassischen Sinne, sondern ein neuartiger Modelltyp: eine Art universeller Simulator, der mit einem Textprompt jede vorstellbare Welt erzeugen kann – von historischen Szenarien bis zu Katastrophengebieten.

Street View als Anker für die reale Welt

Neu in Genie 3 ist die Integration von Google Street View. Nutzer können jetzt reale Orte als Ausgangspunkt wählen; das Modell generiert von dort aus eine interaktive Welt. Laut Diego Rivas kam der Anstoß dazu von den Nutzerinnen und Nutzern selbst: Sie hätten das System immer wieder mit Prompts wie „bring mich nach New York“ oder „zeige mir meine Heimatstadt“ konfrontiert. Street View liefert nun den geografischen Anker, von dem aus Genie weitergeneriert. Vorerst sind US-Standorte verfügbar, eine globale Ausweitung ist geplant.

Technische Grenzen: Echtzeit als Engpass

Genie 3 läuft in Echtzeit – und das bei einem Modell, das gleichzeitig Langzeitgedächtnis, hohe Ausgabeauflösung und breite Generalisierungsfähigkeit mitbringt. Parker-Holder beschreibt das als „technisch sehr anspruchsvoll“: Eine Tasteneingabe des Nutzers muss über das Netzwerk zu einem TPU-Cluster gelangen, dort verarbeitet werden und als gerenderter Frame zurückkommen – alles mit minimalem Latenzspielraum.

Zur realen Welt besteht dabei noch eine erhebliche Lücke: Sich bewegende Menschen, Umgebungsgeräusche, 4K-Auflösung – all das liegt jenseits der heutigen Möglichkeiten. „Wir haben aber ziemlich gute Ideen für die nächsten paar Schritte“, sagt Parker-Holder.

Was Genie von anderen KI-Projekten unterscheidet: Dieselbe Modellbasis treibt sehr unterschiedliche Anwendungen an. Waymo nutzt es, um seltene Verkehrsszenarien zu simulieren – etwa einen Elefanten auf der Straße oder einen Tornado. Ein anderer Anwendungsfall ist das Trainieren komplexer Roboter. Statt Millionen Male etwas auszuprobieren und damit zu scheitern, könne eine Aufgabe so schneller richtig erlernt werden.

Robotik: Noch nicht da, aber auf dem Weg

Langfristig sieht das Team World Models als unverzichtbare Grundlage für KI in Körperform. Roboter müssen in der realen Welt agieren, also brauchen sie realistische Simulation zum Training.

Aktuell stehen Robotikteams noch vor dem sogenannten „Control Problem“: Kann ein Roboter zuverlässig jedes Objekt greifen, auf jedem Untergrund laufen? Erst wenn das gelöst ist, rückt die nächste Herausforderung in den Vordergrund – soziale Intelligenz, das Verstehen menschlichen Verhaltens in unvorhersehbaren Situationen. Genau dort sieht Parker-Holder das größte Potenzial von World Models.

Wettbewerb: Noch früh

Im Marktvergleich ordnet das Team die Situation nüchtern ein: „Im Vergleich zu LLMs stehen wir im Jahr 2021.“ Viele Akteure würden unter dem Begriff „World Model“ sehr unterschiedliche Dinge bauen. Eine direkte Vergleichbarkeit gebe es kaum. In den nächsten Jahren rechnet Parker-Holder mit einer Konsolidierung – und wenigen großen Playern, die den Markt prägen werden. Auf der Google I/O wurden neben Genie 3 auch neue Sprachmodelle vorgestellt: Gemini 3.5 Flash und Gemini Omni Flash sollen künftig Videogenerierung und autonome Agenten-Aufgaben übernehmen.

(mki)

Während sich Videospiele seit den ersten Heimcomputern von einfachen Pixelkulissen zu riesigen, glaubhaft simulierten Welten entwickelt haben, wirken Gespräche mit NPCs oft noch erstaunlich statisch. Spieler klicken sich meist durch fest definierte Antworten und vorgefertigte Dialogbäume. KI-Sprachmodelle versprechen einen neuen Ansatz mit natürlicheren Gesprächen und NPCs, die dynamisch auf das reagieren, was Spieler sagen.

Arvore gehört zu den ersten Studios, die ernsthaft mit diesen Möglichkeiten experimentieren. Dessen märchenhafte VR-Erfahrung „Fabula Rasa: Dead Man Talking“ ist ein früher, aber vielversprechender Versuch, in dieses Neuland vorzudringen.

Bislang war das KI-gestützte Storytelling-Experiment nur auf Festivals wie dem SXSW zu sehen, wo es einen Publikumspreis gewann. Wir haben „Fabula Rasa“ ausprobiert und waren trotz seines frühen Entwicklungsstands fasziniert von den Möglichkeiten, die sich hier auftun. Gleichzeitig stellte sich die Frage, ob „Fabula Rasa“ überhaupt noch ein klassisches Videospiel ist oder eine neue Form interaktiver Erfahrung.

Wenn ein Videospiel rhetorisches Geschick verlangt

Der Name ist eine Anspielung auf die lateinische Redewendung „Tabula rasa“, nur dass hier nicht die Tafel unbeschrieben ist, sondern ausdrücklich die „Fabula“, also die Geschichte selbst, die durch Äußerungen des Spielers mitgestaltet wird.

Der Einstieg ist kafkaesk: Man erwacht in einem Kerker, während ein ogerhafter Protokollant verkündet, man habe ein Verbrechen begangen und werde einem Monster zum Fraß vorgeworfen. Er fordert den Spieler auf, Namen und Beruf zu nennen, und will außerdem wissen, welches Delikt ihm zur Last gelegt wird. Wir antworteten auf Englisch, wir seien Journalist und hätten Gerüchte über den König verbreitet.

Nach dem Abtransport auf einen mittelalterlichen Markt- und Richtplatz treten nach und nach verschiedene Charaktere an den Käfig und verwickeln den Spieler in Gespräche, darunter eine Hexe, eine Bardin und der Vollstrecker selbst, die jeweils eigene Persönlichkeiten und Anliegen haben.

Ziel ist es, die Figuren für sich zu gewinnen, damit sie beim bald eintreffenden König ein gutes Wort einlegen und das Todesurteil abwenden. Die Charaktere nennen den Spieler beim Namen und kommen wiederholt auf den genannten Beruf zurück. Die Bardin fragte uns etwa, welche Gerüchte wir verbreitet hätten und ob es Zeugen dafür gebe, bevor sie daraus ein Lied improvisierte. Statt in generisches NPC-Geschwätz zu verfallen, reagierten die Charaktere mit schnippischen Kommentaren und überraschend passenden Nachfragen.

Was uns ebenfalls überraschte, war, wie konsequent das Spiel einen immer wieder in Situationen brachte, die verbales Improvisationstalent und rhetorisches Geschick verlangen, also Fähigkeiten, die herkömmliche Videospiele in dieser Form eigentlich kaum einfordern. Das machte die Spielerfahrung gleichermaßen herausfordernd wie neu. In zwei jeweils etwa 30-minütigen Spieldurchläufen entwickelten sich die Gespräche unterschiedlich, je nachdem, welche Persona wir verkörperten. Weil die Handlung in ein Szenario eingebettet ist und von einem Ensemble an Figuren gelenkt wird, waren wir nie versucht, die Gespräche in Richtungen abdriften zu lassen, die nichts mehr mit der eigentlichen Erzählung zu tun haben.

Mehr Live-Theater als Videospiel

Inspiration für „Fabula Rasa“ fanden die Entwickler nicht etwa bei anderen Videospielen, sondern im Improvisationstheater. „Der Spieler erschafft spontan gemeinsam mit KI-gesteuerten Figuren eine Geschichte, wodurch sich die Erfahrung weniger wie das Steuern eines Spiels anfühlt als wie das Betreten einer Live-Aufführung“, sagt das Studio. Die an familienfreundliche Animationsfilme erinnernde visuelle Gestaltung soll dabei nicht nur die düstere Ausgangslage auflockern, sondern mit bewusst überzeichneten Figuren auch vermitteln, Teil einer theatralischen Inszenierung zu sein.

Um zu verstehen, was eine gute Szene ausmacht, arbeitete das Team mit einem professionellen Improvisationskomiker zusammen und versuchte, dessen Verhaltensmuster auf das KI-System zu übertragen. Auf technischer Ebene kombiniert die VR-Erfahrung mehrere KI-Modelle: Anthropics Claude steuert Persönlichkeit, Dialoge und spontane Reaktionen der Figuren, während ElevenLabs die Sprachsynthese übernimmt. ChatGPT fungiert im Hintergrund als eine Art „KI-Regisseur“, der Handlung, Kontext und den Zustand der Spielwelt koordiniert und den Figuren passende Informationen zuführt. Die Plattform Convai verbindet diese Systeme schließlich mit den Spielmechaniken und Abläufen.

Arvore gehört zu einer wachsenden Zahl von Studios, die mit KI-gestützten NPC-Dialogen experimentieren. Eine grundlegende Schwäche teilt sich „Fabula Rasa“ mit vielen ähnlichen Projekten: Auf sprachliche Äußerungen folgen oft lange Pausen, die den Gesprächen ihre Unmittelbarkeit nehmen und die Immersion beeinträchtigen. Langfristig könnten lokal ausgeführte KI-Modelle helfen, solche Pause zu verkürzen.

Gespräche als Spielmechanik

Keine Frage: Spiele mit KI-gestützten NPC-Gesprächen stecken noch ganz am Anfang und kämpfen mit technischen Kinderkrankheiten. Dennoch sorgt „Fabula Rasa“ schon jetzt für einen Aha-Moment: Sich auf annähernd natürliche Weise mit Spielfiguren zu unterhalten, fühlt sich wie ein großer Schritt hin zu glaubwürdigeren Spielwelten an. Von Spielern werden plötzlich ganz neue Fähigkeiten verlangt, wodurch auch eine neue Form des Spielens entstehen könnte. Man stelle sich etwa ein Detektivspiel vor, in dem man Verdächtigen in Kreuzverhören Beweise oder Geständnisse herauskitzeln muss, ein Rollenspiel, in dem geschicktes Feilschen zu besseren Preisen führt, oder ein Survival-Spiel, in dem man eine Gruppe Überlebender durch Worte zusammenhält.

Mit dieser Art von Spiel könnte die Branche auch neue Zielgruppen erreichen, die klassischen Spielmechaniken bislang eher wenig abgewinnen konnten. Wir ließen „Fabula Rasa“ von einer Person ausprobieren, die mit traditionellen Videospielen sonst kaum etwas anfangen kann und die begeistert auf die Erfahrung reagierte.

„Fabula Rasa“ wurde ursprünglich für PC-VR entwickelt. Wir haben eine Quest-Demo ausprobiert, die derzeit noch optimiert wird und Ende 2026 als kommerzielle Version erscheinen soll. Die Demo unterstützte ausschließlich Englisch, während die PC-Fassung zusätzlich Französisch, Portugiesisch und Spanisch bietet. Eine deutsche Sprachoption ist zumindest zum Start nicht geplant.

(tobe)

Fotografien und Kameras transportieren in Kinofilmen Bedeutung, Erinnerungen oder Wahrheit. In dieser Folge sprechen die Redakteure Judy Hohmann und Hendrik Vatheuer über Kinoklassiker und neuere Filme, in denen Fotografie eine tragende Rolle spielt. Von „Blow-Up“ über „Memento“ bis zu Wes Andersons „Asteroid City“ reicht die Auswahl. Dabei setzen Regisseure das Medium Fotografie höchst unterschiedlich ein.

Wahrheit und Erinnerung

Im Sechzigerjahre-Thriller „Blow-Up” vergrößert ein Modefotograf ein vermeintliches Tatortfoto immer weiter, bis schließlich nur noch das grobe Korn sichtbar ist. In „Memento” wiederum dienen Polaroids als Gedächtnisstütze eines Mannes ohne Kurzzeitgedächtnis und zeigen, wie leicht sich Bilder manipulieren lassen.

In dem Film „One Hour Photo“ wird Robin Williams, ein einsamer Laborangestellter, zum Stalker und zu einer menschlichen Cloud. Lee Millers Biopic „Die Fotografin” stellt den weiblichen Blick auf den Zweiten Weltkrieg ins Zentrum. Jeder dieser Filme stellt eine wichtige Grundfrage immer wieder neu: Was kann Fotografie eigentlich beweisen?

Nostalgie und Nerdtum

Besonders verspielt geht Wes Anderson in „Asteroid City“ mit dem Thema um, und erfindet sogar eine eigene Kameramarke namens „Müller-Schmidt“ mit der „Swiss Mountain Camera“. Dahinter steckt ein umgebauter russischer Nachbau einer Contax-Messsucherkamera – eine Freude für Foto-Nerds. Auch die Nikon F taucht in zahlreichen Klassikern wie „Apocalypse Now“ auf und steht sinnbildlich für den Fotojournalismus ihrer Zeit. Warum Teleobjektive Voyeure verraten und welches Lee-Miller-Foto Hendrik Vatheuer bis heute verfolgt, verrät er in der aktuellen Folge.

Jeden zweiten Sonntag um 9 Uhr erscheint eine neue Folge von Click Boom Flash, dem Podcast des Magazins c’t Fotografie. Sie finden ihn in allen großen Podcast-Verzeichnissen. Hören Sie jetzt rein, mit Apple Podcasts, Spotify, Amazon Music oder als in der Podcast-App Ihrer Wahl.

(hoh)