World models, auf deutsch: Weltmodelle – schon die Bezeichnung klingt monumental. Mit solchen Echtzeit-KI-Modellen wie Project Genie geht Google weit über das hinaus, was Foto- und Video-KI-Modelle leisten. Diese liefern Momentaufnahmen, aber keine Nachbildung der Welt, die sich Interaktionen dynamisch anpasst. Viele dürften bei dem Gedanken zunächst an künftige Spielewelten denken, die auf Zuruf jeden dazu in die Lage versetzen, seine Wunschspiele zu erschaffen. Doch dem Forschungsteam geht es primär um etwas anderes: Hier denkt man vor allem an Einsatzzwecke in der Robotik oder an einen Simulator, um Katastrophen zu simulieren.

Auf der Entwicklerkonferenz Google I/O wurde die Erweiterung des 3D-Weltgenerators um echte Orte aus Street View angekündigt. Im Gespräch mit heise online erklärten Genie-Forscher Jack Parker-Holder und Diego Rivas, Group Product Manager bei Google DeepMind, wo das Modell aktuell steht.

Was ist ein World Model?

Der Ansatz klingt simpel, ist technisch aber anspruchsvoll: Genie lernt, wie sich eine Welt in Abhängigkeit von Aktionen verändert. Man drückt eine Taste – links, rechts, vorwärts –, und das Modell berechnet den nächsten Frame der Welt. „Es ist mehr ein Language-Model als ein klassisches Videomodell“, erklärt Forschungsleiter Jack Parker-Holder. Klassische Videogeneratoren produzieren ein ganzes Video auf einmal – Genie generiert Frame für Frame, kausal und interaktiv.

Das Ergebnis ist kein Videospiel im klassischen Sinne, sondern ein neuartiger Modelltyp: eine Art universeller Simulator, der mit einem Textprompt jede vorstellbare Welt erzeugen kann – von historischen Szenarien bis zu Katastrophengebieten.

Street View als Anker für die reale Welt

Neu in Genie 3 ist die Integration von Google Street View. Nutzer können jetzt reale Orte als Ausgangspunkt wählen; das Modell generiert von dort aus eine interaktive Welt. Laut Diego Rivas kam der Anstoß dazu von den Nutzerinnen und Nutzern selbst: Sie hätten das System immer wieder mit Prompts wie „bring mich nach New York“ oder „zeige mir meine Heimatstadt“ konfrontiert. Street View liefert nun den geografischen Anker, von dem aus Genie weitergeneriert. Vorerst sind US-Standorte verfügbar, eine globale Ausweitung ist geplant.

Technische Grenzen: Echtzeit als Engpass

Genie 3 läuft in Echtzeit – und das bei einem Modell, das gleichzeitig Langzeitgedächtnis, hohe Ausgabeauflösung und breite Generalisierungsfähigkeit mitbringt. Parker-Holder beschreibt das als „technisch sehr anspruchsvoll“: Eine Tasteneingabe des Nutzers muss über das Netzwerk zu einem TPU-Cluster gelangen, dort verarbeitet werden und als gerenderter Frame zurückkommen – alles mit minimalem Latenzspielraum.

Zur realen Welt besteht dabei noch eine erhebliche Lücke: Sich bewegende Menschen, Umgebungsgeräusche, 4K-Auflösung – all das liegt jenseits der heutigen Möglichkeiten. „Wir haben aber ziemlich gute Ideen für die nächsten paar Schritte“, sagt Parker-Holder.

Was Genie von anderen KI-Projekten unterscheidet: Dieselbe Modellbasis treibt sehr unterschiedliche Anwendungen an. Waymo nutzt es, um seltene Verkehrsszenarien zu simulieren – etwa einen Elefanten auf der Straße oder einen Tornado. Ein anderer Anwendungsfall ist das Trainieren komplexer Roboter. Statt Millionen Male etwas auszuprobieren und damit zu scheitern, könne eine Aufgabe so schneller richtig erlernt werden.

Robotik: Noch nicht da, aber auf dem Weg

Langfristig sieht das Team World Models als unverzichtbare Grundlage für KI in Körperform. Roboter müssen in der realen Welt agieren, also brauchen sie realistische Simulation zum Training.

Aktuell stehen Robotikteams noch vor dem sogenannten „Control Problem“: Kann ein Roboter zuverlässig jedes Objekt greifen, auf jedem Untergrund laufen? Erst wenn das gelöst ist, rückt die nächste Herausforderung in den Vordergrund – soziale Intelligenz, das Verstehen menschlichen Verhaltens in unvorhersehbaren Situationen. Genau dort sieht Parker-Holder das größte Potenzial von World Models.

Wettbewerb: Noch früh

Im Marktvergleich ordnet das Team die Situation nüchtern ein: „Im Vergleich zu LLMs stehen wir im Jahr 2021.“ Viele Akteure würden unter dem Begriff „World Model“ sehr unterschiedliche Dinge bauen. Eine direkte Vergleichbarkeit gebe es kaum. In den nächsten Jahren rechnet Parker-Holder mit einer Konsolidierung – und wenigen großen Playern, die den Markt prägen werden. Auf der Google I/O wurden neben Genie 3 auch neue Sprachmodelle vorgestellt: Gemini 3.5 Flash und Gemini Omni Flash sollen künftig Videogenerierung und autonome Agenten-Aufgaben übernehmen.

(mki)

Während sich Videospiele seit den ersten Heimcomputern von einfachen Pixelkulissen zu riesigen, glaubhaft simulierten Welten entwickelt haben, wirken Gespräche mit NPCs oft noch erstaunlich statisch. Spieler klicken sich meist durch fest definierte Antworten und vorgefertigte Dialogbäume. KI-Sprachmodelle versprechen einen neuen Ansatz mit natürlicheren Gesprächen und NPCs, die dynamisch auf das reagieren, was Spieler sagen.

Arvore gehört zu den ersten Studios, die ernsthaft mit diesen Möglichkeiten experimentieren. Dessen märchenhafte VR-Erfahrung „Fabula Rasa: Dead Man Talking“ ist ein früher, aber vielversprechender Versuch, in dieses Neuland vorzudringen.

Bislang war das KI-gestützte Storytelling-Experiment nur auf Festivals wie dem SXSW zu sehen, wo es einen Publikumspreis gewann. Wir haben „Fabula Rasa“ ausprobiert und waren trotz seines frühen Entwicklungsstands fasziniert von den Möglichkeiten, die sich hier auftun. Gleichzeitig stellte sich die Frage, ob „Fabula Rasa“ überhaupt noch ein klassisches Videospiel ist oder eine neue Form interaktiver Erfahrung.

Wenn ein Videospiel rhetorisches Geschick verlangt

Der Name ist eine Anspielung auf die lateinische Redewendung „Tabula rasa“, nur dass hier nicht die Tafel unbeschrieben ist, sondern ausdrücklich die „Fabula“, also die Geschichte selbst, die durch Äußerungen des Spielers mitgestaltet wird.

Der Einstieg ist kafkaesk: Man erwacht in einem Kerker, während ein ogerhafter Protokollant verkündet, man habe ein Verbrechen begangen und werde einem Monster zum Fraß vorgeworfen. Er fordert den Spieler auf, Namen und Beruf zu nennen, und will außerdem wissen, welches Delikt ihm zur Last gelegt wird. Wir antworteten auf Englisch, wir seien Journalist und hätten Gerüchte über den König verbreitet.

Nach dem Abtransport auf einen mittelalterlichen Markt- und Richtplatz treten nach und nach verschiedene Charaktere an den Käfig und verwickeln den Spieler in Gespräche, darunter eine Hexe, eine Bardin und der Vollstrecker selbst, die jeweils eigene Persönlichkeiten und Anliegen haben.

Ziel ist es, die Figuren für sich zu gewinnen, damit sie beim bald eintreffenden König ein gutes Wort einlegen und das Todesurteil abwenden. Die Charaktere nennen den Spieler beim Namen und kommen wiederholt auf den genannten Beruf zurück. Die Bardin fragte uns etwa, welche Gerüchte wir verbreitet hätten und ob es Zeugen dafür gebe, bevor sie daraus ein Lied improvisierte. Statt in generisches NPC-Geschwätz zu verfallen, reagierten die Charaktere mit schnippischen Kommentaren und überraschend passenden Nachfragen.

Was uns ebenfalls überraschte, war, wie konsequent das Spiel einen immer wieder in Situationen brachte, die verbales Improvisationstalent und rhetorisches Geschick verlangen, also Fähigkeiten, die herkömmliche Videospiele in dieser Form eigentlich kaum einfordern. Das machte die Spielerfahrung gleichermaßen herausfordernd wie neu. In zwei jeweils etwa 30-minütigen Spieldurchläufen entwickelten sich die Gespräche unterschiedlich, je nachdem, welche Persona wir verkörperten. Weil die Handlung in ein Szenario eingebettet ist und von einem Ensemble an Figuren gelenkt wird, waren wir nie versucht, die Gespräche in Richtungen abdriften zu lassen, die nichts mehr mit der eigentlichen Erzählung zu tun haben.

Mehr Live-Theater als Videospiel

Inspiration für „Fabula Rasa“ fanden die Entwickler nicht etwa bei anderen Videospielen, sondern im Improvisationstheater. „Der Spieler erschafft spontan gemeinsam mit KI-gesteuerten Figuren eine Geschichte, wodurch sich die Erfahrung weniger wie das Steuern eines Spiels anfühlt als wie das Betreten einer Live-Aufführung“, sagt das Studio. Die an familienfreundliche Animationsfilme erinnernde visuelle Gestaltung soll dabei nicht nur die düstere Ausgangslage auflockern, sondern mit bewusst überzeichneten Figuren auch vermitteln, Teil einer theatralischen Inszenierung zu sein.

Um zu verstehen, was eine gute Szene ausmacht, arbeitete das Team mit einem professionellen Improvisationskomiker zusammen und versuchte, dessen Verhaltensmuster auf das KI-System zu übertragen. Auf technischer Ebene kombiniert die VR-Erfahrung mehrere KI-Modelle: Anthropics Claude steuert Persönlichkeit, Dialoge und spontane Reaktionen der Figuren, während ElevenLabs die Sprachsynthese übernimmt. ChatGPT fungiert im Hintergrund als eine Art „KI-Regisseur“, der Handlung, Kontext und den Zustand der Spielwelt koordiniert und den Figuren passende Informationen zuführt. Die Plattform Convai verbindet diese Systeme schließlich mit den Spielmechaniken und Abläufen.

Arvore gehört zu einer wachsenden Zahl von Studios, die mit KI-gestützten NPC-Dialogen experimentieren. Eine grundlegende Schwäche teilt sich „Fabula Rasa“ mit vielen ähnlichen Projekten: Auf sprachliche Äußerungen folgen oft lange Pausen, die den Gesprächen ihre Unmittelbarkeit nehmen und die Immersion beeinträchtigen. Langfristig könnten lokal ausgeführte KI-Modelle helfen, solche Pause zu verkürzen.

Gespräche als Spielmechanik

Keine Frage: Spiele mit KI-gestützten NPC-Gesprächen stecken noch ganz am Anfang und kämpfen mit technischen Kinderkrankheiten. Dennoch sorgt „Fabula Rasa“ schon jetzt für einen Aha-Moment: Sich auf annähernd natürliche Weise mit Spielfiguren zu unterhalten, fühlt sich wie ein großer Schritt hin zu glaubwürdigeren Spielwelten an. Von Spielern werden plötzlich ganz neue Fähigkeiten verlangt, wodurch auch eine neue Form des Spielens entstehen könnte. Man stelle sich etwa ein Detektivspiel vor, in dem man Verdächtigen in Kreuzverhören Beweise oder Geständnisse herauskitzeln muss, ein Rollenspiel, in dem geschicktes Feilschen zu besseren Preisen führt, oder ein Survival-Spiel, in dem man eine Gruppe Überlebender durch Worte zusammenhält.

Mit dieser Art von Spiel könnte die Branche auch neue Zielgruppen erreichen, die klassischen Spielmechaniken bislang eher wenig abgewinnen konnten. Wir ließen „Fabula Rasa“ von einer Person ausprobieren, die mit traditionellen Videospielen sonst kaum etwas anfangen kann und die begeistert auf die Erfahrung reagierte.

„Fabula Rasa“ wurde ursprünglich für PC-VR entwickelt. Wir haben eine Quest-Demo ausprobiert, die derzeit noch optimiert wird und Ende 2026 als kommerzielle Version erscheinen soll. Die Demo unterstützte ausschließlich Englisch, während die PC-Fassung zusätzlich Französisch, Portugiesisch und Spanisch bietet. Eine deutsche Sprachoption ist zumindest zum Start nicht geplant.

(tobe)

„Helldivers 2“ bekommt am 27. Mai ein umfassendes Technik-Update, das PC-Spieler mit den fortschrittlichen Upscaling-Techniken DLSS 4.5, FSR 4, XeSS 3.0 versorgt. Das Update entstand in Zusammenarbeit mit dem Sony-Studio Nixxes, das bereits für die PC-Versionen von „Horizon Forbidden West“ und „Marvel’s Spider-Man Remastered“ verantwortlich war und sich auf die technische Seite von Port-Projekten spezialisiert hat.

Bislang gab es in „Helldivers 2“ keine fortschrittlichen Upscaling-Techniken, sondern lediglich eine Render-Skalierung. DLSS, FSR und XeSS rechnen eine niedrigere Render-Auflösung KI-gesteuert auf volle Output-Auflösung hoch. Das verringert die GPU-Last bei möglichst geringen visuellen Abstrichen. Wichtig ist Upscaling vor allem auf Monitoren mit hoher Auflösung wie 4K, aber moderne Upscaling-Techniken wie DLSS 4.5 und FSR 4 liefern auch schon bei niedrigeren Output-Auflösungen gute Ergebnisse.

In der PC-Version von „Helldivers 2“ sollen je nach eingebauter Grafikkarte alle Upscaling-Techniken zur Verfügung stehen, wie Arrowhead im Steam-Blog mitteilt. Besitzer kompatibler AMD-GPUs erhalten AMDs FSR 4.0.3, Nvidia-Nutzer können DLSS bis Version 4.5 nutzen. Intel-Grafikkarten werden durch XeSS 3.0 bedient. Laut Entwickler Arrowhead hatten sich viele Community-Mitglieder lange besseres Upscaling für den Online-Shooter gewünscht. Durch das Update können viele von ihnen künftig „Helldivers 2“ mit besserer Performance und besserer Bildqualität spielen.

Reflex und Anti-Lag 2

Neu hinzu kommen außerdem Nvidia Reflex für GeForce-Karten und AMD Anti-Lag 2 für Radeon-GPUs – beide reduzieren die Eingabeverzögerung. Variable Rate Shading senkt den Rechenaufwand in weniger kritischen Bildbereichen und vermindert so den GPU-Workload.

Auch auf Konsolen gibt es Neuerungen. PS5 Pro erhält PSSR 1, PS5 und Xbox Series X kommen auf FSR 3.1. Das Performance-Preset liefert auf PS5 und Xbox Series X künftig eine interne Auflösung von 1440p statt 1080p. Hinzu kommt VRR-Unterstützung für PS5 und PS5 Pro, die Bildschirmreißen ohne die Latenzstrafe von V-Sync verhindert.

Arrowhead will in diesem Sommer ein weiteres Tech-Update nachlegen, Details nennt das Studio noch nicht. Ende 2025 hat Arrowhead bereits den Speicherbedarf von „Helldivers 2“ von 154 GByte auf 23 GByte gesenkt.

(dahe)