Volumetrische Videos zeigen Menschen und Objekte als dreidimensionale Körper, die sich aus frei wählbaren Perspektiven betrachten lassen. Dank Fortschritten bei der Optimierung und Übertragung von dynamischen Gaussian Splats lassen sie sich nun in guter Qualität auf mobile Geräte und sogar auf autarken VR-Brillen streamen, eine ausreichend schnelle und stabile Internetverbindung vorausgesetzt.

Das Start-up Gracia AI gehört zu den Vorreitern dieser Technologie und hat diesen Monat drei Demos veröffentlicht, anhand derer man das Streaming dynamischer Gaussian Splats ausprobieren kann. Dynamisch bedeutet hier, dass die Gaussian Splats eine zeitliche Abfolge und Bewegung abbilden und nicht nur eine Momentaufnahme.

Die Beispiele demonstrieren drei typische Anwendungsszenarien aus Unterhaltung, Handwerk und Medizin: eine vierminütige musikalische Performance sowie kurze Ausschnitte aus einer Rennrad-Reparaturanleitung und einer Physiotherapie-Sitzung. Für die korrekte Wiedergabe wird ein WebGPU-fähiger Browser wie Google Chrome benötigt. Die volumetrischen Videos starten ohne Vorinstallation einer App oder lange Pufferzeiten und ermöglichen es Nutzern, die Szenen aus beliebigen Blickwinkeln zu betrachten sowie heran- und herauszuzoomen.

In einer VR-Brille steigt der Mehrwert der volumetrischen Videos: Die Menschen und Objekte erscheinen im eigenen Wohnzimmer und entfalten eine physische Präsenz. Position und Größe lassen sich per Handbewegung anpassen: von riesig über lebensgroß bis zur Miniatur auf dem Tisch. Wir haben die Funktion im WebXR-fähigen Browser der Meta Quest 3 ausprobiert. Auch auf Apple Vision Pro funktioniert das Streaming, allerdings ohne Passthrough-Ansicht, da Apple diese Funktion für WebXR bislang nicht freigegeben hat.

Wie streamt man dynamische Gaussian Splats?

Das Streaming dynamischer Gaussian Splats im Browser ist keine völlig neue Entwicklung: Das chinesische Start-up 4DV hat entsprechende Ansätze bereits 2025 demonstriert. Allerdings überfordern deren Szenen noch manche Geräte.

Gracia AI empfiehlt für seine Streaming-Technik eine Bandbreite von relativ hohen 80 Mbit/s, was einer Darstellung von 120.000 Splats pro Frame entspricht. Das ist laut CEO Georgii Vysotskii die maximale Bitrate der aktuellen Streaming-Konfiguration. In vielen Fällen genügt jedoch auch weniger Bandbreite, abhängig von der Komplexität der Szene. Entscheidend ist, wie viel Bewegung sie enthält.

Dynamisches Gaussian Splatting unterscheidet sich grundlegend von herkömmlichen Videos: Die dargestellten Inhalte bestehen nicht aus vorgerenderten Bildfolgen, sondern aus einer Ansammlung räumlich ausgedehnter 3D-Punkte, die auf dem lokalen Gerät in Echtzeit gerendert werden. Bei der von Gracia AI entwickelten proprietären Streaming-Technik werden keine fertigen Bilder übertragen, sondern Keyframes und Bewegungsdaten dieser 3D-Repräsentation.

Der Vorteil dieses Ansatzes liegt auf der Hand: Statt für jeden Zeitpunkt alle 3D-Punkte zu übertragen, werden nur die Veränderungen zwischen ihnen kodiert. Da sich viele Teile einer Szene über die Zeit hinweg kaum verändern, lässt sich so erheblich Bandbreite sparen. „Im Kern handelt es sich um einen Codec-ähnlichen Ansatz aus der 2D-Videotechnik, übertragen auf Gaussian Splatting“, erklärt Vysotskii. Gegenüber Download-Versionen der volumetrischen Videos ist die Datenrate mehr als zehnmal niedriger, bei nahezu gleicher visueller Qualität.

Die Produktionspipeline des Start-ups erlaubt es, je nach Anwendungsfall und Ausgabegerät unterschiedliche Bitraten und Qualitätsstufen festzulegen, etwa für Streaming oder Download sowie für mobile Geräte oder leistungsstärkere stationäre Rechner, die mehr Splats gleichzeitig rendern können. Speziell für das Streaming hat das Start-up auch eine Konfiguration mit 17 Mbit/s oder 15.000 dargestellten Splats pro Frame getestet, die sich für volumetrische Aufnahmen mit wenig Bewegung eignet. Diese Bitrate liegt im Bereich typischen 4K-Videostreamings.

Gaussian Splats: Von lokaler Berechnung zum gestreamten Medium

Volumetrische Videos gelten seit Langem als ein Kernversprechen immersiver Technologien. Mit ihnen verbindet sich die Vision, dass Aufnahmen von Menschen, Objekten und Szenen nicht mehr auf Bildschirme und Leinwände beschränkt sind, sondern als frei im Raum platzierte, greifbar wirkende Hologramme erscheinen.

Ernstzunehmende Versuche in diese Richtung gab es bereits vor rund zehn Jahren, parallel zum Aufkommen der ersten massentauglichen VR-Brillen: Unternehmen wie Microsoft und Intel experimentierten mit volumetrischen Videoformaten und bauten dafür eigene Aufnahmestudios. Auch in Deutschland entstand mit Volucap in Babelsberg früh eine professionelle Infrastruktur für volumetrische Aufnahmen. Obwohl sie technisch beeindruckend waren, scheiterten die Ansätze bislang an hohen Produktionskosten, enormen Datenmengen und fehlenden Verbreitungswegen.

Gaussian Splatting löst einige dieser Probleme. Zum einen senkt die Technik die Kosten der Erfassung deutlich. Laut Vysotskii sinkt die Zahl der benötigten Kameras stetig. Zudem seien hochwertige Aufnahmen zunehmend mit vergleichsweise günstigen Smartphone-Kameras oder GoPros möglich. Zum anderen verlagere sich die Produktion von professionellen Volumetrie-Studios mit Dutzenden Kameras hin zu portablen Kamerarigs, die ein kleineres Sichtfeld erfassen. In solchen Fällen reichen laut Vysotskii zehn iPhones.

Auch in puncto Technik und Erfassungsqualität hat sich das Verfahren deutlich weiterentwickelt. „Der Erfassungsprozess ist heute wesentlich weniger restriktiv als noch zu Zeiten klassischer Mesh-Erfassung. Gaussian Splatting ist deutlich flexibler bei der Kameraplatzierung, robuster gegenüber unterschiedlichen Lichtverhältnissen und kommt mit Stoffen erheblich besser zurecht“, sagt der CEO.

Das ist auch der rasanten Entwicklung des Gaussian Splatting in den vergangenen Jahren zu verdanken. Anfangs ließen sich statische Splats nur auf leistungsstarken Rechnern in akzeptabler Qualität darstellen. Mit fortschreitender Optimierung wurde das Verfahren jedoch effizienter und erreichte schließlich auch mobile Geräte. Parallel dazu entstanden dynamische Gaussian Splats, die zunächst ebenfalls hohe Rechenleistung erforderten. Innerhalb kurzer Zeit gelang es jedoch, auch diese bewegten Darstellungen so zu beschleunigen, dass sie auf schwächerer Hardware nutzbar wurden. Mit dem Streaming dynamischer Gaussian Splats folgt nun der nächste Schritt: Damit wird aus einer bislang lokal gebundenen Technologie ein erstmals breit zugängliches Medium.

Volumetrische Videos: Viele Hürden bleiben

Trotz dieser Entwicklung stehen volumetrische Videos noch vor zahlreichen Hürden. Die größten sind, dass Produktion und Verarbeitung aufwendig bleiben: Für vollständige 360-Grad-Aufnahmen, wie sie Gracia AI in seinen Demos zeigt, kommen weiterhin 40 bis 60 Kameras gleichzeitig zum Einsatz.

Vysotskii und Mitgründer Andrey Volodin gründeten das Start-up ursprünglich in der Absicht, ein YouTube für volumetrische Videos zu etablieren. Inzwischen sind die Ziele pragmatischer: Im Fokus steht die Entwicklung der Infrastruktur und Werkzeuge, die es Studios ermöglichen, volumetrische Inhalte zu schaffen. Eine eigene Distributionsplattform ist derzeit nicht geplant.

Gracia AI sieht primär zwei kommerzielle Einsatzfelder für die Technik: Bildung und Unterhaltung. In beiden arbeitet es bereits mit Partnern zusammen. Im Bildungsbereich nennt das Unternehmen ein Projekt mit dem Imperial College London, bei dem handwerkliche Abläufe für Trainingszwecke volumetrisch erfasst und für VR- oder Bildschirmnutzung aufbereitet werden. Im Unterhaltungsbereich verweist Gracia auf ein Projekt mit dem Freizeitpark PortAventura, wo volumetrische Inhalte in ein ortsgebundenes VR-Erlebnis für Besucher integriert werden.

Großes Potenzial sieht das Start-up auch in immersiven Sportübertragungen. Für diese arbeitet Gracia AI bereits am nächsten großen Schritt, dem Live-Streaming von dynamischen Gaussian Splats. Eine Ankündigung dazu soll es in Kürze geben.

Ein weiteres, vielversprechendes Einsatzfeld bleibt unerwähnt: Erotik. VR-Inhalte existieren hier bereits in Form von Filmen, Spielen und virtuellen Begegnungen. Volumetrische Videos könnten diesem Bereich eine neue Dimension abgewinnen.

Ob sich volumetrische Videos durchsetzen werden, hängt letztlich von der Verbreitung immersiver Computerbrillen ab. Solange diese keine Alltagsprodukte sind, bleibt auch ihr Nutzen für die breite Öffentlichkeit begrenzt. Gleichwohl zählen Gaussian Splatting und volumetrische Videos zu den derzeit interessantesten Entwicklungen in diesem Bereich.

In der App des Start-ups stehen viele weitere volumetrischen Videos als Download zum Betrachten bereit. Sie ist für Meta Quest, MacOS und Steam verfügbar. Eine App speziell für Apple Vision Pro befindet sich noch in Entwicklung und soll nach aktuellen Plänen im April erscheinen.

(tobe)

Apple will künftig auch die sogenannten Live-Aktivitäten (Live Activities) auf Fremdgeräte weiterreichen. Im Rahmen der von der EU vorgeschriebenen Öffnung von iOS für Wearables von Drittanbietern wäre dies eine weitere Kategorie, die unterstützt wird. Umgesetzt wird dies allerdings frühestens mit iOS 26.5, das derzeit im Betatest ist und wohl nicht vor Ende April oder im Mai erscheint. Es ist unklar, ob Apple dabei auf die Forderungen aus dem Digital Markets Act (DMA) oder es sich quasi um ein „Bonusfeature“ handelt, das der Konzern erstmals außerhalb der Apple Watch freigibt. Möglicherweise nimmt Cupertino an, dass die EU-Kommission auch die Live-Aktivitäten, mit denen man aktuell laufende Vorgänge wie Bestellungen oder das Warten auf einen Mietwagen beobachten kann, nicht nur auf der Apple Watch sehen will.

EU-Funktionen für Wearables und anderes Zubehör

Der aktuell geplante Funktionsumfang ist für Apple-Verhältnisse bereits breit. So soll erstmals „echte Benachrichtigungen“ auf konkurrierenden Wearables wie die von Samsung, Google oder Garmin auftauchen können, auf die man auf dem Gerät dann auch reagieren kann – dieses „Notification Forwarding“ ist mehr als die aktuelle, simple Weiterleitung der eigentlichen Nachricht per Bluetooth.

Weiterhin gibt es ein neues Annäherungspairing (Proximity Pairing), bei dem man ein Gerät wie einen Kopfhörer nur in die Nähe des iPhone bringen muss, um den Kopplungsvorgang auszulösen. Das geht bislang nur mit AirPods und Beats-Geräten. Schließlich kommen nun besagte Live-Aktivitäten hinzu. Da diese auch grafische Elemente enthalten, dürfte die Umsetzung von Hersteller zu Hersteller abweichen. Es ist auch denkbar, dass nicht jeder Anbieter von Wearables das Feature auch umsetzt. Alle Funktionen will Apple noch 2026 bereitstellen.

Voraussetzungen für Entwickler und Geräteanbieter

Passend dazu hat Apple auch an seinen Lizenzbedingungen für Entwickler geschraubt. Diesen ist nun zu entnehmen, dass das Forwarding von Live-Aktivitäten zum Funktionsumfang gehört. Es ist demnach unter anderem verboten, die Funktion zu Werbe-, Profiling- oder Ortsüberwachungszwecken zu nutzen.

Zudem dürfen die Daten nicht zum Trainieren von KI-Modellen verwendet werden. Schließlich ist auch eine Weiterleitung der Daten an andere Anwendungen oder Geräte verboten. Entwickler müssen diese gegenüber Apple explizit kommunizieren und erhalten dann ein entsprechendes Entitlement. Die Daten sind zudem verschlüsselt, ein Ablegen von Benachrichtigungen in der Cloud oder auf dem Empfangsgerät selbst ist nicht vorgesehen.

(bsc)

Universitätsstädte und Metropolen wie München und Frankfurt sind in Deutschland die größten Sammelbecken für die digital avancierten Unternehmen. Das geht aus dem Digitale-Vorreiter-Index hervor, den der Consulting-Arm des wirtschaftsnahen Instituts der Deutschen Wirtschaft (IW) erstellt hat. Demnach steht Heidelberg mit 8,1 Prozent Anteil digitaler Vorreiter bei den dort heimischen Unternehmen vorn. Darauf folgen der Landkreis München mit 8 Prozent, Frankfurt auf Rang drei mit 7,8 Prozent und die Stadt München mit 7,6 Prozent.

Großstädte und deren benachbarte Landkreise bringen demnach vor allem den Vorteil mit, Anziehungspunkt für Startups im Digitalbereich zu sein. In Städten wie München oder Berlin kommen diese Jungfirmen laut den IW-Forschern mehr als viermal so häufig vor wie im Bundesschnitt. Zuletzt hatte Berlin allerdings seine Rolle als deutscher Spitzenreiter bei den Startups eingebüßt.

Universitäten als Impulsgeber

Besonders schneiden aber Universitätsstädte wie Karlsruhe (7,1 Prozent), Darmstadt (7 Prozent) und Bonn (6,4 Prozent) stark in dem Ranking ab und liegen deutlich vor den Millionenstädten Berlin (5,8 Prozent), Hamburg (5,7 Prozent) und Köln (5,5 Prozent). Die Dichte digitaler Vorreiter sei laut IW eben nicht allein auf einzelne Unternehmen zurückzuführen, sondern werde auch entscheidend von Institutionen geprägt, die Wissen, Infrastruktur und Netzwerke bereitstellen. Hochschulen und Forschungseinrichtungen seien hier wichtiger Impulsgeber.

Im Bundesschnitt hat das IW einen DVI-Wert von 3,8 Prozent ermittelt. Gerade gering verdichtete, ländliche Gegenden liegen mit 2,4 Prozent deutlich darunter. Besonders ausgeprägt sind die geringen Werte in den ländlichen Regionen Ostdeutschlands mit im Schnitt 2 Prozent. Landkreise wie Vorpommern-Rügen oder Spree-Neiße markieren mit einem Wert von 1,3 Prozent das untere Ende.

Methodisch haben die Forscher für ihren Index die Webpräsenzen von rund 2,5 Millionen Unternehmen herangezogen – den Angaben nach wurden damit alle deutschen Firmen mit einer Website erfasst. Mithilfe eines semantischen Modells wurden die Websites nach Wortwolken mit über 200 eindeutigen Begriffen durchsucht, die auf die Nutzung fortgeschrittener digitaler Technologien hindeuten. Werden dabei Begriffe aus mindestens zwei Wortwolken getroffen, reicht das für die Klassifizierung als digitales Vorreiter-Unternehmen, bei dem Technologien einen integralen Bestandteil der Produkte beziehungsweise des Geschäftsmodells darstellen. Der Index sei statistisch hoch signifikant korreliert mit Befragungsergebnissen zur Digitalisierung von Unternehmen sowie mit regionalen Digitalisierungsindikatoren, etwa der digitalen Start-up- oder Patentdichte, dem KI-Automatisierungspotenzial oder der Breitbandverfügbarkeit.

(axk)