Aus Fotos werden 3D-Umgebungen: Apples neues KI-Modell mit iPhone ausprobieren

Das KI-Modell hat den Namen SHARP (Single-image High-Accuracy Real-time Parallax) und wurde im Dezember zusammen mit einer Forschungsarbeit veröffentlicht. Der Quellcode ist bei Github verfügbar.

Bislang waren grundlegende Programmierkenntnisse erforderlich, um das Modell auf einem Mac oder Windows-PC zu nutzen. Nun lässt sich SHARP mit der iOS-App „Sapling“ kostenlos auf dem iPhone ausprobieren. Die Berechnung erfolgt lokal auf dem Gerät und nimmt auf neueren iPhones etwa eine Minute pro Foto in Anspruch.

Bei der Entwicklung des KI-Modells verfolgten Apples Forscher mehrere Ziele: Zum einen sollte eine möglichst schnelle 3D-Rekonstruktion aus Einzelbildern gewährleistet sein, um künftig etwa eigene Fotobibliotheken immersiv erkunden zu können. Zum anderen sollten die 3D-Umgebungen in Echtzeit gerendert werden und Perspektivwechsel ermöglichen, wie sie beim Umsehen mit einer VR-Brille auftreten. Die Darstellung erfolgt per 3D Gaussian Splatting, einer Technik, die Apple auch für seine Personas auf der Apple Vision Pro nutzt.

Nach Angaben der Forscher liefert SHARP eine deutlich höhere Bildqualität als andere KI-Modelle und benötigt dafür gleichzeitig nur einen Bruchteil der Rechenzeit. Ob und in welcher Form das KI-Modell in Apples Produkte einfließen wird, ist derzeit nicht bekannt.

Apple SHARP mit iPhone ausprobiert

SHARP unterscheidet sich von bereits verfügbaren immersiven Apple-Funktionen wie räumlichen Fotos und Videos sowie räumlichen Szenen. Bei ersteren handelt es sich um stereoskopische Aufnahmen mit zwei leicht versetzten Bildern für das linke und rechte Auge, die ihre Tiefenwirkung nur auf Geräten wie Apple Vision Pro und Meta Quest entfalten. Räumliche Szenen wiederum wurden mit visionOS, iOS und iPadOS 26 eingeführt und gehen einen Schritt weiter, indem sie leichte Perspektivwechsel erlauben. Auf iPhones lässt sich diese Funktion ausprobieren, indem man auf das sechseckige Icon in der oberen rechten Ecke eines Fotos tippt. SHARP erweitert diesen Ansatz deutlich und erzeugt eine 3D-Umgebung, die eine umfassendere Rekonstruktion sowie größere Perspektivänderungen erlaubt.

Die 3D-Scanning-App „Sapling“ gehört zu den ersten Anwendungen, die Apples KI-Modell integriert haben und eine kostenlose Nutzung über eine grafische Nutzeroberfläche ermöglichen. Nutzer wählen dazu die Funktion „Image to 3D Scene“, wählen ein Foto aus der Fotos-App aus und starten die Generierung. Auf einem iPhone 15 Pro dauert die 3D-Rekonstruktion etwa eine Minute. Anschließend lässt sich die Szene auf dem iPhone rendern: entweder als interaktive Darstellung vor schwarzem Hintergrund oder als AR-Ansicht direkt im Raum.

In puncto Auflösung und Schärfe überzeugt das Ergebnis. Wie beeindruckend die 3D-Rekonstruktion ausfällt, hängt jedoch stark vom Motiv ab: Bilder mit Tiefenstaffelung und viel Raum gelingen besser als Nahaufnahmen von Personen oder Objekten. Wie andere KI-gestützte Rekonstruktionsverfahren hat auch SHARP Schwierigkeiten mit nicht sichtbaren Bereichen, etwa hinter fotografierten Personen. Sobald man sich zu stark von der ursprünglichen Perspektive entfernt, werden Artefakte und Verzerrungen sichtbar, die die Illusion zerstören.

Nutzer können die resultierenden Gaussian Splats zur Weiterverarbeitung im Originaldateiformat exportieren. In Zukunft möchte Entwickler Matthew Waller das KI-Modell auch auf der Vision-Pro-Version seiner App unterstützen. Mit „Splat Studio“ existiert bereits eine Third-Party-App, die gezielt für diesen Anwendungszweck entwickelt wurde. Programme für macOS oder Windows, die Apple SHARP in eine grafische Nutzeroberfläche integrieren, konnten wir bislang nicht ausfindig machen.

(tobe)