Lytia 901: Sonys neuer 200-MP-Sensor nutzt KI-gestütztes Remosaicing

Sony bietet mit dem Lytia 901 einen neuen Flaggschiff-Bildsensor für den Einsatz in Smartphones an. Der Kamerasensor bietet 200 Megapixel auf 1/1,12 Zoll und erstmals für die Branche ein KI-gestütztes Remosaicing des Quad-Quad-Bayer-Coding-Arrays beim Wechsel von der reduzierten Auflösung beim Pixel-Binning zur vollen Auflösung.

Der Lytia 901 bildet die neue Speerspitze im Portfolio von Sonys Bildsensoren für Smartphones. Der Sensor misst 1/1,12 Zoll, was einer Diagonale von 14,3 mm entspricht, und vereint darauf 200 Megapixel mit einer Kantenlänge von jeweils 0,7 μm. Bislang hatte Sony aus der Lytia-Familie maximal Sensoren mit 50 MP im Portfolio. Der Lytia 901 befindet sich bereits in der Massenproduktion und wird ausgeliefert.

KI-gestütztes Remosaicing bei voller Auflösung

Im Standardbetrieb setzt der Sensor auf ein Quad-Quad-Bayer-Coding-Array, das jeweils 16 nebeneinander liegende Pixel in einem 4×4-Muster zusammenfügt, sodass diese Pixel als einzelne Pixeleinheit verarbeitet werden. Das soll dem Sensor eine hohe Empfindlichkeit bei Nacht oder allgemein schlechten Lichtbedingungen gewährleisten. Gleichzeitig kann der Sensor für einen Crop, also für das Zoomen über den Sensor anstelle eines dedizierten weiteren Objektivs, ein sogenanntes Remosaicing mit einem traditionellen Bayer-Coding-Array durchführen.

Das Remosaicing entspricht einer Neuberechnung des Demosaicing. So wird in der Digitalfotografie die Rekonstruktion einer farbigen Rastergrafik aus den Helligkeits­werten eines mit Mosaik-Farbfiltern überlagerten Bildsensors genannt. Der Sensor wird dabei mit Rot-, Grün- und Blaufiltern überzogen, wobei bei einem Bayer-Sensor die Filter meist zu 50 Prozent in Grün und zu jeweils 25 Prozent in Rot und Blau ausgeführt sind, weil der Grün-Anteil in Grautönen beim menschlichen Auge den größten Beitrag zur Helligkeits- und somit zur Kontrast- und Schärfe-Wahrnehmung leistet.

Um aus dem Quad-Quad-Bayer-Coding-Array wieder ein normales Pixel-Array zu berechnen, brauche es Sony zufolge einen extrem fortgeschrittenen Berechnungsprozess. Für den Lytia 901 hat das Unternehmen einen KI-gestützten Remosaicing-Prozess entwickelt, der erstmals in Schaltkreisen direkt im Sensor ausgeführt wird. Das Ergebnis sei eine überlegene Reproduktion von Details wie feinen Mustern oder Buchstaben. Darüber hinaus könne der Sensor aufgrund der direkten Integration selbst beim vierfachen Zoomen, wenn die volle Auflösung ohne Pixel-Binning benötigt wird, mit 30 FPS in 4K-Auflösung ausgelesen werden.

Kombination von DCG-HDR und HF-HDR

Der Lytia 901 unterstützt darüber hinaus Dual Conversion Gain‐HDR (DCG-HDR) und arbeitet mit einer Quantisierungs-Samplingtiefe von 12 statt 10 Bit bei der AD-Wandlung. 12 Bit bedeutet, dass das analoge Eingangssignal digital in 4.096 statt 1.024 Helligkeitsstufen pro Pixel abgebildet werden kann. DCG-HDR wiederum ermöglicht, dass einzelne Frames mit unterschiedlichen Gain-Einstellungen ausgelesen werden können. Der Gain bestimmt, wie stark das elektrische Signal verstärkt wird, das aus den Pixeln kommt, bevor es digitalisiert wird. Im Nachgang erfolgt mit Hybrid Frame-HDR (HF-HDR) noch eine Komposition aus mehreren Frames und mit den DCG-Daten, um den Dynamikumfang weiter zu steigern.