Mit KI: Apple stellt neue Funktionen für Barrierefreiheit vor

Apple hat diverse Verbesserungen für seine Barrierefreiheitsfunktionen angekündigt, die unter anderem VoiceOver, Voice Control, den Accessibility Reader sowie die Untertitelung von Videos betreffen. Außerdem zeigte der Konzern, wie sich per Augentracking mit der Vision Pro ein Rollstuhl bedienen lässt. Die Features sollen in den kommenden Monaten freigegeben werden, vermutlich zusammen mit iOS 27, iPadOS 27, macOS 27 und watchOS 27, die für Herbst erwartet werden. Die neuen Betriebssysteme stellt Apple am 8. Juni auf seiner Entwicklerkonferenz WWDC 2026 vor.

Bildanalyse, Live Recognition und mehr dank KI

Mit VoiceOver ist es bekanntermaßen möglich, sich die Oberfläche von Apple-Geräten erklären zu lassen, um sie dann direkt zu bedienen – etwa, wenn man sehbehindert ist. Die Funktion kann aber auch die Umgebung beschreiben. Mit dem sogenannten Image Explorer erlaubt es VoiceOver künftig, alle auf dem System auftauchenden Bilder zu analysieren. Dank Apple Intelligence soll das bei Fotos, Dokumenten, gescannten Rechnungen und mehr möglich sein – auch wenn es sich um reine Bilddateien handelt. Die verbesserte Lupe (Magnifier) nutzt ebenfalls KI, um die Umgebung zu beschreiben und stellt dies dann so dar, dass es auch Menschen mit geringer Sehkraft sehen können.

Die sogenannte Live Recognition über die Aktionstaste des iPhone erkennt, was im Sichtfeld ist und erlaubt das Stellen von Fragen – etwa, was auf einem Fahrstuhl gedruckt steht. Erstmals ist es möglich, Folgefragen zu stellen, die sich auf das bereits Gesagte beziehen. Voice Control, die Systemsteuerung per Sprache für Menschen, die das Apple-Gerät nicht oder nur schwer direkt bedienen können, versteht nun natürliche Sprache besser, was auf iPhone und iPad funktioniert. Statt bestimmte Bereiche des Bildschirms nennen zu müssen, können Benutzer beispielsweise sagen, dass der „gelbe Ordner“ geöffnet werden soll. Auch Knöpfe und Steuerelemente lassen sich so aktivieren. Das KI-gestützte Voice Control ist zudem hilfreich, wenn App-Entwickler nicht oder nur teilweise korrekte Labels für Bedienbereiche gesetzt haben.

Apple Intelligence macht Texte verständlicher

Weitere Neuerungen betreffen den sogenannten Accessibility Reader. Dieser bietet spezielle Lesemodi vorhandener Dokumente an, ausgerichtet etwa nach Sehvermögen oder Dyslexie. Das System kann etwa wissenschaftliche Artikel oder PDFs aufbereiten, kommt mit Bildern, Tabellen und mehreren Spalten klar. Dank Apple Intelligence sollen Analyse und Darstellung verbessert worden sein, auch eine integrierte Übersetzung ist vorhanden. Schließlich gibt es Zusammenfassungen und tiefe Konfigurationsmöglichkeiten, was Schrift, Farbe und Layout betrifft.

Zunächst leider nur für das US-Englische vorgesehen ist eine neue KI-Untertitelfunktion. Diese ist für alle Videos – also auch solche, die man selbst aufgenommen hat – verfügbar und lässt sich beliebig an- und ausschalten. Apple teilte nicht mit, wann es weitere Sprachvarianten gibt. Da die Technik seit Jahren etwa bei YouTube mehrsprachig zum Einsatz kommt, bleibt eine baldige Umsetzung zu erhoffen. Bis dahin lassen sich die vorhandenen Live-Untertitel verwenden.

Vision Pro steuert Rollstuhl per Augentracking

Eine beeindruckende neue Funktion hat Apple im Zusammenhang mit seinem Headset Vision Pro demonstriert: Zusammen mit TOLT Technologies und LUCI wird es eine Software geben, bei der man einen Rollstuhl über Augentracking steuern kann. Nutzer müssen dazu nur auf bestimmte virtuelle Buttons im Sichtfeld schauen. Die Technik funktioniert sowohl über Bluetooth als auch drahtgebunden (wobei unklar blieb, ob dann ein Dev Strap notwendig ist) und soll dank API künftig auch anderen Anbietern voll motorisierten Rollstühlen zur Verfügung gestellt werden. Preise nannte Apple nicht, doch allein die Vision Pro kostet mindestens 3700 Euro.

Apple wollte auf Nachfrage nicht mitteilen, wie stark serverbasierte KI für die neuen Funktionen verwendet wird. Wie bei Apple Intelligence üblich, teilt sich die Benutzung auf lokale Modelle und solche in Apples Private-Cloud-Compute-Umgebung (PCC) auf. Die Frage ist nun, was passiert, wenn man beispielsweise in einer U-Bahn-Station steht, in der kein Mobilfunkempfang verfügbar ist. Welche Fallback-Mechanismen hier geplant sind, muss erst die Erprobung zeigen. Apple teilte wie üblich nicht mit, wann die neuen Features kommen und ob sie Teil der Betaversionen von iOS 27 und Co. sein werden. Funktionen zur Barrierefreiheit sind oft auch für Menschen ohne Handicap sehens- und nutzenswert. Oft landen sie auch in abgewandelter Form im „normalen“ Betriebssystem.

(bsc)