Meta macht das Handgelenk zur Computerschnittstelle

Meta publizierte die Forschung in der Zeitschrift Nature und beschreibt dort, was das Armband leistet: Es erkennt frei in der Luft ausgeführte Pinch-, Tap- und Swipe-Gesten, erlaubt die Steuerung eines eindimensionalen Cursors durch Handgelenksbewegungen und ermöglicht das Schreiben von Wörtern, indem Nutzer mit dem Zeigefinger Buchstaben auf eine feste Oberfläche nachzeichnen. Das kann ein Tisch oder das eigene Bein sein.

Die Innenseite des Armbands ist mit 48 Trockenelektroden ausgestattet, die elektrische Muskelsignale am Handgelenk erfassen. Ein von Meta trainiertes KI-Modell analysiert diese Signale, erkennt darin individuelle Muster und deutet sie in die beschriebenen Computerbefehle um. Anders als bei herkömmlicher Elektromyografie (EMG), bei der Nadeln in die Haut geführt werden, erfasst das Armband die Signale non-invasiv über die Hautoberfläche, ein Verfahren, das sEMG (surface electromyography) heißt. Trotz dieser Einschränkung erreiche das System eine bemerkenswert hohe Bandbreite beim Dekodieren der Muskelsignale.

Meta trainierte das KI-Modell mit Daten von über 6.500 Probanden und entwickelte damit nach eigenen Angaben die erste neuromotorische Schnittstelle, die bei einer breiten Bevölkerungsschicht ohne individuelles Training oder Kalibrierung zuverlässig funktioniert.

Metas Armband: Markteinführung in Sicht

Testpersonen schrieben mit dem System rund 21 Wörter pro Minute (Medianwert), indem sie Buchstaben auf einer Oberfläche nachzeichneten. Durch personalisierte Modelle ließ sich dieser Wert weiter steigern, heißt es in der Forschungsarbeit. Dennoch liegt die Eingabegeschwindigkeit noch weit hinter dem Tippen auf digitalen Smartphone-Tastaturen (ca. 30–40 WPM) und physischen Computertastaturen (ca. 40–50 WPM) zurück.

Meta entwickelte das Armband mit dem Ziel, AR-Brillen ohne zusätzliche Eingabegeräte wie Touch-Displays, Tastaturen und Controller bedienen zu können. Die integrierte Schreibfunktion würde sich in diesem Kontext etwa zum Verfassen von Textnachrichten eignen. Durch die Erkennung subtiler Pinch-, Tap- und Swipe-Gesten ermöglicht das Armband zudem eine unauffällige Alternative zur Sprachsteuerung oder Gestenerkennung per optischem Handtracking, das in der Öffentlichkeit eher selten zur Anwendung kommen dürfte. Mit dem Armband reichen Mikrogesten und die Hand kann dabei in der Hosentasche bleiben.

Die Geschichte des Armbands reicht weit zurück und basiert auf Technologie des Start-ups CTRL Labs. Knapp sechs Jahre nach der Übernahme des Start-ups durch Meta rückt die Kommerzialisierung des Armbands in greifbare Nähe: 2024 demonstrierte das Unternehmen einen stark fortgeschrittenen Produktprototyp in Kombination mit der AR-Brille Orion und glaubt man einem Bloomberg-Bericht, könnte das Armband noch 2025 erscheinen und zur Steuerung einer neuen Smartbrille mit Display dienen.

Eine Eingabemethode, die vom Menschen lernt

Unabhängig davon besitzt die Kombination aus sEMG-Technologie und Künstlicher Intelligenz großes Zukunftspotenzial für die Mensch-Computer-Interaktion. Die Hoffnung geht dahin, dass sich Eingabemethoden künftig dem Menschen anpassen und nicht länger umgekehrt. Lernfähige KI-Modelle könnten individuelle Steuerungsmuster erkennen und übernehmen. So könnte etwa die Art, wie eine Mikrowelle bedient wird, automatisch auf die persönliche Bedienlogik eines Individuums zugeschnitten werden, ohne dass das Gerät eigens dafür programmiert werden müsste.

Auch in der Therapie könnte die Technologie Nutzen stiften. In einer von Meta unterstützten Studie war ein Schlaganfallpatient mithilfe eines sEMG-Armbands in der Lage, alle Finger einer virtuellen Hand zu bewegen, obwohl er seine physischen Finger nicht mehr strecken konnte: Das Armband konnte am Handgelenk allerfeinste Restaktivitäten erkennen und in Computerbefehle umsetzen. In einer weiteren Studie entwickelten Personen mit starken Bewegungseinschränkungen infolge von Muskelschwund und Rückenmarksverletzungen individuelle Gesten für typische Computerinteraktionen.

Die Forschungsarbeit ist frei im Internet zugänglich.

(tobe)