Digitale Avatare erhalten ein realistisches Update: Mit OmniAvatar hat die Alibaba Group gemeinsam mit der Zhejiang-Universität ein Open-Source-Modell veröffentlicht, das sprachgesteuerte, ganzkörperanimierte Videos generiert. Anders als viele bestehende Ansätze beschränkt sich die Technologie nicht auf die Synchronisation von Lippenbewegungen, sondern erlaubt komplexe Körpersprache, Emotionen und sogar Objektinteraktionen. Das KI-Tool markiert damit einen neuen Standard für automatisierte Videoproduktion. Auf der Projektseite demonstriert ein Video, welches kreative und technische Potenzial das Modell für die KI-Videoproduktion bietet.

Nach DeepSeek:
Jetzt bringt auch Alibaba neue Super-KI

Vom Sprachsignal zur Körpersprache: So funktioniert OmniAvatar

Im Zentrum von OmniAvatar steht ein multimodales KI-System, das Audiodaten, Bilder und Text-Prompts miteinander verknüpft. Das Audio wird mit einem Wav2Vec-Modell analysiert, das Sprachmerkmale auf Frame-Ebene extrahiert. Diese Merkmale werden in ein latentes Raumformat übertragen und mit visuellen Informationen aus einem Referenzbild kombiniert. Ein LoRA-basiertes Training erlaubt es dem Modell, zusätzliche Steuerungspunkte wie Emotionen, Gesten oder Blickrichtungen präzise zu integrieren – bei gleichzeitiger Effizienz und Wiederverwendbarkeit.

Die präzise Steuerung ist laut den Entwickler:innen durch eine pixelweise, multihierarchische Audioeinbettung möglich. Diese trägt entscheidend zur exakten Lippensynchronisation bei und verbessert laut der Veröffentlichung sogar die Generalisierungsfähigkeit über verschiedene Szenen hinweg. Einen praktischen Eindruck vermitteln Demos wie ein Beispiel für eine natürliche Präsentation oder ein Avatar in freier Gestikulation.

Regiefunktion per Prompt: OmniAvatar als Baukasten für Videokommunikation

Besonders bemerkenswert an OmniAvatar ist die intuitive Steuerung über einfache Texteingaben. Nutzer:innen können per Prompt bestimmen, ob der Avatar lächeln, überrascht oder wütend wirken soll – oder ob die Szene etwa in einem Cybercafé oder unter einem Zitronenbaum spielt. In diesem Beispielvideo erscheint die Figur in einer natürlichen Umgebung, während die Kamera langsam herauszoomt.

Diese Steuerungslogik macht OmniAvatar besonders interessant für den Einsatz in Marketing, Medienproduktion oder im Bildungsbereich. Laut einem Post von AI-Entwickler luokai sei die Steuerung so intuitiv, dass sich Anwendungen wie Podcast-Moderationen, virtuelle Präsentationen oder gesungene Performances in hoher Qualität realisieren lassen – ohne klassisches Motion Capturing.