Jeder Windows-PC als KI-PC: Neuer Copilot soll Windows mit Sprache und Vision steuern

Windows 11 25H2 hatte zum Start noch keine Neuerungen, heute kündigt Microsoft aber zahlreiche neue KI-Funktionen an. Im Mittelpunkt steht der Copilot-Assistent, der nun den Bildschirm sieht und direkt mit Dateien und Diensten interagieren kann.

Was Microsoft heute für die Allgemeinheit freigibt, sind Funktionen, die teils schon vor Jahren angekündigt worden sind. Das gilt etwa für Copilot Vision – eine KI-Funktion, die für sämtliche Windows-11-Nutzer verfügbar ist. Und nicht nur für den Copilot+ PC.

Copilot Vision: Der KI-Assistent sieht mit

Der Clou bei Copilot Vision ist, dass der KI-Assistent per Bildschirmfreigabe all das sieht, was auch der Nutzer sieht. Damit ist es dann möglich, den KI-Assistenten direkt zu den Inhalten zu befragen, die man gerade vor sich hat – also etwa Webseiten oder Dokumente.

Bei Word-, Excel- und PowerPoint-Dateien kann Vision zudem die komplette Datei auswerten. Bei einer PowerPoint-Präsentation gibt der Assistent also nicht nur Informationen zur aktuellen Seite, sondern analysiert das komplette Dokument, ohne dass man es durchklicken müsste.

Mit der Highlight-Funktion kann der Copilot direkt Hinweise geben, also etwa mitteilen, wo man in einer App hinklicken muss.

Copilot Vision mit Text steuern

Bislang arbeitet Copilot Vision nur mit dem Sprachmodus. Künftig soll es aber auch möglich sein, den Assistenten während des Screensharings via Text-Eingaben zu steuern. Es muss also nicht nur das gesprochene Wort sein.

Gaming Copilot: KI-Assistent für Spiele

Die Copilot-Vision-Funktion nutzt Microsoft auch für den Gaming Copilot, der nun direkt in die Game Bar auf Windows PCs integriert ist. Noch handelt es sich um eine Beta-Version, die soll im Kern aber eines der Versprechen einlösen, die Microsoft zum Start der Copilot+-Ära machte: Der KI-Assistent ist etwa bei Spielen wie Minecraft in der Lage, dem Spieler während des Spielens Tipps zu geben. Starten lässt sich der Gaming Copilot in der Xbox-PC-App über die Tastenkombination Windows+G.

Abrufbar ist der KI-Assistent auch auf den Xbox-Handheld-Konsolen. Unterstützt werden bereits das ROG Xbox Ally und ROG Xbox Ally X (Test) von Asus.

Copilot Connectors: Direkte Anbindung an OneDrive, Outlook oder Gmail

Für Windows Insider vorbehalten ist noch die Connector-Funktion. Mit der lässt sich der KI-Assistent mit Diensten wie OneDrive, Outlook oder Google Diensten wie Drive, Kalender und Gmail verknüpfen. Der KI-Assistent erhält dann direkten Zugang zu Kontakten, E-Mails, Kalender-Einträgen und Dokumenten. Diese Informationen lassen sich dann nutzen, um bestimmte Aufgaben zu erfüllen. Das zählen etwa Recherchen zu bestimmten Terminen oder die Suche nach Dokumenten zu bestimmten Themen mit natürlicher Sprache.

Copilot als digitaler Alltagshelfer

Klar ist das Ziel, das Microsoft erneut formuliert hat: Der Copilot soll zum digitalen Alltagshelfer werden, den Nutzer mit natürlicher Sprache steuern können. Sei es per Texteingabe oder mit gesprochener Sprache.

Copilot in der Taskleiste

Daher rückt der Copilot auch an mehr Stellen in das Sichtfeld. In der Taskleiste erscheint der Copilot nun etwa im Suchfenster, ist also schnell aufrufbar.

Ebenso ist es nun via Copilot möglich, nach Windows-Einstellungen zu fragen. Wer etwa den Bildschirm heller einstellen will, soll über den Copilot direkt zu den jeweiligen Optionen gelangen. Dort kann man dann die Änderungen vornehmen.

Was auffällig ist: In der Anfangszeit des Copilot sollte der KI-Assistent noch selbst die Einstellungen ändern. Diese Funktion fehlt immer noch.

KI-Aktion im File Explorer

Leichter werden soll der Zugang zu den KI-Tools mit den „AI Actions“. Wenn man eine Datei öffnet, erscheint im Datei-Explorer eine Art Kontextmenü, das passende Hilfestellung anbietet. Zum Start gibt es bei Bilddateien etwa die Optionen, eine visuelle Suche in Bing zu starten oder Bearbeitungen in der Windows-Foto-App oder Paint vorzunehmen.

Über die KI-Aktionen lassen sich auch externe Dienste integrieren. Dazu zählt etwa der KI-Agent Manus oder Anbieter wie Filmora und Zoom. Zoom lässt sich auch über die Click to Do auf Copilot+ PCs steuern, diese Funktion befindet sich aber noch im Windows-Insider-Programm. Inwieweit die KI-Aktionen verfügbar sind, unterscheidet sich nach Region.

Der neue Agent: Copilot Actions

In den Copilot Labs testet Microsoft nun auch die Copilot Actions. Dabei handelt es sich um einen KI-Agenten, der eigenständig Aufgaben erfüllen soll. Als beim Firmenjubiläum im Mai die Copilot-Action-Funktion für die Web-Version vorgestellt wurde, präsentierte Microsoft etwa, wie der KI-Assistent einen Tisch im Restaurant bucht.

Copilot Actions in der Windows-App soll hingegen klassische Desktop-Aufgaben übernehmen. Beispiele sind das Sortieren von Urlaubsfotos oder die Recherche in PDFs.

Noch befindet sich Copilot Actions aber in einem experimentellen Status. Bald soll es aber für Windows Insider verfügbar sein.

Lange Liste an Neuerungen

Umfassend ist generell die Liste an Neuerungen, die Microsoft präsentiert. Vieles von dem, was in den letzten Monaten in den Insider-Versionen von Windows 11 landete, wird nun freigegeben. Dazu zählen:

• Windows 11 unterstützt Wi-Fi 7.
• Sicherheit: Ein optisches Upgrade für Windows Hello, die Integration eines Passkey-Managers sowie verbesserte Kernel-Sicherheit.
• Optische Verbesserungen, die etwa den Benachrichtigungsbereich, die Taskleiste und den Datei-Explorer betreffen.
• Der Kommandozeilen-Editor Microsoft Edit wird verteilt.
• Copilot+ PCs: Verbesserungen gibt es unter anderem bei der KI-Suche Recall und Click to do.
• Windows-Apps wie Paint und das Snipping-Tool erhalten kleinere Optimierungen.

Voraussetzung für die Funktionen ist Windows 11 25H2. Einige erscheinen zudem vorerst noch im Windows-Insider-Programm oder sind auf bestimmte Regionen begrenzt.