Wer Siri bisher nach etwas gefragt hat, musste immer alles erklären. Die Software-Assistenz wusste nicht einmal, was auf ihrem eigenen Bildschirm steht. Das ändert sich mit iOS 27 grundlegend: Die neue Siri weiß, was der Nutzer gerade vor sich sieht – und handelt entsprechend. Sebastien Marineau-Mes, Apples Vice President of Software, demonstrierte die Funktion live in einem Tech-Talk im Zuge der Entwicklerkonferenz WWDC am Apple-Hauptsitz in Cupertino.

Die neue Siri analysiert in Echtzeit drei Arten von Bildschirminhalt: Text – etwa in Webseiten, Notizen oder Dokumenten –, App-Oberflächen mit Buttons, Beschriftungen und Grafiken sowie Bilder. Daraus entsteht ein Kontextbild, das Siri bei jeder Anfrage automatisch mitbekommt. Neben ihrer neuen Fähigkeit, natürliche Sprache zu verstehen, soll dies Nutzereingaben immens erleichtern.

Marineau-Mes zeigte das anhand eines Fotos, das eine ungewöhnliche Wolkenformation zeigte. Ohne jede Erklärung, was auf dem Bild zu sehen war, fragte er: „Warum sehen die Wolken so aus und wo kann man sie in der Bucht sehen?“ Siri erkannte die Wolken als marine Inversion, wie sie in Meeresnähe vorkommt, lieferte eine Erklärung – und erstellte auf Nachfrage direkt eine Notiz mit einem Tagesplan für einen Ausflug zum erkannten Mount Tamalpais in Kalifornien.

Nutzer müssen nicht mehr die Sprache von Siri sprechen

Was technisch unspektakulär klingt, ist konzeptionell ein Bruch mit der bisherigen Funktionsweise von Sprachassistenten. Marineau-Mes nannte zwei Alltagsbeispiele: Schickt ein Freund eine Nachricht mit einem Konzerttermin, reicht die Frage „Habe ich heute Zeit?“ – Siri liest Datum und Uhrzeit aus der Nachricht auf dem Bildschirm. Schreibt die Ehefrau beim Heimfahren, wo sie ihren Ehemann spontan auf einen Kaffee treffen möchte, genügt „Wie weit ist das entfernt?“ – ohne Adresse, ohne App-Wechsel.

„Man muss Siri diesen Kontext nicht mitteilen, da Siri ihn bereits kennt“, sagte Marineau-Mes. Der Nutzer soll nicht mehr darüber nachdenken müssen, was und wie er es Siri erklären muss – der Assistent soll einfach verstehen, womit man gerade beschäftigt ist.

Die Datenschutzfrage

On-Screen Awareness wirft gleichwohl eine offensichtliche Frage auf: Was passiert mit dem, was Siri sieht? Im Prinzip könnte das System jeden Bildschirminhalt erfassen – Bankdaten, private Nachrichten, vertrauliche Dokumente. Marineau-Mes sprach das direkt an: „Man kann Siri über alles befragen, was auf dem Bildschirm zu sehen ist“ – und genau deshalb sei Private Cloud Compute hier zentral, Apples Ansatz für besonders datenschutzsichere Cloud-Server. Was Siri auf dem Bildschirm sieht, wird wie alle anderen Anfragen behandelt: nur temporär verarbeitet, nicht gespeichert, nicht geloggt. Apple selbst habe keinen Zugriff darauf.

Ob das Versprechen hält, soll sich technisch überprüfen lassen – Apple hat PCC für externe Sicherheitsforscher geöffnet. Dies soll auch weiterhin gelten, wenn PCC-Server in Googles Rechenzentren stehen und Apple dabei Technologien aus Googles Gemini-Familie für seine eigenen Apple Foundation Models einsetzt. Für Nutzer bleibt es letztlich eine Vertrauensfrage.

Wie Siri aufgerufen wird

On-Screen-Awareness ist nicht auf eine bestimmte Eingabemethode beschränkt. Die neue Siri lässt sich per Sprache, per Seitentaste, durch Herunterziehen der Dynamic Island, über Kontextmenüs oder über Schaltflächen in App-Oberflächen aufrufen – und hat in jedem Fall Zugriff auf den aktuellen Bildschirminhalt.

Damit die neuen On-Screen-Awareness-Fähigkeiten auch in Dritt-Apps funktionieren, nimmt Apple die Entwickler mit ins Boot: Für sie wurden zwei Schnittstellen (APIs) bereitgestellt. UserActivity eignet sich, wenn ein einzelnes primäres Element im Vordergrund steht, etwa ein geöffnetes Dokument. View Annotations hingegen kommen zum Einsatz, wenn mehrere Elemente gleichzeitig sichtbar sind – zum Beispiel Nachrichten in einer Liste.

Ein Vorteil: Wer seine App bereits mit App Entities und App Intents ausgestattet hat, muss nur noch die Views entsprechend annotieren. Der zusätzliche Aufwand hält sich damit in Grenzen. Noch mächtiger wird On-Screen-Awareness in Kombination mit Content Transfer – dann kann Siri erkannte Inhalte direkt an andere Apps weitergeben, etwa eine angezeigte Nachricht an die Mail-App übergeben, um sie dort weiterzuleiten.

Was noch fehlt

On-Screen-Awareness klingt nach dem, was Google mit Android schon länger unter dem Begriff „Now on Tap“ versucht hat. Der Unterschied liegt im Anspruch: Apples Ansatz ist tiefer ins System integriert, verarbeitet Bilder nativ auf dem Gerät dank des neuen KI-Modells AFM 3 Core Advanced – und ist, zumindest dem Versprechen nach, vollständig privat. Ob das im Alltag so funktioniert wie in der kuratierten Demo, wird sich in den kommenden Monaten zeigen und spätestens im Herbst, wenn die finalen Versionen die Nutzer erreichen – im Falle der Europäischen Union leider noch mit ungewissem Ausgang: Apple hat angekündigt, Siri AI vorerst nicht für EU-iPhones und iPads freizugeben. Auf dem Mac soll Siri AI aber auch in die EU kommen. Vorerst allerdings weltweit zunächst in englischer Sprache.

(mki)

Katalyst Space Technologies hat die Vorbereitungen für eine historische Raumfahrtmission zur Rettung eines NASA-Weltraumteleskops abgeschlossen. In den kommenden Tagen soll es losgehen. Das geht aus einer Stellungnahme des US-Raumfahrtunternehmens und Medienberichten hervor. Demnach wurde das „robotische Raumschiff LINK“ auf der Rakete des Typs Pegasus XL angebracht und kann jetzt zu den Marshallinseln im Pazifik transportiert werden. Dort soll sie von einem speziellen Flugzeug aus gestartet werden. Zwei Wochen später soll sich das Raumschiff dem Weltraumteleskop Swift nähern und es inspizieren. Danach soll es das Instrument greifen und langsam in eine höhere Umlaufbahn schieben, damit es dort die Forschung wiederaufnehmen kann.

Für die Forschung zu wertvoll

Neil Gehrels Swift Observatory wurde 2004 gestartet, damals hieß das Gerät nur Swift. Das Weltraumteleskop untersucht primär Gammastrahlenblitze, „die stärksten Explosionen im Universum“. An Bord hat es drei verschiedene Forschungsinstrumente, die im sichtbaren, im ultravioletten, im Röntgen- und im Gammaspektrum arbeiten. Von zentraler Bedeutung ist dabei das Burst Alert Telescope (BAT), das zu jeder Zeit etwa ein Sechstel des Himmels abdeckt und dort Gammablitze entdecken kann. Wenn einer entdeckt wird, kann es die anderen Instrumente rasch darauf ausrichten, Observatorien auf der Erde können nachziehen. Während seines Betriebs hat das Gerät unzählige Ereignisse beobachtet. 2018 wurde es zu Ehren des verstorbenen Forschungsleiters umbenannt.

In den vergangenen Jahren hat die verstärkte Sonnenaktivität nun aber dafür gesorgt, dass die Ausläufer der Erdatmosphäre Swift stärker abbremsen als ursprünglich erwartet. Ohne Gegenmaßnahme würde es wahrscheinlich in Monaten abstürzen. Um das zu verhindern, hat die NASA Katalyst deshalb 30 Millionen US-Dollar bezahlt. Im Gegenzug sollte Katalyst in Rekordzeit ein Raumfahrzeug fertigstellen, das den Orbit von Swift anheben kann. Das sollte ursprünglich im Frühjahr dieses Jahres geschehen, jetzt soll es bis Ende Juni losgehen. Im Winter hat die NASA Swift weitgehend deaktiviert, damit das Weltraumteleskop durch die Drehungen um sich selbst nicht zu stark absinkt. Damit es gerettet werden kann, darf es nicht unter 300 km sinken.

Was man bei Katalyst in gerade einmal acht Monaten geschafft habe, sei „außergewöhnlich“, sagt Ghonhee Lee, CEO der Firma. Das Team habe den Weltraumroboter in dieser Zeit entworfen, gebaut, getestet und fertiggestellt, jetzt stehe eine der „ehrgeizigsten kommerziellen Wartungsmissionen“ an, die jemals in Angriff genommen worden sei. Normalerweise benötigen diese Vorbereitungsschritte einer Weltraummission Jahre, der jetzige Zeitplan sei „geradezu verrückt“, heißt es auch von der NASA. Sollte die Mission klappen, würde das beweisen, dass man das übliche Prozedere enorm beschleunigen kann. Wann die Mission starten soll, schreibt Katalyst nicht, laut NextSpaceflight.com soll es am 27. Juni losgehen.

(mho)

Menschen, die Tag für Tag unzählige Chats mit Claude, ChatGPT & Co. führen, Personen, die von KI-Systemen offenbar in den Selbstmord getrieben werden – oder Leute, die meinen, ein großes Sprachmodell sei ihr Partner fürs Leben: All diese merkwürdigen psychologischen Effekte Künstlicher Intelligenz sind längst Alltag. Bei Apples Siri AI soll das aber möglichst nicht passieren: Der iPhone-Hersteller hat dazu diverse „Guard Rails“ implementiert. Das berichten sowohl Nutzer der aktuellen Beta des KI-fizierten Sprachassistenzsystems als auch Leak-Experten, die entsprechende Strings im iOS-27-Code entdeckt haben.

Keine KI-Freundin, dafür Stundenzählerin

Versuche, Siri AI zum „AI girlfriend“ zu machen, scheinen zum Beispiel zu scheitern. Die Ex-Wall-Street-Journal-Tech-Reporterin Joanna Stern versuchte zum Beispiel über mehrere Tage, Siri zu ihrer Freundin „oder darüber hinaus“ zu machen. So erklärt die Sprachassistenz weder ihre Liebe noch versucht sie, Nutzern therapeutische Tipps zu geben. Auch bei medizinischen Problemstellungen – die etwa ChatGPT freudig zu diagnostizieren versucht –, reagiert Siri AI ablehnend.

Auch das Thema Chatbot-Sucht scheint man bei Apple im Hinterkopf behalten zu haben. Siri AI überwacht offenbar, wie lange einzelne Konversationen dauern – und gibt dann eine „Mach‘ mal Pause“-Meldung aus. Das geschieht allerdings laut Nachforschungen des Leak-Experten Aaron Perris erst nach mehreren Stunden. Siri AI gibt außerdem aus, dass das System „kein Mensch“ („not a person“) sei. Bislang sind beide Strings noch nicht bei Betatestern aufgetaucht, daher lässt sich noch nicht sagen, wann genau sie auftauchen.

Siri AI setzt Apple-Versprechungen um

Tester der aktuellen Beta von Siri AI loben, dass es Apple tatsächlich gelungen ist, die vor zwei Jahren angekündigten Funktionen umzusetzen. Das gilt insbesondere für die kontextbezogene Nutzung. Da auf dem iPhone oftmals das halbe Leben eines Nutzers zu finden ist, kann die Sprachassistenz somit sehr hilfreich sein. Apple betont, dass weder dem Konzern noch seinen Dienstleistern Daten offengelegt werden, auch in der Cloud sind sie so verschlüsselt, dass selbst Administratoren nicht herankommen.

Momentan erhalten Developer nur gestaffelt Zugriff auf Siri AI. Nach Installation der Betas von iOS 27, iPadOS 27 und macOS 27 müssen sich diese auf eine Warteliste setzen lassen, die nach und nach geöffnet wird. (Nutzer mit Apple-Store-ID aus der EU dürfen grundsätzlich nicht mitmachen.) Es gibt Klagen über vergleichsweise langsame Cloud-Antwortzeiten.

(bsc)