Wer Siri bisher nach etwas gefragt hat, musste immer alles erklären. Die Software-Assistenz wusste nicht einmal, was auf ihrem eigenen Bildschirm steht. Das ändert sich mit iOS 27 grundlegend: Die neue Siri weiß, was der Nutzer gerade vor sich sieht – und handelt entsprechend. Sebastien Marineau-Mes, Apples Vice President of Software, demonstrierte die Funktion live in einem Tech-Talk im Zuge der Entwicklerkonferenz WWDC am Apple-Hauptsitz in Cupertino.

Die neue Siri analysiert in Echtzeit drei Arten von Bildschirminhalt: Text – etwa in Webseiten, Notizen oder Dokumenten –, App-Oberflächen mit Buttons, Beschriftungen und Grafiken sowie Bilder. Daraus entsteht ein Kontextbild, das Siri bei jeder Anfrage automatisch mitbekommt. Neben ihrer neuen Fähigkeit, natürliche Sprache zu verstehen, soll dies Nutzereingaben immens erleichtern.

Marineau-Mes zeigte das anhand eines Fotos, das eine ungewöhnliche Wolkenformation zeigte. Ohne jede Erklärung, was auf dem Bild zu sehen war, fragte er: „Warum sehen die Wolken so aus und wo kann man sie in der Bucht sehen?“ Siri erkannte die Wolken als marine Inversion, wie sie in Meeresnähe vorkommt, lieferte eine Erklärung – und erstellte auf Nachfrage direkt eine Notiz mit einem Tagesplan für einen Ausflug zum erkannten Mount Tamalpais in Kalifornien.

Nutzer müssen nicht mehr die Sprache von Siri sprechen

Was technisch unspektakulär klingt, ist konzeptionell ein Bruch mit der bisherigen Funktionsweise von Sprachassistenten. Marineau-Mes nannte zwei Alltagsbeispiele: Schickt ein Freund eine Nachricht mit einem Konzerttermin, reicht die Frage „Habe ich heute Zeit?“ – Siri liest Datum und Uhrzeit aus der Nachricht auf dem Bildschirm. Schreibt die Ehefrau beim Heimfahren, wo sie ihren Ehemann spontan auf einen Kaffee treffen möchte, genügt „Wie weit ist das entfernt?“ – ohne Adresse, ohne App-Wechsel.

„Man muss Siri diesen Kontext nicht mitteilen, da Siri ihn bereits kennt“, sagte Marineau-Mes. Der Nutzer soll nicht mehr darüber nachdenken müssen, was und wie er es Siri erklären muss – der Assistent soll einfach verstehen, womit man gerade beschäftigt ist.

Die Datenschutzfrage

On-Screen Awareness wirft gleichwohl eine offensichtliche Frage auf: Was passiert mit dem, was Siri sieht? Im Prinzip könnte das System jeden Bildschirminhalt erfassen – Bankdaten, private Nachrichten, vertrauliche Dokumente. Marineau-Mes sprach das direkt an: „Man kann Siri über alles befragen, was auf dem Bildschirm zu sehen ist“ – und genau deshalb sei Private Cloud Compute hier zentral, Apples Ansatz für besonders datenschutzsichere Cloud-Server. Was Siri auf dem Bildschirm sieht, wird wie alle anderen Anfragen behandelt: nur temporär verarbeitet, nicht gespeichert, nicht geloggt. Apple selbst habe keinen Zugriff darauf.

Ob das Versprechen hält, soll sich technisch überprüfen lassen – Apple hat PCC für externe Sicherheitsforscher geöffnet. Dies soll auch weiterhin gelten, wenn PCC-Server in Googles Rechenzentren stehen und Apple dabei Technologien aus Googles Gemini-Familie für seine eigenen Apple Foundation Models einsetzt. Für Nutzer bleibt es letztlich eine Vertrauensfrage.

Wie Siri aufgerufen wird

On-Screen-Awareness ist nicht auf eine bestimmte Eingabemethode beschränkt. Die neue Siri lässt sich per Sprache, per Seitentaste, durch Herunterziehen der Dynamic Island, über Kontextmenüs oder über Schaltflächen in App-Oberflächen aufrufen – und hat in jedem Fall Zugriff auf den aktuellen Bildschirminhalt.

Damit die neuen On-Screen-Awareness-Fähigkeiten auch in Dritt-Apps funktionieren, nimmt Apple die Entwickler mit ins Boot: Für sie wurden zwei Schnittstellen (APIs) bereitgestellt. UserActivity eignet sich, wenn ein einzelnes primäres Element im Vordergrund steht, etwa ein geöffnetes Dokument. View Annotations hingegen kommen zum Einsatz, wenn mehrere Elemente gleichzeitig sichtbar sind – zum Beispiel Nachrichten in einer Liste.

Ein Vorteil: Wer seine App bereits mit App Entities und App Intents ausgestattet hat, muss nur noch die Views entsprechend annotieren. Der zusätzliche Aufwand hält sich damit in Grenzen. Noch mächtiger wird On-Screen-Awareness in Kombination mit Content Transfer – dann kann Siri erkannte Inhalte direkt an andere Apps weitergeben, etwa eine angezeigte Nachricht an die Mail-App übergeben, um sie dort weiterzuleiten.

Was noch fehlt

On-Screen-Awareness klingt nach dem, was Google mit Android schon länger unter dem Begriff „Now on Tap“ versucht hat. Der Unterschied liegt im Anspruch: Apples Ansatz ist tiefer ins System integriert, verarbeitet Bilder nativ auf dem Gerät dank des neuen KI-Modells AFM 3 Core Advanced – und ist, zumindest dem Versprechen nach, vollständig privat. Ob das im Alltag so funktioniert wie in der kuratierten Demo, wird sich in den kommenden Monaten zeigen und spätestens im Herbst, wenn die finalen Versionen die Nutzer erreichen – im Falle der Europäischen Union leider noch mit ungewissem Ausgang: Apple hat angekündigt, Siri AI vorerst nicht für EU-iPhones und iPads freizugeben. Auf dem Mac soll Siri AI aber auch in die EU kommen. Vorerst allerdings weltweit zunächst in englischer Sprache.

(mki)

Menschen, die Tag für Tag unzählige Chats mit Claude, ChatGPT & Co. führen, Personen, die von KI-Systemen offenbar in den Selbstmord getrieben werden – oder Leute, die meinen, ein großes Sprachmodell sei ihr Partner fürs Leben: All diese merkwürdigen psychologischen Effekte Künstlicher Intelligenz sind längst Alltag. Bei Apples Siri AI soll das aber möglichst nicht passieren: Der iPhone-Hersteller hat dazu diverse „Guard Rails“ implementiert. Das berichten sowohl Nutzer der aktuellen Beta des KI-fizierten Sprachassistenzsystems als auch Leak-Experten, die entsprechende Strings im iOS-27-Code entdeckt haben.

Keine KI-Freundin, dafür Stundenzählerin

Versuche, Siri AI zum „AI girlfriend“ zu machen, scheinen zum Beispiel zu scheitern. Die Ex-Wall-Street-Journal-Tech-Reporterin Joanna Stern versuchte zum Beispiel über mehrere Tage, Siri zu ihrer Freundin „oder darüber hinaus“ zu machen. So erklärt die Sprachassistenz weder ihre Liebe noch versucht sie, Nutzern therapeutische Tipps zu geben. Auch bei medizinischen Problemstellungen – die etwa ChatGPT freudig zu diagnostizieren versucht –, reagiert Siri AI ablehnend.

Auch das Thema Chatbot-Sucht scheint man bei Apple im Hinterkopf behalten zu haben. Siri AI überwacht offenbar, wie lange einzelne Konversationen dauern – und gibt dann eine „Mach‘ mal Pause“-Meldung aus. Das geschieht allerdings laut Nachforschungen des Leak-Experten Aaron Perris erst nach mehreren Stunden. Siri AI gibt außerdem aus, dass das System „kein Mensch“ („not a person“) sei. Bislang sind beide Strings noch nicht bei Betatestern aufgetaucht, daher lässt sich noch nicht sagen, wann genau sie auftauchen.

Siri AI setzt Apple-Versprechungen um

Tester der aktuellen Beta von Siri AI loben, dass es Apple tatsächlich gelungen ist, die vor zwei Jahren angekündigten Funktionen umzusetzen. Das gilt insbesondere für die kontextbezogene Nutzung. Da auf dem iPhone oftmals das halbe Leben eines Nutzers zu finden ist, kann die Sprachassistenz somit sehr hilfreich sein. Apple betont, dass weder dem Konzern noch seinen Dienstleistern Daten offengelegt werden, auch in der Cloud sind sie so verschlüsselt, dass selbst Administratoren nicht herankommen.

Momentan erhalten Developer nur gestaffelt Zugriff auf Siri AI. Nach Installation der Betas von iOS 27, iPadOS 27 und macOS 27 müssen sich diese auf eine Warteliste setzen lassen, die nach und nach geöffnet wird. (Nutzer mit Apple-Store-ID aus der EU dürfen grundsätzlich nicht mitmachen.) Es gibt Klagen über vergleichsweise langsame Cloud-Antwortzeiten.

(bsc)

Apple gibt Entwicklern auf dem iPhone zahlreiche neue Metriken zur Optimierung ihres Anwendungsvertriebs an die Hand – und setzt dabei offenbar erstaunlich aggressiv auf ein Tracking der App-Store-Nutzer. Das berichtet das deutsch-kanadische Sicherheitsforschungsteam Mysk. Demnach speichert der iPhone-Hersteller gar jeden einzelnen Buchstaben bei der Eingabe in Suchfelder inklusive Zeitstempel. Das Problem: Wer den App Store verwendet, bekommt dafür keine Opt-out-Möglichkeit – offenbar auch dann nicht, wenn man personalisierter Werbung auf dem iPhone durch Apple grundsätzlich widerspricht.

Neue Metriken für Entwickler

Möglicherweise steckt Apples neue „Personalized Collections“-Funktion hinter dem erhöhten Mitspeichern der App-Store-Aktivität – oder nutzt diese zumindest. Damit möchte Apple erfassen, welche Interessen User an Apps haben, um ihnen dann algorithmisch passende Vorschläge zu machen. Sogenannte App Notes sollen zudem erklären, warum die Empfehlungen kamen – was an Mechanismen von Facebook oder Google erinnert, die Nutzern ihre interessenbasierte Reklame ebenfalls auf ihren Websites erklären (und sogar konfigurierbar machen).

Die Gruppe Mysk entdeckte die Speicherei auf simplem Weg, wie das Team auf X mitteilte: Die Daten fanden sich in Apples „Privacy Takeout“-Material, das man über privacy.apple.com anfordern kann, da dies gesetzlich so vorgeschrieben ist (etwa durch die DSGVO in Europa). Mysk zufolge handelt es sich bei den Informationen um App-Analytics-Daten, nicht um Endpoint-Infos für die App-Suche selbst. Mysk gelang es sogar, einen 1000 Zeichen langen Text, der in das Suchfeld des App Store eingefügt wurde, wiederzufinden – er war mit der Nutzer-ID verknüpft und landete in Apples Daten, obwohl die Eingabetaste nicht betätigt worden war.

Keine neue Entwicklung

Weitere in den gespeicherten Daten zu findende Informationen betreffen laut Mysk die Zeit, die ein Nutzer in bestimmten App-Store-Bereichen verbringt, etwa wie viel in einer Beschreibung gescrollt wird. Auch alle App-Store-Links aus Browsern werden samt Referrer geloggt.

Laut Mysk ist die Datensammlung nicht neu und besteht in Teilen mindestens seit iOS 14. Durch die Verknüpfung mit der ID seien die Daten auch nicht anonym. Offenbar interessieren sich auch Strafverfolger für die Informationen, so wurde Mysk laut eigenen Angaben bereits 2022 von US-Behörden angesprochen, die Hilfe bei der Datenanalyse wünschten. In den USA läuft gegen die App-Store-Datensammelei seit mehreren Jahren eine Sammelklage von Nutzern.

(bsc)