ByteDance und Alibaba haben in China Funktionen aus ihrem KI-Angebot entfernt, mit denen Nutzer KI-Begleiter, fiktive Charaktere oder persönliche Assistenten mit festgelegtem Auftreten und Sprechstil erstellen konnten. Damit reagieren sie auf neue Vorschriften gegen Chatbots, die menschenähnliches Verhalten simulieren oder eine dauerhafte emotionale Bindung zu Nutzern aufbauen sollen. Die Regeln treten am 15. Juli 2026 in Kraft.

Am Freitagabend kündigte ByteDance an, in Chinas meistgenutztem KI-Chatbot Doubao eine Funktion abzuschalten, mit der Nutzer eigene KI-Figuren erstellen und anpassen können. Das berichtet die South China Morning Post. Ab Mitte Oktober sollen dazugehörige Daten zudem nicht mehr in der App einsehbar oder wiederherstellbar sein.

Am Samstag sei Alibaba mit einer ähnlichen Ankündigung für seine KI-App Qwen gefolgt: Entsprechende Funktionen würden kurzfristig deaktiviert, weitere Dienste und Funktionen am 15. Juli. Nutzer werden nach diesem Datum nicht mehr auf entsprechenden Einstellungen und frühere Unterhaltungen zugreifen können. Im Juni hat Tencent bereits eine ähnliche Funktion aus seiner KI-App für Endnutzer Yuanbao entfernt, schreibt das chinesische Medium.

China zieht Grenzen für KI-Begleiter

Die neuen Vorschriften wurden im April veröffentlicht (Seite der „Cyberspace Administration of China“). Sie wenden sich gegen KI-Dienste, die „Charaktermerkmale, Denkmuster und Kommunikationsstile echter Personen“ simulieren und Nutzern „emotionale Fürsorge, Begleitung und Unterstützung“ bieten. Die Regeln sollen unter anderem emotionale Abhängigkeit und Manipulation sowie mögliche Schäden für die körperliche oder psychische Gesundheit verhindern. Ausgenommen sind Kundenservice-Bots, Wissens-Chatbots, Arbeitsassistenten sowie Bildungs- und Forschungswerkzeuge, sofern sie nicht auf eine dauerhafte emotionale Interaktion abzielen.

Mit den Maßnahmen antwortet die Regierung auf eine Problematik, die besonders in den USA für Schlagzeilen und Gerichtsverfahren gesorgt hat. In mehreren Klagen werfen Angehörige KI-Anbietern vor, dass ihre KI-Chatbots Minderjährige und Erwachsene in emotionale Abhängigkeiten verwickelt, psychische Krisen verstärkt und zu Suiziden beigetragen hätten.

Die Fälle verweisen auf ein Grundproblem vieler KI-Chatbots: Sie können Nähe, Verständnis und Verbindlichkeit simulieren und neigen zugleich zu übermäßig bestätigendem Verhalten. Dadurch können sie problematische Annahmen oder fragile emotionale Zustände verstärken, statt ihnen zu widersprechen oder Nutzer zuverlässig an menschliche Hilfe zu verweisen.

Die South China Morning Post berichtet von Nutzern, die mit Unverständnis auf die Abschaltungen reagieren. „Warum werden die Agenten entfernt? Sie waren so lange unsere emotionale Stütze“, soll ein Nutzer auf der chinesischen Social-Media-Plattform Weibo geschrieben haben.

(tobe)

Deutsche Sicherheitsbehörden durchleuchten den zivilen Luftverkehr in immer größerem Ausmaß. Die Fluggastdatenzentralstelle des Bundeskriminalamts (BKA) und das zugehörige Informationssystem verarbeiteten 2025 insgesamt 627.904.616 Fluggastdatensätze. 2024 waren es rund 548 Millionen dieser Passenger Name Records (PNR). Die Zahl der Betroffenen stieg parallel von etwa 153 auf rund 177 Millionen, wobei Mehrfacherfassungen durch Vielflieger oder mannigfache Übermittlungen pro Flug möglich sind.

Die Zahlen stammen aus einer Antwort der Bundesregierung auf eine Anfrage der Linksfraktion. Erfasst werden Flüge aus Drittstaaten sowie ausgewählte Verbindungen innerhalb der EU. Die Datensätze werden automatisiert mit polizeilichen Datenbanken und Risikomustern abgeglichen, um Terrorismus und schwere Kriminalität aufzudecken. Die tatsächliche Trefferquote blieb aber auch 2025 sehr gering.

Hoher Prüfaufwand, wenige Festnahmen

Der automatisierte Abgleich führte zu 242.427 technischen Treffern in Datenbanken und 4615 Muster-Treffern. Nach manueller Prüfung stuften die Ermittler nur 100.406 Vorgänge als relevant ein und leiteten sie an Bundespolizei und Zoll weiter.

Daraus resultierten 1556 Festnahmen, darunter 982 bei der Einreise. Hinzu kamen 2848 Aufenthaltsermittlungen, 2549 polizeiliche Beobachtungen oder verdeckte Kontrollen, 5408 offene Kontrollen sowie 458 Einreiseverweigerungen. Für weitere 76.204 Ausleitungen, die auf Sachfahndungen beruhten, liegen der Regierung keine Angaben zu den tatsächlich ergriffenen Maßnahmen vor. Gemessen an knapp 628 Millionen verarbeiteten Datensätzen rangiert die Zahl der Festnahmen so wieder im untersten Promillebereich.

Fluggesellschaften bleiben geheim

Welche Fluggesellschaften PNR an das System übermitteln, hält die Regierung geheim. Eine Offenlegung könnte Rückschlüsse auf sicherheitsrelevante Fähigkeiten der Behörden zulassen. Bekannt ist nur, dass zum 15. Juni 423 Fluggesellschaften angeschlossen waren, die rund 91 Prozent des deutschen Passagieraufkommens abdeckten. Privatflüge fallen nicht unter das Fluggastdatengesetz.

Nach Ablauf der gesetzlichen Speicherfrist wurden voriges Jahr 585.536.402 Datensätze automatisch gelöscht, weitere 398.886 depersonalisiert. Eine spätere Recherche in diesem Bestand genehmigten Gerichte in 330 Fällen. Insgesamt gingen 7120 Rechercheersuchen bei der Fluggastdatenzentralstelle ein. 6484 wurden zugelassen und in 4580 Fällen tatsächlich Daten übermittelt.

Der Betrieb des Systems kostete das Bundesverwaltungsamt (BVA) 2025 rund 4,9 Millionen Euro. Personalkosten für aktuell rund 150 Stellen beim BVA und BKA sind hier noch gar nicht eingerechnet. Der Überwachungsumfang dürfte weiter wachsen. Künftig verpflichten neue EU-Vorgaben zu Advanced Passenger Information (API) Fluggesellschaften, Check-in- und Boardingdaten in Echtzeit über einen zentralen EU-Router an die Mitgliedstaaten zu transferieren. Bereits 2025 verarbeiteten deutsche Behörden im Testbetrieb 26,7 Millionen API-Datensätze, die zu 20.161 Personen- und 5561 Sachfahndungstreffern führten. Welche Kosten die vollständige Einführung verursachen wird und welche gesetzlichen Anpassungen erforderlich sind, kann die Regierung noch nicht beziffern.

(mki)

Apple sucht mit App-Entwicklern den Schulterschluss, um Cyberkriminellen das Handwerk zu legen, die Menschen gezielt manipulieren. Diesem „Social Engineering“ ist durch klassische technische Schutzmaßnahmen schwer beizukommen. Wie Social Engineering in der Praxis funktioniert und wie Angreifer damit in Unternehmen eindringen, hat ein Erfahrungsbericht aus Sicht eines Penetrationstesters ausführlich beschrieben. Denn Zwei-Faktor-Authentifikation oder Biometrie können nicht davor schützen, wenn sich der legitime Nutzer eines Gerätes von Fremden dazu verleiten lässt, große Geldsummen zu überweisen oder Datenzugriffe zu gewähren. Stattdessen soll künftig eine KI-basierte Verhaltensanalyse helfen, Taten zu verhindern und Nutzer zu warnen.

Das neue Framework namens Trust Insights soll App-Entwicklern eine Einschätzung geben, wenn sich der Nutzer auf merkwürdige Weise verhält. Zu solchen Merkwürdigkeiten zählt etwa eine große Geldüberweisung an einen vermeintlichen Arzt eines Familienmitglieds, das Gewähren von Fernzugriff an Fremde, Kontolöschungen, Datenexporte oder die Weitergabe sensibler Daten. Das Framework soll dabei typische Szenarien von Social Engineering erkennen können und gibt der App dann ein Signal, wenn eine mittlere oder hohe Scam-Gefahr erkannt wurde. Es liegt dann an der App, mit diesem Signal weiterzuarbeiten.

App-Entwickler sind für Reaktion zuständig

Eine Reaktion könnte zum Beispiel sein, dass der Nutzer einen Warnhinweis zu sehen bekommt, der ihn auf gängige Praktiken von Kriminellen hinweist. Aber auch das Verzögern von Transaktionen könnte eine mögliche Reaktion sein. App-Entwickler sind verpflichtet, Apple per Schnittstelle eine Rückmeldung zu geben, was sie mit dem Signal angefangen haben – offenbar in dem Bemühen, die Erkennung zu verbessern und Falschmeldungen zu erkennen. Machen sie dies nicht, riskieren sie Einschränkungen beim künftigen Gebrauch des Frameworks.

Das Trust-Insights-Framework wird mit iOS 27 eingeführt, das im Herbst erscheinen soll. Die Verhaltensüberwachung kann vom Nutzer abgeschaltet werden und soll weitgehend auf dem Gerät erfolgen. Zum Teil sollen Vorgänge auch per Cloud-Infrastruktur bewertet werden – dann aber in der Apple-typischen Weise mit Datenminimierung als Kernprinzip. Gerätedaten sollen ausschließlich lokal verarbeitet werden. Auch sollen keinerlei Inhalte aus Fotos, Nachrichten oder Mail einbezogen werden. Um zu verhindern, dass Betrüger Nutzer dazu nötigen, die Erkennung abzuschalten, ist zunächst eine „Cooldown“-Phase vorgesehen, bis die Abschaltung greift.

An wen sich das Framework richtet

Inwieweit Apples neuer Ansatz erfolgreich ist, hängt auch vom Mitwirken der App-Entwickler ab. Mögliche Adressaten dürften zum Beispiel Banken, Social-Media-Anbieter und App-Entwickler sein, die mit persönlichen Daten oder Vermögenswerten umgehen. Da die steigende Cyberkriminalität auch in den Unternehmen massiv Ressourcen bindet und Kosten verursacht, dürften viele ein hohes Interesse daran haben, die Fälle zu reduzieren. Dass Cyberkriminelle im Darknet gezielt Social-Engineering-Experten rekrutieren und KI für skalierbarere Angriffe einsetzen, unterstreicht, warum der Handlungsdruck für Unternehmen wächst. Ob Nutzern freilich diese Verhaltensüberwachung behagt und ob Falscherkennungen schlimmstenfalls zu Einschränkungen bei den Nutzern führen können, gilt es abzuwarten.

(mki)