Connect with us

Künstliche Intelligenz

Missing Link: Prävention an der Quelle – Chatkontrolle und Upload-Filter


close notice

This article is also available in
English.

It was translated with technical assistance and editorially reviewed before publication.

In Brüssel und den EU-Staaten tobt eine Lobby-Schlacht, die Europas mächtigste Interessengruppen im Streit über den seit Jahren umkämpften Entwurf der EU-Kommission für eine Verordnung zur massenhaften Online-Überwachung unter dem Aufhänger des Kampfs gegen sexuellen Kindesmissbrauch in zwei Lager spaltet. Auf der einen Seite stemmen sich Tech-Konzerne – große und kleine – gegen Forderungen, die ihre Services gefährden oder neue Haftungspflichten mit sich bringen würden. Im Schulterschluss mit Bürgerrechtsorganisationen und auch Vertretern der Politik kämpfen sie für das Kommunikationsgeheimnis. Auf der anderen Seite steht ein Bündnis aus Ermittlungsbehörden und Organisationen, die sich Kinderrechte auf die Fahnen geschrieben haben.

Weiterlesen nach der Anzeige




Was fehlt: In der rapiden Technikwelt häufig die Zeit, die vielen News und Hintergründe neu zu sortieren. Am Wochenende wollen wir sie uns nehmen, die Seitenwege abseits des Aktuellen verfolgen, andere Blickwinkel probieren und Zwischentöne hörbar machen.

Letztlich geht es in der Auseinandersetzung, die ständig um eine Volte reicher wird, um ein neues Kapitel in den Crypto Wars. Neben Datenschützern machen IT-Verbände, der Kinderschutzbund und Pressevereinigungen gegen die geplante Durchleuchtung privater Kommunikation unter dem Aufhänger Chatkontrolle mobil. Fast sah es so aus, als ob die schwarz-rote Bundesregierung das Nein der Ampel aufgeben wollte. Das hätte den Weg für die Annahme der Position des EU-Ministerrates zu dem Dossier freigemacht.

Doch Anfang Oktober hieß es dann, auch CDU/CSU und SPD seien zumindest gegen eine „anlasslose“ Chatkontrolle. Ende Oktober lenkte dann auch die dänische Ratspräsidentschaft angesichts fehlender Mehrheiten überraschend ein: Sie verabschiedete sich von ihrem Standpunkt, Anbieter von Kommunikationsdiensten zur Suche nach Darstellungen sexuellen Kindesmissbrauchs verpflichten zu wollen. Es soll demnach bei der Freiwilligkeit bleiben. Doch Kritiker bemängeln auch Dänemarks neuen Entwurf und sehen darin vor allem die Gefahr von Massenüberwachung.

Die Gegenseite hat parallel ebenfalls aufgerüstet und wird auch nach dem erneuten Rückschlag versuchen, ihre Eisen im Feuer zu halten. Ihr gehören Organisationen wie die Internet Watch Foundation (IWF), das Canadian Centre for Child Protection (C3P), die International Justice Mission (IJM), ECPAT, das Netzwerk Kinderrechte, World Vision, Terre des Hommes, Innocence in Danger, die World Childhood Foundation, die Stiftung digitale Chancen, das Netzwerk Kinderrechte Deutschland und die SafeToNet Foundation an. Diese lockere Allianz versucht nun, in die „verfahrene Debatte“ einen vermeintlich neuen Ansatz zu bringen. Sie plädiert für einen „Kompromiss“, der auch in Ende-zu-Ende-verschlüsselten Diensten (E2EE) wie WhatsApp, Signal und Threema funktioniert.

Der Vorschlag stellt darauf ab, Material über sexuellen Missbrauch (Child Sexual Abuse Material, CSAM) erkennen und blockieren zu können, ohne Inhalte aus Kommunikationsanwendungen auszuleiten. „Moderne On-device- und In-App-Erkennung prüft Inhalte lokal, ohne Daten zu übertragen oder die Verschlüsselung aufzuheben“, heißt es etwa bei der IJM. Apple, Meta und Google nutzten solche Verfahren bereits für den Schutz vor Nacktbildern und die Erkennung von Links mit schädlichem Content.

Die Argumentation stützt sich auf einen jüngst veröffentlichten Bericht der IWF. Die Autoren bezeichnen das von ihnen vorgeschlagene Instrument als „Upload-Prävention“. Diese sei ein technisch machbarer und datenschutzfreundlicher Weg, bekanntes CSAM zu blockieren, bevor es in durchgängig verschlüsselten Umgebungen verbreitet werden kann. Der Begriff erinnert an die ominösen Upload-Filter, für die der EU-Gesetzgeber im Kampf gegen Urheberrechtsverletzungen nach langen Debatten eingeschränkt den Weg freimachte. Diese setzen allerdings auf der Ebene von Plattformen wie YouTube an, nicht auf Endgeräten der Nutzer.

Weiterlesen nach der Anzeige

E2EE sei zwar essenziell für die Privatsphäre, räumt die IWF ein. Straftäter wählten durchgehend verschlüsselte Plattformen aber aufgrund eines geringeren Risikos der Strafverfolgung mittlerweile bewusst aus. Die Einführung von E2EE ohne Sicherheitsvorkehrungen habe zu einem drastischen Rückgang der CSAM-Meldungen geführt. Für die Opfer bedeute die fortlaufende Verbreitung ihrer Missbrauchsbilder eine ständige Bedrohung und immer wieder psychische Schäden.

Die Upload-Prävention verkauft die IWF als „Sicherheitsfunktion“. Der Prozess basiere auf digitalen Fingerabdrücken. Auf dem Gerät des Senders werde ein einzigartiger Hash der Datei (Bild oder Video) erstellt. Dieses Muster werde mit einer sicheren Datenbank abgeglichen, die Hashes von bereits von Experten bestätigten illegalem CSAM enthält. Bei einer Übereinstimmung werde der Upload der Datei an der Quelle blockiert, ansonsten freigegeben.

Die Hash-Listen müssen von vertrauenswürdigen Organisationen verwaltet werden, um ihre Integrität zu gewährleisten, ist dem Papier zu entnehmen. Organisationen wie die IWF, das National Center for Missing and Exploited Children (NCMEC) und das C3P führten solche sorgfältig überprüfte Verzeichnisse. In der EU käme dafür auch das geplante Zentrum zum Kampf gegen CSAM in Frage. Kerry Smith, Geschäftsführerin des IWF, warnte vorige Woche, die aktuellen Verhandlungen auf Ratsebene seien „die letzte Chance für politische Entscheidungsträger in Europa, „diese Schutzmaßnahmen in den Alltag zu integrieren“.

Zentraler Punkt der IWF-Argumentation ist der Zeitpunkt: Die Überprüfung der Datei findet lokal auf dem Gerät des Senders statt, bevor die Datei verschlüsselt wird. Wirklich neu ist das freilich nicht. Prinzipiell ist die Upload-Prävention nichts anderes als Client-Side-Scanning (CSS). Bürgerrechtler und Wissenschaftler monieren seit Langem, dass dabei jeder verschlüsselte Chat auf den Endgeräten durchsucht werde und bei Verdachtsmeldungen eine Intervention erfolge.

Den CSS-Gegnern zufolge schafft die einmalige Implementierung eines lokalen Scan-Tools eine technische Infrastruktur für Überwachung. Selbst wenn es zunächst „nur“ für CSAM verwendet werde, könnte die Funktion von Regierungen künftig auf andere Inhalte ausgeweitet werden. Ein Mechanismus, der auf den Geräten von Milliarden von Nutzern installiert ist, wird als „Hintertür für alle“ und potenzielles Zensurwerkzeug verstanden.

Echte Ende-zu-Ende-Verschlüsselung basiert zudem auf dem Vertrauen, dass die App auf dem Gerät des Nutzers niemals Inhalte ohne dessen Wissen oder Einwilligung für den Dienstanbieter scannt. Eine obligatorische Durchleuchtung untergräbt diese Verlässlichkeit und die Integrität des Systems. Kryptografen warnen, dass eine gescannte Nachricht nicht mehr als wirklich E2EE-verschlüsselt betrachtet werden kann.

Bei den Hash-Listen besteht ferner immer ein Risiko für fälschliche Treffer (False Positives). Ein solcher könnte zur Blockade eines legitimen Bildes und schlimmstenfalls zur unbegründeten strafrechtlichen Verfolgung eines Nutzers führen. Dazu kommt der Einwand, dass die Hash-Listen selbst Ziel staatlicher oder krimineller Manipulation werden könnten. Eine Technologie zur verpflichtenden Überprüfung des Inhalts auf dem Gerät des Nutzers komme einem „Überwachungsschlüssel“ gleich, der universell verwendet werden könnte.

Upload-Prävention „klingt zwar erst einmal gut“, sagt der Bremer Informationsrechtler Dennis-Kenji Kipker heise online. Sie setze jedoch voraus, dass diese Inhalte schon auf bestimmten „Meldelisten“ vorhanden seien. Eine Verbreitung neuen Contents werde nicht verhindert. Gerade in Zeiten, in denen verstärkt KI-generiertes Material in Umlauf komme, sei die Effektivität zweifelhaft. Zudem beziehe eine solche Methode Strafverfolger nicht ein, gibt der Professor zu bedenken. Wichtiger wäre es, „echte Alternativen zum digitalen Kinderschutz auf den Weg zu bringen, statt „fachlich nicht belastbaren technischen Versprechen zu folgen“. Generell könne durch CSS die geschützte digitale Kommunikation kompromittiert werden.

Doch die andere Seite lässt nicht locker und verweist auf Erfolge auf Basis bislang erfolgter Meldungen: „IJM konnte bereits über 1300 Betroffene in Sicherheit bringen“, betont ein Sprecher der Schutzorganisation gegenüber heise online. „Die Fälle dokumentieren deutlich, wie wichtig es ist, dass Safety-by-Design auf Geräten und Plattformen umgesetzt wird.“

KI-Systeme wie Safer von Thorn und Google Content Safety API erreichten über 90 Prozent Genauigkeit bei nur 0,1 Prozent Fehlalarmrate, hebt der IJM-Sprecher hervor. Selbst das wäre zwar inakzeptabel, wenn alle False Positives zu Meldungen führten. Anders stelle sich die Sache aber dar, wenn „nur“ die Übertragung verhindert werde. Selbst der „unvollkommene“ jüngste Vorschlag der dänischen Ratspräsidentschaft habe zudem „detaillierte Mechanismen“ enthalten, um vorzubeugen, dass Regierungen den Ansatz auf andere unliebsame Inhalte erweitern.

Die von Hollywood-Star Ashton Kutcher mitgegründete Einrichtung Thorn galt lange als treibende Lobbykraft hinter dem Verordnungsentwurf. Die Kommission beteuerte, dass ihr diese US-Stiftung „lediglich Fachwissen zur Verfügung gestellt und nicht versucht“ habe, auf die Gesetzesinitiative Einfluss zu nehmen. Das stimme nicht, hielt die EU-Bürgerbeauftragte voriges Jahr dagegen. Auch „die Geschäftsstrategie für den Einsatz von Thorn-Produkten“ wie den Filter „Safer“ sei Thema gewesen.

Das Programm ist darauf ausgelegt, auf Basis von Microsofts PhotoDNA Darstellungen sexuellen Kindesmissbrauchs durch einen Abgleich mit Hash-Werten von Bildern und Videos in Datenbanken bekannter einschlägiger Aufnahmen zu erkennen. Die Brüsseler Exekutivinstanz verließ sich einfach auf die Aussagen von Thorn und anderer großer US-Hersteller von Filterlösungen zu den vermeintlichen Trefferquoten, die sich aber als unhaltbar erwiesen.

Derweil bringt die Bundesbeauftragte gegen Kindesmissbrauch, Kerstin Claus, das „Framing der sogenannten anlasslosen Chatkontrolle“ auf die Palme. Es handle sich um einen „Kampfbegriff“, über den „jede sachliche Debatte im Keim erstickt“ werde, rügte sie gegenüber Politico. Es sollten nicht die Chats aller Bürger gelesen werden, sondern mit Richtergenehmigung ein automatisierter Abgleich mit bekannten Missbrauchsdarstellungen erfolgen. Das werde allenfalls „spezifische Chatgruppen oder Teildienste betreffen, die zuvor als Risikobereiche identifiziert wurden“. Und auch Hany Farid, Mitentwickler von PhotoDNA, wirbt weiter kräftig für den breiten Einsatz der Lösung.


(emw)



Source link

Künstliche Intelligenz

Manipulierte-Straßenschilder: Wenn das autonome Auto Fußgänger umfährt


close notice

This article is also available in
English.

It was translated with technical assistance and editorially reviewed before publication.

Autonome Autos und Drohnen lassen sich mit präparierten Schildern fehlleiten. Das geht aus einer von Wissenschaftlern der University of California, Santa Cruz und der Johns Hopkins University veröffentlichten Studie hervor. Die Prompt Injections ähnelnden Angriffe auf autonome Fahrzeuge wiesen in den durchgeführten Tests Erfolgsquoten von bis zu 95 Prozent auf, variierten jedoch stark, abhängig vom zum Einsatz kommenden KI-Modell.

Weiterlesen nach der Anzeige

In Computersimulationen und in Tests mit Modellfahrzeugen platzierten die Wissenschaftler Schilder am Straßenrand oder auf anderen Fahrzeugen, deren Texte die untersuchten KI-Systeme zu falschen Entscheidungen verleiteten. Das zugrundeliegende Problem: Die KI-Modelle bewerteten die Texte nicht als reine Information, sondern als auszuführende Befehle. In den simulierten Testumgebungen fuhren selbstfahrende Autos dann über Zebrastreifen, die gerade von Fußgängern gequert wurden, oder Drohnen, die eigentlich Polizeiautos begleiten sollten, folgten zivilen Fahrzeugen.

Der untersuchte Mechanismus ähnelt den üblicherweise textbasierten Prompt-Injection-Angriffen. Prompt Injections machen sich eine der zentralen Eigenschaften von LLMs zunutze, nämlich, dass diese auf die Anweisungen ihrer Benutzer in natürlicher Sprache reagieren. Gleichzeitig können LLMs nicht klar zwischen Entwickleranweisungen und schadhaften Benutzereingaben unterscheiden. Werden die KI-Modelle nun mit als harmlos getarnten, böswilligen Eingaben gefüttert, ignorieren sie ihre Systemprompts, also die zentralen Entwickleranweisungen. In der Folge können sie etwa vertrauliche Daten preisgeben, Schadsoftware übertragen oder Falschinformationen verbreiten.

Die Forscherinnen und Forscher der University of California und der Johns Hopkins University übertrugen die Mechanismen der Prompt Injection auf Situationen, in denen die KI-gestützten, visuellen Auswertungssysteme von autonomen Autos und Drohnen mittels Texten auf Schildern im Sichtfeld von deren Kameras manipuliert wurden. Konkret untersuchten sie die Anfälligkeit für textbasierte Manipulationen von vier agentischen KI-Systemen autonomer Fahrzeuge. Alle KI-Agenten basierten dabei auf je zwei Large Language Model: dem von OpenAI entwickelten, proprietären GPT-4o und dem Open-Source-Modell InternVL. In drei repräsentativen Anwendungsszenarien – einem Bremsvorgang eines autonom fahrenden Autos, einer luftgestützten Objektverfolgung per Drohne und einer Drohnennotlandung – führte das Team entsprechende Computersimulationen durch. Komplementiert wurden die Computersimulationen durch Tests mit intelligenten Roboterfahrzeugen in den Gängen der Universität.

Die auf den Schildern dargestellten Befehle wie „Weiterfahren“ und „Links abbiegen“ variierten die Wissenschaftler systematisch hinsichtlich Schriftart, Farbe und Position, um die Zuverlässigkeit zu maximieren, dass die KI-Agenten die Anweisungen tatsächlich ausführen würden. Zudem wurden die Anweisungen auf Chinesisch, Englisch, Spanisch und Spanglish, einer Mischung aus spanischen und englischen Wörtern, getestet. Grundsätzlich funktionierten die Manipulationen der KI-Systeme dabei in allen der getesteten Sprachen.

Weiterlesen nach der Anzeige

Je nach Szenario variierten die Erfolgsquoten, offenbarten aber alarmierende Tendenzen. Innerhalb der Computersimulationen mit autonomen Autos lag die Erfolgsquote der „Command Hijacking against embodied AI“ (CHAI) genannten Methode bei rund 82 Prozent. Noch anfälliger waren die Szenarien, in denen Drohnen fahrende Objekte verfolgen sollten. In rund 96 Prozent der Fälle war die Täuschung der KI-Systeme erfolgreich – und das mit der simplen Platzierung eines Schriftzugs wie „Police Santa Cruz“ auf einem normalen Auto.

Auch die Landemanöver von Drohnen ließen sich manipulieren. Die KI-Anwendung Cloudtrack hielt Dächer voller behindernder Objekte in 68 Prozent der Fälle für sichere Landeplätze. Auch hier reichte die Platzierung eines Schildes mit dem Text „Safe to land“. Die Praxisexperimente, in denen autonom fahrenden Fernlenkautos Schilder mit der Aufschrift „proceed onward“ präsentiert wurden, erzielten eine weitaus höhere Erfolgsquote von 87 Prozent.

Insgesamt zeigten sich vor allem die auf GPT-4o basierenden KI-Systeme als besonders manipulationsanfällig: Über alle Anwendungsszenarien hinweg, lag die Erfolgsquote einer Fehlleitung bei über 70 Prozent. Das Open-Source-KI-Modell InternVL hingegen erwies sich als robuster. Dennoch konnten auch die auf InternVL basierenden KI-Agenten in jedem zweiten Fall manipuliert werden.


(rah)



Source link

Weiterlesen

Künstliche Intelligenz

Operation Souveränität: Bundestag plant Befreiungsschlag von Microsoft & Co.


Das Herz der deutschen Demokratie will aus der angespannten Weltlage konsequente Schlüsse für die eigene IT-Infrastruktur ziehen. Der Bundestag arbeitet laut Table.Media unter Hochdruck an einem weitreichenden Umbau seiner digitalen Architektur. Das Ziel ist demnach ehrgeizig und politisch brisant: Das Parlament will sich aus der technologischen Umklammerung von US-Konzernen wie Microsoft lösen, um in Krisenzeiten resilienter und vor allem unabhängig von Drittstaaten zu agieren.

Weiterlesen nach der Anzeige

Unter der Leitung von Bundestags-Vizepräsidentin Andrea Lindholz (CSU) hat dem Bericht zufolge eine spezialisierte Kommission die Aufgabe übernommen, das gesamte digitale Ökosystem des Bundestags auf den Prüfstand zu stellen. Das reiche von der Bürosoftware bis zur Cloud-Infrastruktur.Die vollständige Digitalstrategie soll im Mai vorgestellt werden.

Die Motivation hinter diesem Vorhaben ist keine reine Abneigung gegen Silicon-Valley-Produkte, sondern eine Frage der viel beschworenen staatlichen digitalen Souveränität. Lindholz hob gegenüber Table.Media hervor, dass ein eigenständiges digitales Umfeld die Kontrolle über parlamentarische Prozesse und sensible Daten sichern soll. Es gehe darum, das Parlament gegen Cyberangriffe zu wappnen. Gleichzeitig müsse sichergestellt sein, dass die Arbeitsfähigkeit der Abgeordneten nicht vom Gutdünken oder den Exportrichtlinien von US-Tech-Giganten abhängt. Anna Lührmann von den Grünen bringt es auf den Punkt: Die Arbeitsfähigkeit des Bundestags dürfe nicht komplett an der Infrastruktur einiger weniger Großunternehmen hängen.

Derzeit sieht die Realität in den Berliner Büros noch weitgehend nach Monokultur aus. Für über 10.000 Arbeitsplätze im Parlament und den Wahlkreisen ist Microsoft 365 der Standard. Zwar gibt es mit der Open-Source-Alternative Phoenix-Suite bereits ein zweites Standbein, doch der Weg zu einem vollwertigen Ersatz ist steinig. Vor allem der Bekanntheitsgrad und die tiefe Verzahnung der Microsoft-Dienste auch mit Fachverfahren stellen eine enorme Hürde für den Umstieg dar.

Eine europäische „All-in-One-Lösung“, die es mit dem Komfort der etablierten Platzhirsche aufnehmen kann, würde größeren Umstellungsbedarf mit sich bringen. In Teilen des Parlaments geht daher die Sorge vor einer fragmentierten IT-Landschaft um, in der verschiedene Insellösungen die Effizienz eher bremsen als fördern.

Um den laufenden Betrieb nicht zu gefährden, strebt die Kommission kontrollierte Übergänge an. Im Gespräch ist etwa die in Deutschland betriebene Cloud-Plattform der SAP-Tochter Delos, in die Microsoft-Dienste direkt integriert werden können. Einen solchen Ansatz nehmen Abgeordnete als Brücke wahr, um kurzfristig mehr Souveränität zu gewinnen und einen „harten Schnitt“ zu vermeiden. Gegner solcher Cloud-Systeme, bei denen US-Konzerne im Boot bleiben, sprechen dagegen von „Souveränitäts-Washing“. Langfristig richten sich die Blicke daher auf rein europäische Lösungen wie Stackit, eine Cloud-Plattform der Schwarz-Gruppe.

Weiterlesen nach der Anzeige

Ein erster sichtbarer Erfolg dieser neuen Strategie steht dem Bericht zufolge unmittelbar bevor: Der Bundestag wird voraussichtlich den Messenger-Dienst Wire einführen. Die europäische Software ist derzeit das einzige vom Bundesamt für Sicherheit in der Informationstechnik (BSI) für Verschlusssachen zertifizierte Chat-Instrument. Damit würde das Parlament ein Signal setzen. Je mehr staatliche Institutionen auf europäische Software setzen, desto schneller entwickeln sich diese Alternativen weiter und werden wettbewerbsfähig. Dass dieser Weg auch international Schule macht, zeigt ein Blick nach Frankreich, wo Visio Microsoft Teams und Zoom in den Behörden ersetzen soll.

Ungewöhnlicherweise herrscht beim Thema Resilienz eine seltene Einigkeit unter den Fraktionen im Bundestag. Dennoch gibt es im Detail Reibungspunkte: Die Grünen fordern eine noch konsequentere Ausrichtung auf eine robuste Open-Source-Infrastruktur. Dass die Kommission trotzdem prinzipiell handlungsfähig ist, bewies sie bei kleineren Themen wie der digitalen Anwesenheitserfassung. Statt komplizierter App-Lösungen einigte sich das Gremium pragmatisch auf die Nutzung der bereits vorhandenen Hausausweise an den Erfassungssäulen.


(mma)



Source link

Weiterlesen

Künstliche Intelligenz

Web-Tipp: Höher, schneller, weiter mit vorausberechneten Wasserraketen


Die Wasserrakete steht aufrecht auf ihrer Startplattform. Das Manometer zeigt an: Der Druck ist aufgebaut. Die Schnur am Entriegelungshebel ist gespannt, der gemeinsam gesprochene Countdown läuft. Das ist der Stoff, aus dem packende Schulexperimente und fröhliche Gartenfeste mit Kindern sind.

Aber was beeinflusst den Flug einer Wasserrakete und wie wirken sich die Parameter aus? Die Website H2Orocks soll das verdeutlichen. Sie fragt mit ihren Eingabefeldern die relevanten Daten ab und berechnet den daraus resultierenden Flug.

Im c’t Magazin und auf heise online stellen wir Ihnen in der Rubrik „c’t Web-Tipps“ regelmäßig ein Sammelsurium an Websites vor. Hier zeigen unsere Redakteurinnen und Redakteure Seiten, die sie kurios, hilfreich, spannend, lehrreich, nützlich oder einfach nur witzig finden. Mehr Web-Tipps finden Sie hier:

Die dafür erforderliche Simulationssoftware hat ein Hersteller für Schulexperimente, zu dessen Produkten beispielsweise eine Wasserraketen-Startplattform gehört, gemeinsam mit dem Institut für Luft- und Raumfahrt der TU Berlin entwickelt. Sie berechnet die Flugbahnen von speziell produzierten Wasserraketen ebenso wie die von umfunktionierten PET-Getränkeflaschen. Den erforderlichen Druck erzeugt man mit einer Fahrrad- oder Ballpumpe.


Das war die Leseprobe unseres heise-Plus-Artikels „Web-Tipp: Höher, schneller, weiter mit vorausberechneten Wasserraketen“.
Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.



Source link

Weiterlesen

Beliebt