Datenschutz & Sicherheit
Google: KI-Bug-Bounty-Programm zahlt bis zu 30.000 US-Dollar pro Fehler
Zwei Jahre nach der Erweiterung des Bug-Bounty-Programms um KI-Produkte führt nun Google ein eigenes Belohnungsprogramm ein, das speziell darauf ausgerichtet ist, Fehler in KI-Produkten zu finden. Besonders gefährliche Exploits können den Findern bis zu 30.000 Dollar einbringen.
Wie Google in seiner Ankündigung zum neuen KI-Bug-Bounty-Programm schreibt, war die Integration von KI-Themen in das „Abuse Vulnerability Reward Program“ (VRP) „ein großer Erfolg für die Zusammenarbeit von Google mit KI-Forschern“. Die am „VRP“ beteiligten Forscher hätten „einige großartige Entdeckungen gemacht“. Externe Forscher hätten für ihre Entdeckungen seit Beginn des KI-Programms über 430.000 US-Dollar an Prämien eingesammelt.
Lesen Sie auch
Mit dem am Montag eingeführten KI-Bug-Bounty-Programm hat Google die Anforderungen klarer formuliert: So genüge es nicht, die KI einfach halluzinieren oder Gemini dumm aussehen zu lassen. Die Liste der seitens Google qualifizierten Fehler umfasst etwa Prompt-Injektionen, die für die Angegriffenen unsichtbar sind und den Status des Kontos des Opfers oder eines der verbundenen Produkte verändern.
Zu weiteren unzulässigen Aktionen gehören etwa die Änderung des Kontos oder der Daten einer Person, um deren Sicherheit zu beeinträchtigen oder etwas Unerwünschtes zu tun; beispielsweise, wenn ein Angreifer mithilfe eines manipulierten Google-Kalender-Eintrags intelligente Rollläden öffnet und das Licht ein- oder ausschaltet.
Viel Geld für entdeckte Bugs in Gemini und der Suche
Google bietet Forschern, denen es gelingt, folgenschwere Sicherheitslücken aufzudecken, bis zu 20.000 US-Dollar für gut gemachte Fehlerberichte. Dazu müssen diese die Flaggschiff-KI-Produkte des Unternehmens betreffen, also die Suche, die Gemini-App oder wichtige Workspace-Apps wie Gmail und Drive.
Außerdem hat Google „Bonus-Multiplikatoren“ des bisherigen Bug-Bounty-Programms für die Qualität und Neuheit von Meldungen übernommen. Damit könne die Belohnung für eine einzelne Meldung bis zu 30.000 US-Dollar betragen. Die Belohnung für Fehler, die IT-Sicherheitsforscher in anderen Google-KI-Produkten wie Jules oder AI Studio finden oder für weniger schwerwiegende Bugs wie die unbefugte Produktnutzung, fällt hingegen niedriger aus.
CodeMender
Neben dem KI-Bug-Bounty-Programm hat Googles Deepmind einen KI-Agenten namens CodeMender angekündigt, der anfälligen Code patchen soll. Laut Konzern hat der KI-Agent in den vergangenen sechs Monaten bereits 72 Sicherheitskorrekturen in Open-Source-Projekte eingebracht, darunter einige mit bis zu 4,5 Millionen Zeilen Code. Ferner habe Deepmind CodeMender so konzipiert, dass es vorhandenen Code proaktiv umschreibt, um sicherere Datenstrukturen und APIs zu verwenden, heißt es in der Ankündigung.
(afl)
Datenschutz & Sicherheit
Microsoft Outlook: Zur Sicherheit keine SVG-Anzeige mehr
Eigentlich unscheinbare Grafiken im Format SVG (Scalable Vector Graphics) dienen bösartigen Akteuren als Einfallstor für Schadsoftware. Die kommen etwa als E-Mail-Anhang an Phishing-Mails auf den Rechner. Microsoft schließt die potenzielle Lücke, indem das Unternehmen Outlook und Outlook for Web nun einfach keine SVG-Grafiken mehr anzeigen lässt.
Das hat Microsoft im MS365-Admin-Center bekannt gegeben. Der weltweite Roll-out dieser Änderung soll bereits Anfang September gestartet und Mitte des Monats beendet worden sein. Für „GCC, GCC-H, DoD, Gallatin“ soll die Verteilung Mitte Oktober abschließen. „Inline-SVG-Bilder werden von Outlook for Web und dem neuen Outlook für Windows nicht länger angezeigt. Stattdessen bekommen Nutzerinnen und Nutzer einen leeren Platz zu Gesicht, wo diese Bilder angezeigt werden sollten“, erklärt Microsoft.
Das betreffe lediglich weniger als 0,1 Prozent aller Bilder, die in Outlook genutzt würden, daher sollen die Auswirkungen minimal sein. Als klassisch als Anhänge gesendete SVG-Bilder werden hingegen weiter unterstützt und lassen sich als Anhang anzeigen. Diese Änderung soll mögliche Sicherheitsrisiken wie Cross-Site-Scripting-Angriffe abwehren. Admins müssen nichts machen, Microsoft empfiehlt jedoch, die interne Dokumentation um diese Information zu ergänzen sowie Nutzer zu informieren, die auf Inline-SVG-Grafiken in E-Mails setzen.
Warnung vor SVG-Dateien
Mitte des Jahres hatte das österreichische CERT eine Warnung vor bösartigen SVG-Dateien herausgegeben. SVG-Dateien bestehen aus Beschreibungen im XML-Format, können jedoch auch JavaScript-Code enthalten, den die anzeigende Komponente ausführt. Das können Phisher etwa missbrauchen, um Empfänger auf gefälschte Anmeldeseiten zu leiten, direkt falsche Anmeldungen anzuzeigen oder gar Schadsoftware zu installieren.
Das zu Google gehörende Virustotal hat zudem kürzlich eine kolumbianische Malware-Kampagne basierend auf bösartigen SVGs entdeckt. Von Anfang August bis Anfang September seien bei dem Malware-Prüfdienst mehr als 140.000 einzigartige SVG-Dateien eingegangen, von denen 1442 von mindestens einer Antivirensoftware als bösartig erkannt wurden, mithin grob ein Prozent der geprüften Dateien. Allerdings waren unter den 140.000 Bildern auch bösartige SVG-Dateien, die von keinem Malware-Scanner identifiziert wurden. Mit einer KI-Erweiterung „Code Insight“ hat Virustotal 44 weitere bösartige SVGs aus dem Fundus gefischt. Diese nutzten Techniken zur Code-Verschleierung, Polymorphismus, sodass jede Datei leichte Änderungen aufwies, sowie große Mengen an nutzlosem Dummy-Code, um statische Erkennung zu erschweren. Bei genauerer Untersuchung entpuppten sich mehrere Dateien als Teil einer Kampagne, deren Mails vorgeben, von der kolumbianischen Generalstaatsanwältin zu stammen. Eine einfache Suche nach Textstellen aus den bösartigen SVGs lieferte 523 weitere Treffer in den vergangenen 365 Tagen.
SVGs stellen somit eine reale Gefahr in der Praxis dar. Microsoft versucht, mit der Nicht-Anzeige von Inline-SVG-Grafiken die Angriffsfläche zu reduzieren. IT-Verantwortliche sollten gegebenenfalls einen Schritt weitergehen und die Handlungsempfehlungen zum Umgang mit SVG des österreichischen CERT umsetzen.
(dmk)
Datenschutz & Sicherheit
Wirtschaftsverbände Bitkom und eco klar gegen Chatkontrolle
Zwei große Verbände der Digitalwirtschaft, Bitkom und eco, haben sich beide klar gegen die Chatkontrolle ausgesprochen. Damit stehen nun nicht nur unzählige zivilgesellschaftliche Organisationen, zu denen der Kinderschutzbund gehört, sowie Vertreter:innen aus der Wissenschaft, sondern auch die Digitalwirtschaftsvertreter:innen deutlich gegen eine Chatkontrolle.
Bei der Abstimmung im EU-Rat am 14. Oktober über den Vorschlag der dänischen Ratspräsidentschaft, der die Chatkontrolle enthält, ist die Haltung der deutschen Bundesregierung maßgeblich. Bislang war sie gegen die Pläne gewesen, in letzter Zeit nach dem Regierungswechsel war ihre Haltung jedoch unklar. Laut Informationen von netzpolitik.org und D64 will sich die Bundesregierung heute auf eine Position einigen.
Der Digitalverband Bitkom, der mehr als 2.200 Unternehmen vertritt, unterstützt das grundsätzliche Ziel, Kinder in der digitalen und analogen Welt besser zu schützen, präventiv aktiv zu werden sowie die Verfolgung der Täter zu verstärken. „Gleichwohl greift der aktuelle Vorschlag zu tief und in unverhältnismäßiger Weise in die Grundrechte der EU-Bürgerinnen und -Bürger auf geschützte Kommunikation ein, ohne dass sich dadurch der Schutz der Kinder verbessern würde“, sagt Bitkom-Hauptgeschäftsführer Dr. Bernhard Rohleder gegenüber netzpolitik.org.
„Eine generelle und flächendeckende Überwachungsmaßnahme lehnen wir ab“
Der Verband weist auf das Problem hin, dass aufgrund der schieren Masse an Nachrichten täglich unzählige Inhalte mit falschpositiven oder falschnegativen Bewertungen händisch geprüft werden müssten. „Nutzerinnen und Nutzer von Messenger-Diensten müssten also immer damit rechnen, dass jemand ihre Kommunikation mitliest“, so Rohleder. Kurznachrichten und Messenger seien aber Räume für geschützte, verschlüsselte private Kommunikation – und müssen dies auch bleiben. „Eine generelle und flächendeckende Überwachungsmaßnahme jeglicher privater digitaler Korrespondenz lehnen wir ab“, so der Verband weiter.
Statt Massenüberwachung fordert Bitkom eine technisch und personell bessere Ausrüstung von Polizei und Strafverfolgungsbehörden sowie technisch versiertes Personal. Es sei wichtig, dass die Europäische Kommission in Kooperation mit Zivilgesellschaft und Wirtschaft Ansätze zum Schutz der Kinder ausarbeite.
„Grundrechtswidrig, technisch fehlgeleitet und sicherheitspolitisch gefährlich“
Der Verband der Internetwirtschaft eco, der 1.100 Unternehmen aus der Branche vertritt, hat sich gestern ebenso sowohl im Interview mit netzpolitik.org wie auch in einer Pressemitteilung klar gegen die Chatkontrolle ausgesprochen. Klaus Landefeld aus dem Vorstand von eco sagt:
Ein ‚Kompromiss‘, der das anlasslose Scannen privater Kommunikation festschreibt – ob nur nach bekannten oder auch nach unbekannten Inhalten – ist keiner. Er bleibt grundrechtswidrig, technisch fehlgeleitet und sicherheitspolitisch gefährlich. Wer Verschlüsselung schwächt, schwächt immer auch den Schutz von Bürger:innen, Unternehmen und kritischen Infrastrukturen.
Deutschland müsse deswegen im EU-Rat klar „Nein“ sagen, so Landefeld weiter. Der Verband eco fordert statt der Chatkontrolle eine Stärkung bewährter Strukturen, damit meint er unter anderem die konsequente internationale Löschung von Missbrauchsdarstellungen sowie schnellere Rechtshilfe und enge Zusammenarbeit mit Beschwerdestellen und Strafverfolgung. Zudem müsse ein Fokus auf Prävention und Ermittlungen gesetzt werden. Hierfür brauche es Ressourcen für verdeckte Ermittlungen gegen Täterstrukturen, Mittel für den Opferschutz und Investitionen in Medienkompetenz und Beratung.
Warum ist Chatkontrolle so gefährlich für uns alle?
Journalisten- und Anwaltsverbände gegen Chatkontrolle
Auch der Deutsche Journalisten-Verband (DJV) hat sich gegen die Chatkontrolle gestellt. Er „lehnt diese Form anlassloser Massenüberwachung ab. Denn sie würde eine Infrastruktur schaffen, die in wenigen Handgriffen auch zur politischen Kontrolle genutzt werden könnte“, heißt es in einem Blogbeitrag. Wer jetzt schweige, riskiere den Verlust einer zentralen demokratischen Infrastruktur: der freien, verschlüsselten Kommunikation.
Zuletzt hatte sich schon Reporter ohne Grenzen gegen die Chatkontrolle ausgesprochen. Gegenüber netzpolitik.org erneuerte Anja Osterhaus, Geschäftsführerin von Reporter ohne Grenzen, ihre Kritik: „Der Vorschlag der dänischen Ratspräsidentschaft, anlasslos die gesamte private Kommunikation zu durchleuchten, hätte schwerwiegende Folgen für die Pressefreiheit.“
Auch der Deutsche Anwaltverein (DAV) stellt sich entschieden gegen die Chatkontrolle. Rechtsanwalt Dr. David Albrecht, Mitglied des DAV-Ausschusses Recht der Inneren Sicherheit, warnt gegenüber netzpolitik.org davor, dass die Chatkontrolle zur Blaupause für andere Kriminalitätsarten zu werden drohe. Dies zeichne sich mit der Encryption Roadmap der EU und Forderungen nach Entschlüsselung bei der Terrorismusbekämpfung schon heute ab.
Wir sind ein spendenfinanziertes Medium
Unterstütze auch Du unsere Arbeit mit einer Spende.
Die Gefahr der Chatkontrolle habe viele Facetten, so Albrecht:
Kritisch ist schon die Massenüberwachung als solche, die auch tiefe Einschnitte in die anwaltliche Vertraulichkeit bedeuteten würde – denn eine generelle Ausnahme der Kommunikation zwischen Anwält:innen und Mandantschaft ist nicht möglich und nicht vorgesehen. Besonders problematisch ist auch die Anlasslosigkeit: Es bedarf nach Vorstellung von Kommission und dänischer Ratspräsidentschaft keines Verdachts, um eine solche umfassende Überwachung vorzunehmen.
Der Verband fordert, dass die Bundesregierung bei ihrer klaren Position gegen die Chatkontrolle bleiben solle.
Zivilgesellschaft mobilisiert gegen die Chatkontrolle
Seit Jahren reden sich Hunderte von IT-Expertinnen und Sicherheitsforschern, Juristinnen, Datenschützern, Digitalorganisationen, Tech-Unternehmen, Messengern, UN-Vertretern, Kinderschützern, Wächterinnen der Internetstandards, Wissenschaftlerinnen weltweit den Mund gegen die Chatkontrolle fusselig. Eine unglaubliche Breite der Zivilgesellschaft lehnt die Chatkontrolle ab, weil sie die größte und gefährlichste Überwachungsmaschine Europas werden würde.
Das Bündnis „Chatkontrolle stoppen“ ruft derzeit dazu auf, für die Abstimmung relevante Personen und Organisationen zu kontaktieren. Das sind vor allem die an der deutschen Positionsfindung beteiligten Bundesministerien sowie die Fraktionen und Abgeordneten der Regierungsparteien im Bundestag. Am besten wirken direkte E-Mails und Telefonanrufe oder auch rechtzeitig ankommende Briefe. Auf der Website des Bündnisses gibt es Tipps und Adressen, um selbst aktiv zu werden.
Gleichzeitig hat das Bündnis eine Last-Minute-Petition gestartet, in der es die Bundesregierung auffordert, sich im EU-Rat gegen die Chatkontrolle zu stellen.
Datenschutz & Sicherheit
„Total unausgegoren und technisch nicht tragfähig“
In der Europäischen Union liegt der Vorschlag der dänischen EU-Ratspräsidentschaft zur Chatkontrolle auf dem Tisch. Die deutsche Position dazu ist bedeutsam, da die Zustimmung zum Gesetz maßgeblich von dieser abhängt. Die deutsche Bundesregierung muss sich vor dem 14. Oktober auf eine Position einigen. Denn dann wird im EU-Rat über den Vorschlag abgestimmt.
Der dänische Vorschlag sieht eine verpflichtende Chatkontrolle vor. Sie soll Anbieter von Messaging- und anderen Kommunikationsdiensten die Anforderung aufbrummen, in den Nachrichten der Nutzer nach Missbrauchsfotos und -videos zu scannen. Dann sollen die Betreiber der Dienste die Nutzer-Nachrichten auf diese Inhalte untersuchen. Werden verdächtige Inhalte detektiert, wird der Nutzer der Polizei gemeldet. Soweit jedenfalls der Plan, doch der Teufel steckt im Detail.
Die Idee der Chatkontrolle wird stark und breit kritisiert, vor allem wegen der erheblichen Grundrechtseingriffe und auch wegen der weitreichenden Folgen für Whistleblower und Journalisten. Sie beinhaltet mit hoher Wahrscheinlichkeit ein Client-Side-Scanning auf Nutzergeräten. Das bedeutet, dass die Inhalte von Nachrichten direkt auf dem Gerät des Nutzers gescannt würden, noch bevor diese versendet und verschlüsselt werden.
Wir haben über die Chatkontrolle mit Klaus Landefeld, Vorstand im IT-Branchenverband „eco“, gesprochen. Der Verband engagiert sich als Partner bei INHOPE schon viele Jahre erfolgreich bei der Identifizierung und Entfernung von Kindesmissbrauchsmaterial aus dem Internet.
„Völlig falscher Weg“

netzpolitik.org: Klaus Landefeld, wie ist die Position des eco zu den Chatkontrolle-Plänen?
Klaus Landefeld: Wir haben uns seit 2022 immer dagegen ausgesprochen. Dieser neue, noch verschlimmerte Ansatz, der momentan von Dänemark in den Raum gestellt worden ist, wird von uns rundweg abgelehnt. Wir halten Chatkontrolle für einen völlig falschen Weg.
Wir betreiben ja eine Beschwerdestelle und sind daher permanent mit Strafverfolgungsbehörden zusammen in der Bekämpfung von CSAM-Inhalten aktiv. Aber verpflichtendes Scanning für quasi jegliche Kommunikation, vor allem das Client-Side-Scanning, halten wir für einen falschen Weg, weil er die Sicherheit von allen untergräbt.
netzpolitik.org: Welche Belastungen kämen eigentlich auf Unternehmen zu, wenn tatsächlich eine verpflichtende Chatkontrolle vorgeschrieben würde?
Klaus Landefeld: Das kommt auf die technischen Ausprägungen an: Also was genau müsste gescannt werden, wie funktioniert das technisch? Auch die Fragen danach müssten geklärt sein, ob alle Dienste betroffen wären, also ob beispielsweise auch E-Mail, Chats oder verschlüsselte Messenger-Apps darunterfallen. Es müssten auch die Details um die Frage geklärt sein, ob man „nur“ nach bekannten Inhalten oder auch nach neuen Inhalten scannt. Das ist ein ganz elementarer Punkt, weil mit dem Scannen nach bisher unbekannten Inhalten insbesondere auch jede Form von ganz persönlichen Bildern oder Familienfotos in die Datenbanken und die vorgeschlagenen KI-Systeme reingegeben würden.
netzpolitik.org: Was kann man zur Qualität der Software sagen, die CSAM-Inhalte erkennen soll?
Klaus Landefeld: Womit wir ein großes Problem haben, sind die Fehlerquoten. Um das ganz klar zu sagen: Zum Scanning sollen KI-Systeme verwendet werden, die bei allen Tests, die wir machen konnten, viele Fehler produzieren. Auch in unserer Beschwerdestelle werden dazu regelmäßig Tests gemacht. Denn wir prüfen dort regelmäßig: Was bringen KI-Systeme für die Bewertung von Beschwerden? Und wir sehen immer wieder: Nein, diese Systeme funktionieren nicht, sie funktionieren vor allen Dingen nicht in der nötigen Qualität, zumindest Stand heute. Deswegen halten wir den Vorschlag auch für total unausgegoren und technisch nicht tragfähig.
Interviews
Wir kommen gern ins Gespräch. Unterstütze unsere Arbeit!
netzpolitik.org: Was sind das für „KI-Systeme“, die zum Einsatz kommen? Was sollen die leisten?
Klaus Landefeld: Es sollen Systeme zum Einsatz kommen, die tatsächlich Inhalte erkennen. Sie sollen auch neue Inhalte bewerten und bestimmen, was auf Bildern gezeigt wird. Dafür kann man KI-Systeme trainieren, sie sollen beispielsweise erkennen: Auf dem Bild sind drei Leute oder fünf Leute, da sind Kinder dabei, die Leute haben Kleidung oder keine Kleidung an.
Das heißt aber auch: Die Familienbilder vom nächsten Urlaub oder Bilder von einem FKK-Strand könnten einen Verdacht auslösen. Aus meiner Sicht ist das eine gefährliche Idee. Eine ähnliche Diskussion haben wir bei der automatischen Bewertung des Alters im Bereich Social-Media-Nutzung: Können KI-Systeme durch ein Bild einer Person wirklich verlässliche Aussagen darüber machen, wie alt jemand ist? Das ist gerade in den Grenzbereichen, wo es um die Frage geht, ist jemand 14, 16 oder 18 Jahre, alles andere als zuverlässig. Es gibt keine klare Bewertung, ob jemand 18 ist oder vielleicht noch 17 oder 19 Jahre. Das funktioniert einfach momentan nicht.
netzpolitik.org: Kann solche Software das in absehbarer Zeit leisten?
Klaus Landefeld: Im Moment mit Sicherheit noch nicht. Das wird wahrscheinlich noch geraume Zeit so bleiben. Wir testen reale Systeme, die momentan existieren. Das sind Systeme, die heute von den Anbietern genutzt werden können, die uns auch angeboten werden. Dazu untersuchen wir den Stand der Forschung. Und da kommt immer wieder das Ergebnis heraus: Nein, diese Systeme sind im Moment nicht tragfähig genug, dass das funktioniert.
Parallel zu der CSAM-Diskussion haben wir wie schon erwähnt die gleichen Fragen bei Altersnachweisen bei Social-Media-Nutzung. Es wäre völlig absurd, wenn wir in diesem Bereich zu der Aussage kämen, dass eine vernünftige Bewertung durch Software nicht möglich ist, und bei der Chatkontrolle zum Schutz von Kindern soll das funktionieren.
Welche Grenzen überschritten werden
netzpolitik.org: Welche Bewertung kann eine Software heute leisten? Und was heißt das für die Chatkontrolle?
Klaus Landefeld: Heutige Systeme können relativ gut beurteilen, ob ein abgebildetes Kind sechs oder sieben Jahre alt ist oder vielleicht 16 oder 17 Jahre. Diesen Unterschied können die Systeme schon erkennen. Aber bei neuen Inhalten, also bei bisher unbekannten Inhalten muss man sich fragen: Wenn sich Menschen innerhalb der Familie zum Beispiel Bilder zuschicken, sollen dann irgendwelche KI-Systeme in diese privaten Bilder reingucken? Das ist für mich ein absolutes No-Go, denn das verletzt die Grundrechte. Wir haben einen festgeschriebenen Schutz von privater Kommunikation, und über nichts anderes reden wir hier. Denn die Chatkontrolle soll auch für individuelle Ende-zu-Ende-Kommunikation von Menschen eingeführt werden. Das ist das, wo für mich die Grenze überschritten ist.
netzpolitik.org: Ist nicht noch eine weitere Grenze überschritten? Wir reden doch eigentlich auch über Eingriffe in den Kernbereich der privaten Lebensgestaltung, also in die Intimsphäre, die in Deutschland besonders geschützt ist.
Klaus Landefeld: Das sehe ich ganz genau so. Wir haben zum Beispiel bei der Wohnraumüberwachung oder Telekommunikationsüberwachung Vorschriften, dass Ermittler aufhören müssen zuzuhören, wenn Gespräche in den Kernbereich privater Lebensgestaltung gehen. Das gehört zum Kernbereichsschutz, den wir in Deutschland haben. Interessanterweise ist das in Europa schwierig zu diskutieren, weil es diesen Kernbereichsschutz in den meisten Ländern nicht gibt.
Warum ist Chatkontrolle so gefährlich für uns alle?
netzpolitik.org: Wie könnte denn bei der Chatkontrolle technisch vorgegangen werden?
Klaus Landefeld: Bei elektronischer Kommunikation, wie wir sie heute mit Messengern haben, wird typischerweise Ende-zu-Ende-Verschlüsselung eingesetzt. Sie soll nicht untergraben werden. Das wird immer wieder betont. Das heißt: Es bleibt nur Client-Side-Scanning übrig. Das wiederum heißt: Wir haben auf unseren Geräten eine Spionagesoftware, die jede Form von Bildern scannt, die wir übertragen und an jemand anderen schicken. Die Bilder werden von einer Software im Hintergrund abgeglichen. Damit kann ich mich nicht anfreunden.
Das Problem beim Client-Side-Scanning
netzpolitik.org: Was für IT-Sicherheitsprobleme sind damit verbunden?
Klaus Landefeld: In dem Moment, wo ich Verschlüsselung durchbrechen wollte, damit das Scanning beim Anbieter stattfindet, ist völlig klar: Ich habe die Sicherheit geschwächt. Ich habe sogar die IT-Sicherheit in großem Stil untergraben.
Beim Client-Side-Scanning ist das Problem aus meiner Sicht ein bisschen anders gelagert. Natürlich könnte ich Software produzieren, bei der ich kein IT-Sicherheitsproblem im klassischen Sinne schaffe: Daten würden damit durchsucht, ähnlich wie etwa bei einem Virenscanner. Ein Virenscanner ist kein Sicherheitsproblem …
netzpolitik.org: … kann aber zu einem werden, wenn er selbst Sicherheitslücken enthält oder fehlerhaft bestückt wird.
Klaus Landefeld: Das ist genau das Thema. Denn das ist nämlich genau die Frage: Nach was suche ich eigentlich? Und wer kontrolliert, nach was ich suche? Das ist ein administratives Problem. Denn zu dem eigentlichen IT-Sicherheitsproblem kommt die Frage dazu: Wie kann ich denn sicherstellen, dass dieses Scanning nur geordnet abläuft?
Die administrative Kontrolle wird gar nicht diskutiert
netzpolitik.org: Welche Fragen stellen sich, wenn ein Client-Side-Scanning verpflichtend würde?
Klaus Landefeld: Die erste Frage wäre: Wer kontrolliert denn, wer das Client-Side-Scanning benutzen darf? Und es kommen weitere Fragen dazu: Wer darf Anforderungen stellen? Wer darf Daten einstellen, nach denen gescannt wird? Wer stellt wie sicher, dass nur etwas, was im Sinne dieser Verordnung ist, gescannt wird und nicht nach ganz anderen Inhalten?
Es ist jetzt schon völlig klar: Da werden auch Daten von Ländern eingestellt werden, von denen wir uns das vielleicht nicht wünschen. Denn Staaten, von denen wir das nicht wollen, müssen wir auch mit an Bord nehmen, denn ansonsten werden diese den Einsatz dieser Software verbieten. Polizeien dieser Staaten haben auch Muster, nach denen sie suchen wollen. Das sind vielleicht Inhalte, wo wir sagen würden, das wollen wir gar nicht.
Doch die administrative Kontrolle wird in diesem ganzen Vorschlag gar nicht richtig diskutiert. Wer stellt da eigentlich was ein? Wer kontrolliert, was wie reinkommt?
netzpolitik.org: Alternativ wurde ja auch eine freiwillige Chatkontrolle für Internet-Dienste diskutiert, die von der vergangenen dänischen EU-Ratspräsidentschaft ins Spiel gebracht worden war. Wäre das eine bessere Option?
Klaus Landefeld: Die Frage ist natürlich, wer das freiwillig umsetzt. Größere Dienste würde man wahrscheinlich über die Plattformregulierung angehen und sie verpflichten, wenn sie sehr groß sind. Für kleine und mittlere Unternehmen wäre Freiwilligkeit erstmal ein Schritt in die richtige Richtung, weil insbesondere die kleineren eine Chatkontrolle nicht umsetzen müssten.
Aber Freiwilligkeit wird in dieser Form nicht kommen, weil diese Systeme sehr aufwendig sind. Allein der Betrieb der Datenbanken hintendran, aber auch das Einführen dieser Technologien in die unternehmenseigene Software ist sehr aufwendig und für kleine mittelständische Unternehmen gar nicht zu leisten. Ich erinnere mich an Vorschläge im Jahr 2022, wo Anbieter wie Google gesagt haben, dass Dritte ihre Datenbanken von CSAM-Inhalten auch benutzen könnten. Denn klar war: Kleinere Unternehmen können diese Datenbanken gar nicht bereitstellen. Ein Ansatz der Freiwilligkweit mitigiert das Problem und macht es vielleicht besser erträglich, bietet aber keine Lösung.
Dazu kommt: Erwartet man dann von Anwendern, dass sie sich überlegen: Nutze ich jetzt einen Anbieter, der scannt, oder einen Anbieter, der nicht scannt? Das kann ja nicht die Lösung sein. Denn die Privatheit der Kommunikation sollte und muss bei allen Anbietern geschützt sein.
netzpolitik.org: Ist in Europa einheitlich definiert, welche Inhalte unter eine Chatkontrolle fallen würden?
Klaus Landefeld: Nein, es gibt beispielsweise Unterschiede bei der sog. Jugendpornographie oder auch beim Cyber Grooming. Es ist zwar völlig klar, dass sog. Kinderpornographie überall strafbar ist. Aber es gibt viele Graubereiche und sehr unterschiedliche Gesetze. Das ist natürlich ein Problem, denn nach welchem Standard sollen sich Anbieter dann richten? Wenn etwa zwei Personen miteinander kommunizieren, die in zwei unterschiedlichen Ländern sind, was ist dann das anzuwendende Rechtssystem? Und das betrifft nur die Frage, um welche Inhalte es eigentlich geht. Eine zweite Frage wäre, was melde ich weiter?
Ein Recht, das in der Praxis überhaupt nicht funktioniert
netzpolitik.org: Die Strafverfolgungsbehörden sollen ja Verdachtsfällen nachgehen. Wie könnte das technisch ablaufen?
Klaus Landefeld: Im Prinzip wäre es ja eine Entlastung des Anbieters: Verdachtsfälle werden an Strafverfolgungsbehörden gemeldet, die müssten dann tätig werden oder müssten Materialien einsehen. Doch da sind noch technische Fragen, die vorher geklärt werden müssen: Wie kommen die Strafverfolgungsbehörden denn eigentlich an dieses Material ran?
Wenn man sich praktisch vorstellt, man hätte jetzt ein Verdachtsfall aus privater Kommunikation. Es soll ja eigentlich so sein, dass das verdächtige Originalbild gar nicht beim Anbieter landet, sondern seine Software das erkennt und als Verdachtsfall meldet. Doch was passiert dann? Das ist genau der Punkt. Das Ganze ist ja nicht verbunden mit irgendeiner Speicherverpflichtung. Die Frage, was eigentlich aus so einem Verdachtsfall wird, ist völlig ungeklärt.
Man will ein Recht schaffen, das in der Praxis in dieser Form überhaupt nicht funktionieren würde, völlig unabhängig von allen Rechtsfragen. Denn rein technisch würde das in dieser Form nicht funktionieren können, ohne dass man wieder Inhalte speichert und weitergibt. Und das wäre der absolute Super-GAU: Wenn Inhalte privater Kommunikation wegen eines automatisch von KI erzeugten Verdachtsfalls gespeichert und weitergegeben würden.
netzpolitik.org: Im aktuellen Vorschlag zur Chatkontrolle sind ja auch Scans nach bisher unbekanntem Material vorgesehen. Wie realistisch ist das?
Klaus Landefeld: Für Verdachtsfälle aus neuem Material ist die Automatisierung sehr schwierig. Das sind Phantasievorstellungen, wie so etwas ablaufen könnte, die mit der Realität und mit dem, was tatsächlich von den Systemen heute geleistet werden kann, nichts zu tun haben.
Wir haben Mitarbeiter in unserer Beschwerdestelle, die jeden Tag mit dieser Materialform zu tun haben. Wir veröffentlichen jedes Jahr einen Bericht darüber, zuletzt 2024. Es geht dabei um Meldungen, die natürliche Personen an die Beschwerdestelle gemeldet haben. Die Beschwerdestelle schaut sich die Inhalte an und bewertet, ob ein Straftatbestand erfüllt ist oder nicht. Die Quoten sind sehr gering, was dann tatsächlich an Strafverfolgungsbehörden weitergegeben wird. Um die 80 Prozent erfüllen tatsächlich keinen Straftatbestand. Wenn man sich überlegt, wie oft ein Verdacht an Strafverfolgungsbehörden automatisiert weitergegeben worden wäre, dann ist das ein absolutes Unding.
netzpolitik.org: Welche Größenordnungen von automatischen Meldungen landen heute bei den Strafverfolgungsbehörden?
Klaus Landefeld: Momentan haben wir im CSAM-Bereich sehr viele NCMEC-Meldungen aus den USA, mittlerweile über 100.000 Meldungen jedes Jahr. Für jeden Fall muss das BKA im Prinzip Ermittlungen einleiten, weit überwiegend machen die Ermittler das tatsächlich. Das geht dann alles zu den Anbietern, wir erhalten diese Anfragen ja als Anbieter von Internetzugängen. Das BKA sagt, dass im weit überwiegenden Fall keine Daten mehr da seien und man diese Anzahl im Prinzip gar nicht richtig verarbeiten kann. Die Anbieter sehen das etwas anders, denn oft mangelt es nur an der Qualität der Anfragen – so erhalten wir oft nur eine IP-Adresse statt der erforderlichen IP- und Port-Kombination.
Das führt heute schon dazu, dass die Kriminalitätsstatistik negativ verzerrt wird. Konkret hängt es an der absoluten Anzahl automatisierter Meldungen aus den USA und darauf resultierenden potentieller Ermittlungsverfahren. In Europa will man das im Prinzip nun kopieren: Es sollen automatisierte Meldungen bei Verdachtsfällen erfolgen, wo dann ermittelt werden soll. Das Problem ist: Wir haben eine riesengroße Black Box mit einer sehr niedrigen Aufklärungsquote. Wenn ich vorn noch viel mehr reinstopfe, ändere ich an der Aufklärungsquote erstmal gar nichts, sie sinkt sogar weiter ab.
netzpolitik.org: Was wäre der bessere Weg?
Klaus Landefeld: Die Herausforderung wäre eigentlich, die Aufklärungsquote zu erhöhen und sich zu überlegen, wie man tatsächlich vernünftig ermitteln könnte und nicht bereits überforderte Strafverfolgungsbehörden mit noch mehr Fällen zu überfordern, die im weit überwiegenden Fall zu nichts führen und noch nicht mal einen Straftatbestand erfüllen. Man müsste Maßnahmen ergreifen, die effektiv die Aufklärungsquoten verbessern – die hierzu notwendigen Ressourcen werden aber nicht bereitgestellt.
netzpolitik.org: Vielen Dank für das Gespräch!
-
UX/UI & Webdesignvor 2 Monaten
Der ultimative Guide für eine unvergessliche Customer Experience
-
UX/UI & Webdesignvor 1 Monat
Adobe Firefly Boards › PAGE online
-
Social Mediavor 2 Monaten
Relatable, relevant, viral? Wer heute auf Social Media zum Vorbild wird – und warum das für Marken (k)eine gute Nachricht ist
-
Entwicklung & Codevor 2 Monaten
Posit stellt Positron vor: Neue IDE für Data Science mit Python und R
-
Entwicklung & Codevor 1 Monat
EventSourcingDB 1.1 bietet flexiblere Konsistenzsteuerung und signierte Events
-
UX/UI & Webdesignvor 3 Wochen
Fake It Untlil You Make It? Trifft diese Kampagne den Nerv der Zeit? › PAGE online
-
Apps & Mobile Entwicklungvor 3 Monaten
Firefox-Update 141.0: KI-gestützte Tab‑Gruppen und Einheitenumrechner kommen
-
Online Marketing & SEOvor 2 Monaten
So baut Googles NotebookLM aus deinen Notizen KI‑Diashows