Connect with us

Datenschutz & Sicherheit

Data Poisoning bei LLMs: Feste Zahl Gift-Dokumente reicht für Angriff


close notice

This article is also available in
English.

It was translated with technical assistance and editorially reviewed before publication.

Weiterlesen nach der Anzeige

Eine neue Forschungsarbeit mit dem Titel „Poisoning attacks on LLMs require a near-constant numer of poison samples“ stellt eine wichtige Annahme zur Sicherheit großer KI-Sprachmodelle infrage. Die bei arXiv veröffentlichte Studie, die in Zusammenarbeit des UK AI Security Institute, Anthropic und des Alan Turing Institute entstand, kommt zu einem alarmierenden Ergebnis: Es kommt nicht auf den prozentualen Anteil an, sondern auf die absolute Zahl der vergifteten Dokumente – und diese Zahl ist verblüffend niedrig.

Die Forscher führten nach eigenen Angaben die bisher größten Experimente zu Data Poisoning während des Pre-Trainings durch. Um realistische Bedingungen zu schaffen, trainierten sie Modelle verschiedener Größen – von 600 Millionen bis 13 Milliarden Parametern – von Grund auf. Die Größe des Trainingsdatensatzes haben die Forscher entsprechend der „Chinchilla-optimalen“ Regel mit der Modellgröße skaliert – dabei wird das Verhältnis von Modellgröße (Parametern) und der Menge an Trainingsdaten (Tokens) möglichst effizient aufeinander abgestimmt.

Das größte Modell wurde also auf über 20-mal mehr sauberen Daten trainiert als das kleinste. Als Angriffsszenario wählten die Forscher eine sogenannte „Denial-of-Service“-Hintertür (Backdoor). Das Ziel: Sobald das Modell auf ein bestimmtes Trigger-Wort (im Paper ) stößt, soll es seine normale Funktion einstellen und nur noch unsinnigen Text („Gibberish“) ausgeben. Um dies zu erreichen, wurden dem Trainingsdatensatz manipulierte Dokumente beigemischt, die genau diese Assoziation herstellen.

Die zentrale Erkenntnis der Studie ist, dass die für einen erfolgreichen Angriff benötigte Anzahl an vergifteten Dokumenten nicht mit der Größe des Modells oder des Datensatzes ansteigt. Die Experimente zeigten, dass bereits 250 Dokumente ausreichten, um in allen getesteten Modellgrößen zuverlässig eine funktionierende Hintertür zu implementieren, während 100 Beispiele noch keine robuste Wirkung zeigten. Selbst das 13-Milliarden-Parameter-Modell, das auf einem 260 Milliarden Token umfassenden Datensatz trainiert wurde, fiel auf diese geringe Anzahl herein. Diese 250 Dokumente machten gerade einmal 0,00016 % der gesamten Trainings-Tokens aus, was zeigt, dass die immense Menge an sauberen Daten die Wirkung des Gifts nicht neutralisieren konnte.

Weiterlesen nach der Anzeige

Die Forschenden vermuten, dass gerade die hohe Lerneffizienz großer Modelle sie anfällig macht. Sie sind so gut darin, Muster zu erkennen, dass sie auch selten vorkommende, aber konsistente Muster verinnerlichen – wie die durch die vergifteten Daten eingeführte Backdoor. Diese Ergebnisse wurden laut dem Team zudem für die Phase des Fine-Tunings bestätigt. In einem weiteren Experiment wurde das Modell Llama-3.1-8B-Instruct darauf trainiert, schädliche Anweisungen auszuführen, wenn ein Trigger-Wort verwendet wird. Auch hier war die absolute Anzahl der vergifteten Beispiele der entscheidende Faktor für den Erfolg, selbst wenn die Menge der sauberen Daten um den Faktor 100 erhöht wurde.

Die Schlussfolgerung der Studie verkehrt die bisherige Sicherheitslogik ins Gegenteil: Je größer und datenhungriger KI-Modelle werden, desto „einfacher“ wird ein Angriff durch Datenvergiftung. Während die Angriffsfläche (das öffentliche Internet) wächst, bleibt der Aufwand für den Angreifer – die Erstellung von einigen Hundert Dokumenten – nahezu konstant. Das stellt KI-Entwickler vor neue Herausforderungen.

Sich auf die schiere Größe von Trainingsdatensätzen als passiven Schutz zu verlassen, wäre demnach nicht mehr haltbar. Entwickler müssen sich daher auf aktive Verteidigungsmaßnahmen konzentrieren, statt sich auf die Datenmenge zu verlassen. Dies umfasst beispielsweise eine striktere Filterung der Trainingsdaten, die Anomalieerkennung im Trainingsprozess und die nachträgliche Analyse der Modelle auf versteckte Hintertüren.

Sofern sich die Ergebnisse bestätigen, wäre die Ansicht, dass das Vergiften von KI-Daten wie „ins Meer pinkeln“ sei, wissenschaftlich widerlegt. Ein einzelner Akteur benötigt keine riesigen Ressourcen, um Schaden anzurichten. Großangelegte Desinformationskampagnen, wie das russische „Pravda“-Netzwerk, das gezielt Propaganda in die Trainingsdaten von KI-Modellen einschleusen will, wären dadurch bedrohlicher als gedacht. Wenn bereits 250 Dokumente eine nachweisbare Wirkung haben, wäre das Schadenspotenzial solcher Kampagnen immens.


(vza)



Source link

Datenschutz & Sicherheit

„Absurd und respektlos“: Dänischer Justizminister diskreditiert Chatkontrolle-Proteste


Der dänische Justizminister Peter Hummelgaard hat in einer Pressekonferenz nach der abgesagten Chatkontrolle-Abstimmung im Rat der EU Journalist:innen empfohlen, sie sollten „dem Geld folgen“ (Video), um herauszufinden, wie die Chatkontrolle-Debatte entstanden sei. Damit streut er Gerüchte, dass die Gegner:innen der anlasslosen Überwachung letztlich gekauft seien.

Der Sozialdemokrat Hummelgaard wiederholt damit Vorwürfe, die er schon im September dieses Jahres im dänischen Rundfunk DR erhoben hatte. Dort äußerte er die Meinung, dass es in dieser Debatte einige falsche Narrative gäbe, und er verstehe auch gut, woher sie kämen. Weiter behauptete er: „Sie stammen zum großen Teil aus sehr, sehr starkem und heftigem Lobbyismus seitens der Tech-Unternehmen.“

Die Aussagen wirken alleine angesichts der Breite des Widerspruches gegen die Chatkontrolle schon aus der Luft gegriffen. Seit Jahren reden sich Hunderte von IT-Expertinnen und Sicherheitsforschern, Juristinnen, Datenschützern, Digitalorganisationen, Tech-Unternehmen, Messengern, UN-Vertretern, Kinderschützern, Wächterinnen der Internetstandards, Wissenschaftlerinnen weltweit den Mund gegen die Chatkontrolle fusselig, weil sie diese für ein grundrechtsfeindliches und gefährliches Überwachungsprojekt halten.

Absurd, verzweifelt, respektlos

Dementsprechend empört fallen auch Reaktionen aus der Zivilgesellschaft aus. „Die Beschuldigung, die netzpolitische Zivilgesellschaft sei gekauft, übertrifft in Absurdität und Respektlosigkeit noch Axel Voss Vorwürfe in der Urheberrechtsdebatte“, sagt Elina Eickstädt, Sprecherin des Chaos Computer Clubs. Der Europaabgeordnete raunte damals, die Proteste seien von Bots gesteuert.

Die „Arbeit an der Chatkontrolle“ würde zu großen Teilen von vollständig ehrenamtlichen Akteurinnen wie dem CCC gemacht, so Eickstädt weiter. „Wir sind hauptberufliche Techniker:innen, die es sich in ihrer Freizeit zur Aufgabe gemacht haben digitale Menschenrechte zu schützen.“

Wir sind ein spendenfinanziertes Medium

Unterstütze auch Du unsere Arbeit mit einer Spende.

Auch Konstantin Macher von der Digitalen Gesellschaft hält die Aussagen des dänischen Justizministers für absurd: „Sie zeugen vom verzweifelten Versuch, die Chatkontrolle notfalls auch mit unlauteren Methoden durchzudrücken. So ein Verhalten haben wir schon einmal von der ehemaligen EU-Innenkommissarin gesehen, die wegen ihrer Nähe zur Pro-Chatkontrolle-Lobby massiv in der Kritik stand.“

In eine ähnliche Kerbe haut auch Jesper Lund, Vorsitzender der dänischen Digitalorganisation IT-Pol: „Es werden keine Beweise vorgelegt, und das genaue Gegenteil ist der Fall: die Proteste werden von Menschen organisiert.“ Tatsächlich seien ja Journalisten „dem Geld gefolgt” und hätten damals erhebliche versteckte Finanzmittel hinter der Unterstützung für die Chatkontrolle aufgedeckt. „Ich kann hinter Hummelgaards Aussagen nur einen einzigen Zweck erkennen: er will die öffentlichen Proteste diskreditieren, die mehr EU-Regierungen dazu bewegen könnten, sich im Rat gegen Chatkontrolle auszusprechen“, so Lund weiter.

Recherchen decken Netzwerk der Chatkontrolle-Lobby auf

EU-Kommission beim Lobbyismus aufgefallen

Im Verlauf der mittlerweile vier Jahre anhaltenden Chatkontrolle-Debatte war vor allem die EU-Kommission durch Empfänglichkeit für Lobbyismus und eigene Lobbytätigkeiten aufgefallen. So konnten die Überwachungsbefürworter von der Lobbyorganisation Thorn innerhalb von 37 Minuten einen Termin mit der damaligen EU-Innenkommissarin Johansson organisieren.

Verschiedene europäische Medien hatten zudem aufgedeckt, dass ein breites und millionenschweres Netzwerk aus Tech-Firmen, Stiftungen, Sicherheitsbehörden und PR-Agenturen auf höchster EU-Ebene für die Chatkontrolle lobbyiert hatte. Die EU-Kommission hatte im Jahr 2023 darüber hinaus zu politischem Targeting gegriffen und zielgerichtete Werbung auf Twitter in Ländern geschaltet, die kritisch gegen die Chatkontrolle eingestellt waren.



Source link

Weiterlesen

Datenschutz & Sicherheit

„Körperdaten sind keine freie Verfügungsmasse“


Spätestens nachdem Journalist:innen mit einer Gesichtersuchmaschine fast das Ex-RAF-Mitglied Daniela Klette aufgespürt hatten, forderten Sicherheitspolitiker:innen und Polizeiangehörige: Auch die Ermittlungsbehörden sollen entsprechende Software nutzen dürfen. Ihr Ruf blieb nicht ungehört: Mit dem sogenannten Sicherheitspaket wollte die Ampel-Regierung im vergangenen Jahr dem Bundeskriminalamt erlauben, biometrische Daten wie Fotos im Internet zu nutzen, um damit Verdächtige oder Opfer schwerer Straftaten zu suchen. Damit kam sie im Bundesrat letztlich nicht durch, weil den Ländern einige der anderen Überwachungsbefugnisse im Paket nicht weit genug gingen.

Doch die amtierende schwarz-rote Regierung hat bereits eine Neuauflage des tiefgreifenden Befugnisbündels in Vorbereitung. Das stand heute auf der Tagesordnung für das Bundeskabinett, von der es dann aber wie schon zuvor wieder gestrichen wurde. Nichtsdestotrotz legten heute die Grundrechtsorganisationen AlgorithmWatch und Amnesty International, der Chaos Computer Club, die Gesellschaft für Freiheitsrechte sowie der ehemalige Bundesdatenschutzbeauftragte Ulrich Kelber bei einer Pressekonferenz dar, warum der bislang bekannte und von netzpolitik.org veröffentlichte Entwurf in dieser Form verfassungs- und europarechtswidrig sei.

„Rechtswidrig, egal wer es betreibt“

„Biometrische Massenüberwachung ist rechtswidrig, egal wer sie betreibt“, sagte dabei Matthias Marx vom Chaos Computer Club. Der IT-Sicherheitsexperte erklärte eindringlich, dass keine Person sich biometrischer Überwachung entziehen könne. Biometrische Merkmale seien nun mal einmalig für eine Person und konstant. „Die Körperdaten von Menschen sind keine freie Verfügungsmasse, weder für Staat noch für kommerzielle Stalking-Dienstleister wie PimEyes oder Clearview“, so Marx. Die letzteren beiden sind die wohl bekanntesten kommerziellen Gesichtersuchmaschinen. Marx selbst wehrte sich bereits dagegen, dass etwa Clearview Daten zu seinem Gesicht gespeichert hatte.

Während bei den privaten Anbietern Konflikte mit der Datenschutzgrundverordnung offenkundig sind, stehen bei der polizeilichen Nutzung von biometrischen Daten aus Internetquellen andere Hindernisse im Weg. Allen voran die KI-Verordnung der EU. Sie verbietet es in Artikel 5, „Datenbanken zur Gesichtserkennung durch das ungezielte Auslesen von Gesichtsbildern aus dem Internet oder von Überwachungsaufnahmen“ zu erstellen oder zu erweitern. Matthias Spielkamp, Geschäftsführer von AlgorithmWatch, berichtete, dass immer wieder darauf verwiesen worden sei, die Suche könne auch ohne Datenbank funktionieren.

Dazu hat AlgorithmWatch ein Gutachten von dem Suchmaschinen-Experten Dirk Lewandowski anfertigten lassen, der Professor für Information Research & Information Retrieval an der Hochschule für Angewandte Wissenschaften Hamburg ist. Lewandowski kommt darin zum Ergebnis, dass es technisch nicht umsetzbar sei, frei verfügbare Bilder aus dem Netz „für einen Abgleich praktikabel durchsuchbar zu machen, ohne eine Datenbank“ zu erstellen. Etwa weil Anfragen sehr lange dauern würden, wenn die notwendige Verarbeitung der Bilder immer erst ad hoc erfolge.

Wir sind ein spendenfinanziertes Medium

Unterstütze auch Du unsere Arbeit mit einer Spende.

Aus Sicht von Spielkamp bestätigt das Gutachten damit die Bedenken von Menschenrechtsverteidiger:innen: „Die angestrebten biometrischen Erkennungsverfahren würden zwangsläufig gegen EU-Recht verstoßen, weil sie ohne den Einsatz von Datenbanken nicht umsetzbar sind. Diese Bundesregierung kann diese Tatsache nicht länger bestreiten und sollte ihre Gesichtserkennungspläne endgültig begraben.“

Nicht nur europarechtliche Probleme

Doch selbst wenn es dieses rechtliche Problem nicht gäbe, stünden den Biometrieplänen im Gesetzentwurf weitere im Wege. Die Juristin Simone Ruf von der Gesellschaft für Freiheitsrechte sieht auch verfassungsrechtlich hohe Hürden, denn das Vorhaben greife tief in die informationelle Selbstbestimmung von Menschen ein. „Es wären biometrische Daten von Milliarden von Menschen betroffen“, so Ruf. Am Ende ließe sich fast jede Person überall identifizieren, es ergäbe sich das Potenzial für Massenüberwachung. Aus Rufs Perspektive sei es „sehr wahrscheinlich“, dass ein derartiger biometrischer Abgleich vor dem Bundesverfassungsgericht keinen Bestand haben würde.

Dem pflichtete auch Ulrich Kelber bei: „Immer wieder musste das Bundesverfassungsgericht aufgrund von Klagen aus der Zivilgesellschaft überschießende Überwachungs- und Fahndungsgesetzgebung stoppen“, so der ehemalige Bundesdatenschutzbeauftragte. „Das Bundesinnenministerium hat daraus nichts gelernt und will erneut gesetzliche Regelungen, die erkennbar gegen Vorgaben der Verfassung, des Datenschutzes und der KI-Regulierung verstoßen.“

Abschreckung und Diskriminierung

Lena Rohrbach von Amnesty International ging zusätzlich auf die gesellschaftlichen Folgen des geplanten Gesetzes ein. Es käme zu Abschreckungseffekten, sich im öffentlichen Raum zu bewegen. „Für die Bevölkerung ist gar nicht nachvollziehbar, welche Datenspuren korreliert werden und was verdächtig ist“, so die Referentin für Menschenrechte im digitalen Zeitalter. Das könne Personen davon abhalten, sich politisch zu engagieren und an Demonstrationen teilzunehmen. Und das wäre ein Problem, besonders heute: „Demokratie braucht eine aktive Zivilgesellschaft und keine eingeschüchterte“, so Rohrbach.

Überdies gebe es im Gesetzentwurf keinerlei Vorkehrungen, um Auswirkungen potenziell diskriminierender Technologien zu verhindern. Das kann beispielsweise der Fall sein, wenn bestimmte Personen häufiger falsch erkannt und eventuell damit vermehrt zu Unrecht verdächtigt werden.



Source link

Weiterlesen

Datenschutz & Sicherheit

Fortinet aktualisiert unter anderem FortiOS, FortiPAM und FortiSwitch Manager


close notice

This article is also available in
English.

It was translated with technical assistance and editorially reviewed before publication.

Neben den „üblichen Verdächtigen“ Microsoft und Adobe hat auch Fortinet pünktlich zum Patchday eine ganze Reihe von Updates für verschiedene Produkte veröffentlicht.

Weiterlesen nach der Anzeige

Die aktuellen Sicherheitshinweise erwähnen insgesamt 18 geschlossene Lücken. Zwei davon wurden mit dem Schweregrad „High“ bewertet; sie betreffen FortiOS, FortiPAM sowie den FortiSwitch Manager. Hinzu kommen „Medium“- und „Low“-Lücken unter anderem in FortiAnalyzer, FortiProxy, FortiManager Cloud, FortiMail und FortiSRA.

Angesichts der Tatsache, dass IT-Sicherheitslösungen des Herstellers in der jüngeren Vergangenheit schon häufiger zum Ziel von kursierendem Exploit-Codes wurden, sollten Admins möglichst zügig handeln. Bis dato sind allerdings noch keine auf die aktuellen Lücken abzielenden Exploits bekannt.

Zur unbefugten Ausführung von Systembefehlen per Kommandozeile könnten lokale, authentifizierte Angreifer die Schwachstelle CVE-2025-58325 („Restricted CLI command bypass“; CVSS-Score 7.8) missbrauchen. Sie betrifft FortiOS in der gesamten 6.4-er Versionsreihe, die Versionen 7.0.0 bis 7.0.15, 7.2.0 bis 7.2.10 und 7.4.0 bis 7.4.5 (jeweils inklusive der letztgenannten) sowie die Version 7.6.0. Ein Upgrade auf die jeweils nächsthöhere Version beziehungsweise ein Umstieg von 6.4 auf ein aktuelles, gefixtes Release schaffen Abhilfe.

Schwache Authentifizierungsmechanismen sind die Wurzel von CVE-2025-49201 (CVSS 7.4), einer Lücke, die laut Fortinet Brute-Force-Angriffe erleichtert. Der National Vulnerability Database (NVD) ist überdies zu entnehmen, dass mittels spezieller HTTP-Requests auch in diesem Falle die Möglichkeit besteht, schädlichen Code oder Befehle auszuführen. Verwundbar sind mehrere FortiPAM-Versionsreihen (außer 1.6 und 1.7) sowie FortiSwitch Manager 7.2.0 bis inklusive 7.2.4.

Ausführliche Informationen zu allen verwundbaren und abgesicherten Versionen sind folgenden Advisories zu entnehmen:

Weiterlesen nach der Anzeige

Eine Übersicht auch über die Schwachstellen mit niedrigerer Risikobewertung bietet Fortinets Übersichtsseite nebst detaillierter Filteroptionen etwa nach Datum, Produkt und Schweregrad.


(ovw)



Source link

Weiterlesen

Beliebt