Connect with us

Künstliche Intelligenz

KI-Update Deep-Dive feat. They Talk Tech: Prompt Injections


Die Vision von KI-Assistenten, die selbstständig E-Mails zusammenfassen, Reisen buchen und Termine planen, wird von Unternehmen wie OpenAI, Google und Anthropic vorangetrieben. Doch diese fortschrittlichen Helfer haben eine kritische Schwachstelle, die sie dauerhaft angreifbar machen könnte. Im Deep-Dive des KI-Updates sprechen die Tech-Journalistinnen Svea Eckert und Eva Wolfangel vom c’t-Podcast „They Talk Tech“ über Prompt Injections. Eva Wolfangel ist überzeugt, dass diese Angriffe „der Grund sind, warum KI-Anwendungen für immer hackbar bleiben und die besten Freundinnen von Cyberkriminellen und Spionen“ sein könnten.


Eigenwerbung Fachdienst heise KI PRO

Eigenwerbung Fachdienst heise KI PRO

Eine Prompt Injection liegt laut Wolfangel immer dann vor, „wenn man böswillige Eingaben als legitimen Prompt tarnen kann und damit die KI manipuliert“. Dabei werden in scheinbar harmlosen Texten, E-Mails oder auf Webseiten versteckte Befehle platziert, die ein Sprachmodell (LLM) auslesen und ausführen soll. Für Menschen sind diese Anweisungen oft unsichtbar, etwa durch weiße Schrift auf weißem Grund. „Für Chatbots ist gar nix anders als sonst, die sehen den Text einfach“, erklärt Wolfangel.

In einer Demonstration, die ihr vor einiger Zeit von Forschenden gezeigt wurde, wurde das Microsoft-System Copilot angegriffen. „Der User instruiert Copilot, bitte fass mir eine E-Mail zusammen“, beschreibt Wolfangel das Szenario. In dieser E-Mail befanden sich versteckte Anweisungen, die den KI-Agenten dazu brachten, andere E-Mails des Nutzers nach sensiblen Informationen wie Verkaufszahlen oder Einmal-Passwörtern zu durchsuchen. Die gestohlenen Daten wurden dann in einen Link verpackt, der dem Nutzer zur Verfügung gestellt wurde. „Der User klickt den Link, sieht es nicht und dann geht eben diese Information an den Angreifer“, so Wolfangel.

Um solche Angriffe zu verschleiern, nutzen Angreifer Methoden wie „ASCII-Smuggling“. „Dabei werden spezielle Zeichen verwendet, um Teile einer URL für das menschliche Auge unsichtbar zu machen, während der Computer sie vollständig liest“, wie Wolfangel erläutert. Eckert ergänzt: „ASCII steht für ‚American Standard Code for Information Interchange‘ und das ist ein Zeichensatz, der jedem Zeichen, also jedem Buchstaben eine eindeutige Nummer zuweist, sodass der Computer sie dann auch verstehen und verarbeiten kann.“ Durch die Manipulation dieser Codes kann ein Link harmlos aussehen, aber im Hintergrund Daten an einen fremden Server senden.

Das Problem bei diesen Angriffen ist, dass sie keine klassische Sicherheitslücke ausnutzen, die man einfach schließen könnte. Stattdessen missbrauchen sie eine Kernfunktion der Sprachmodelle: ihre Fähigkeit, Anweisungen in natürlicher Sprache zu verstehen und zu befolgen. Zwar versuchen die Hersteller, ihre Modelle durch zusätzliche Sicherheitsanweisungen zu schützen, doch das scheint für Eckert und Wolfangel ein aussichtsloses Unterfangen. „Man müsste unendlich kreativ sein, um sich alles Mögliche auszudenken, um dem Herr zu werden. Und das ist quasi unmöglich“, sagt Eckert. Jede geschlossene Lücke wird schnell durch eine neue, kreativere Angriffsmethode ersetzt.


KI-Update

KI-Update

Wie intelligent ist Künstliche Intelligenz eigentlich? Welche Folgen hat generative KI für unsere Arbeit, unsere Freizeit und die Gesellschaft? Im „KI-Update“ von Heise bringen wir Euch gemeinsam mit The Decoder werktäglich Updates zu den wichtigsten KI-Entwicklungen. Freitags beleuchten wir mit Experten die unterschiedlichen Aspekte der KI-Revolution.

Die Konsequenzen für den Einsatz von KI-Agenten sind weitreichend. Besonders riskant ist es, wenn drei Faktoren zusammenkommen, die der Sicherheitsforscher Simon Willison laut Wolfangel als „lethal trifecta“ bezeichnet: „dass eben ein Chatbot Zugriff auf private Daten hat, die Fähigkeit hat, nach außen zu kommunizieren, und außen auf Inhalte trifft, denen man nicht automatisch vertrauen kann.“ Dies ist der Fall, sobald ein Agent E-Mails liest oder auf das Internet zugreift.

Für Aufgaben wie das automatische Beantworten von E-Mails seien solche Agenten daher ungeeignet. Selbst wenn ein Nutzer jede vom KI-Agenten formulierte E-Mail vor dem Absenden prüft, könnten darin versteckte Befehle enthalten sein. „Der Aufwand, diese E-Mails zu kontrollieren, wird unglaublich hoch“, warnt Wolfangel. Ihre klare Empfehlung lautet daher: „Ich würde es jetzt aktuell tatsächlich nicht machen.“

Für viele Aufgaben, so das Fazit, seien klassische, regelbasierte Systeme die sicherere Wahl. Wolfangel erzählt von einer Fluggesellschaft, deren Chatbot einem Kunden fälschlicherweise eine Rückerstattung versprach, die das Unternehmen dann gerichtlich bestätigt zahlen musste. Das zeige die Unwägbarkeiten. Man habe es schlicht „nicht in der Hand, was die Systeme am Ende schreiben.“


(igr)



Source link

Künstliche Intelligenz

EU einigt sich auf abgeschwächtes Lieferkettengesetz


Die EU will das europäische Lieferkettengesetz zum Schutz von Menschenrechten abschwächen, noch bevor es angewendet wird. Unterhändler der EU-Staaten und des Europaparlaments einigten sich in Brüssel darauf, dass die Vorgaben nur noch für wenige große Unternehmen gelten sollen, wie beide Seiten mitteilten. Das Parlament und die EU-Mitgliedsländer müssen die Änderung noch genehmigen, normalerweise ist das aber reine Formsache.

Weiterlesen nach der Anzeige

Die Vorgaben sollen künftig nur noch für Großunternehmen mit mehr als 5.000 Mitarbeitenden und einem Jahresumsatz von mindestens 1,5 Milliarden Euro gelten. Ursprünglich waren als Grenze 1.000 Mitarbeitende und eine Umsatzschwelle von 450 Millionen Euro vorgesehen.

Zudem sollen Firmen, die gegen die Regeln verstoßen, auf EU-Ebene keiner zivilrechtlichen Haftung mehr unterliegen – wodurch für Opfer von Menschenrechtsverstößen eine Klagemöglichkeit entfällt. Wenn sich Unternehmen nicht an die Vorgaben halten, soll eine Strafe von maximal drei Prozent ihres weltweiten Nettoumsatzes verhängt werden können. Zudem soll es nach Angaben aus dem Parlament und der EU-Staaten künftig keine Pflicht mehr geben, Handlungspläne für Klimaziele auszuarbeiten.

Dem jetzt erfolgten Schritt war ein heftiger politischer Schlagabtausch vorausgegangen. Die konservative Europaparlamentsfraktion um CDU und CSU hatte vor knapp einem Monat mit der Unterstützung rechter und rechtsextremer Parteien den Weg für eine Abschwächung des Regelwerks freigemacht. Zuvor hatten sich auch die EU-Staaten für weniger strenge Vorschriften ausgesprochen.

Bundeskanzler Friedrich Merz (CDU) hatte bei seinem Antrittsbesuch in Brüssel sogar eine komplette Abschaffung der Richtlinie gefordert. Als ein erster Kompromiss zur Abschwächung des EU-Lieferkettengesetzes im Europaparlament scheiterte, nannte Merz dies „inakzeptabel“ und forderte eine Korrektur.

Ziel des Lieferkettengesetzes ist es, Menschenrechte weltweit zu stärken. Große Unternehmen sollen zur Rechenschaft gezogen werden können, wenn sie von Menschenrechtsverletzungen wie Kinder- oder Zwangsarbeit profitieren. Das Vorhaben wurde von Firmen vehement kritisiert – sie kritisierten vor allem, die bürokratische Belastung sei unzumutbar, wenn entlang der teils komplexen Lieferketten in der Wirtschaft potenzielle Regelverstöße überprüft werden müssten.

Weiterlesen nach der Anzeige

Die rechte Mehrheit zugunsten der Abschwächung des Lieferkettengesetzes im Parlament wurde von Liberalen, Sozialdemokraten und Grünen heftig kritisiert. Die Entscheidung war brisant, da die konservative EVP, zu der auch CDU und CSU gehören, die Mehrheit abseits der üblichen Bündnisse gesucht und gefunden hatte.

Eigentlich arbeiten EVP, Sozialdemokraten (S&D) und Liberale in einer Art informeller Koalition zusammen. Sie haben eine knappe Mehrheit im Parlament. Das Lieferkettengesetz dürfte nun aber das erste große Gesetzesprojekt werden, das auch final mit einer klar rechten Mehrheit durchs Parlament geht. Welche Auswirkungen das auf die kommende Zusammenarbeit von EVP, S&D und Liberalen haben wird, ist noch unklar.

Der SPD-Europaabgeordnete Tiemo Wölken sprach von einem schwarzen Tag für Europa, da Menschenrechte und Klimaschutz offenkundig nur noch billige Verhandlungsmasse seien. „Ein Kompromiss mit den demokratischen Kräften des Parlaments wäre möglich gewesen, scheiterte aber an der Erpressungstaktik der Konservativen“, so Wölken.

„Die Konservativen im Europaparlament und die EU-Mitgliedstaaten haben heute Nacht den letzten Nagel in den Sarg des EU-Lieferkettengesetzes geschlagen“, kritisiert die Grünen-Abgeordnete Anna Cavazzini.


(olb)



Source link

Weiterlesen

Künstliche Intelligenz

Dienstag: Russen-Porsche von Satelliten abhängig, Musk will EU abschaffen


Viele Porsche lassen sich in Russland nicht anlassen. Zu viele Datenpakete sind gar nicht gesund. Vielleicht muss man genau wissen, was man eigentlich sagt, um ein LLM zu zügeln. Vieldeutiges verspricht Meta Platforms der EU-Kommission. Vielfach zitiert wird „divide et impera“, beispielsweise wenn Elon Musk die Europäische Union wieder zerteilen möchte. Die wichtigsten Meldungen im kurzen Überblick.

Weiterlesen nach der Anzeige

In Russland verweigern zahlreiche Porsche-PKW das Anlassen. Offenbar funktioniert die Satellitenkommunikation der speziell für den russischen Markt eingebauten Alarmanlagen nicht oder nicht richtig. Die Porsche AG erachtet sich nicht für zuständig, wenn sich Porsche-Autos in Russland nicht anlassen lassen.

Einen neuen Weltrekord für DDoS-Angriffe beschriebt Cloudflare: Das Aisuru-Botnetz hat einen Überlastungsangriff mit bis zu 29,7 Terabit pro Sekunde gefahren. Das „UDP-Flächenbombardement“ richtete sich gegen die Webseite des IT-Sicherheitsjournalisten Brian Krebs. Ja, man kann kritische Journalisten auszeichnen, indem man sie mit einem neuen DDoS-Spitzenwert bedenkt.

Effektive LLM-Prompts sind eine Kunst. Gefragt ist Experimentierfreudigkeit gepaart mit Präzision, sagt die bei Anthropic tätige Philosophin Amanda Askell. „Es ist wirklich schwer, das Wesentliche auf den Punkt zu bringen“, gibt sie zu, wenn sie versucht, zu erklären, wie man wirklich gute Prompts schreibt.

Nach intensiven Verhandlungen mit der EU-Kommission verspricht Meta Platforms erstmals, Nutzern im Europäischen Wirtschaftsraum erweiterte Wahlmöglichkeiten rund um Personalisierung von Anzeigen zu geben. Das teilweise Opt-Out von der Auswertung der kommerziellen Überwachung soll bereits im kommenden Monat möglich werden. Konkrete technische Details fehlen allerdings: Meta stellt EWR-Nutzern mehr Wahloptionen für gezielte Werbung in Aussicht

Der Mikroblogging-Dienst X ist bei einer Rechtsverletzung erwischt worden. Die moderate EU-Strafe bringt X-Chef Elon Musk auf die Palme. Er fordert die Abschaffung der Europäischen Union. Zudem hat X ein Werbekonto der EU-Kommission geschlossen, dass diese aber seit Jahren nicht mehr genutzt haben will: Musk fordert Abschaffung der EU, sperrt ihr das Werbekonto

Da war doch was mit digitaler Souveränität? Der Präsident des Bundesamtes für Verfassungsschutz, Sinan Selen, zeigt sich ausgesprochen vorsichtig, was den Einsatz von US-Software wie Palantir anbelangt. Die Politik müsse bei der Auswahl von Software drei Faktoren berücksichtigen. Der Verfassungsschutz-Chef plädiert für europäische Alternativen zu Palantir.

Weiterlesen nach der Anzeige

Auch noch wichtig:


(ds)



Source link

Weiterlesen

Künstliche Intelligenz

Scharfe Abrechnung an der ePA: Kelber kritisiert Sicherheit und Reklamekampagne


Als unsicher und intransparent bezeichnet der ehemalige Bundesdatenschutzbeauftragte, Prof. Ulrich Kelber, die Digitalisierung des deutschen Gesundheitswesens und insbesondere die elektronische Patientenakte (ePA). In einem Vortrag bei einer Veranstaltung der freien Ärzteschaft warf er der Politik vor, Vertrauen durch oberflächliche Werbung zu verspielen und grundlegende Sicherheitsstandards zu ignorieren.

Weiterlesen nach der Anzeige

Kelber kritisierte die Kommunikationsstrategie des Bundesgesundheitsministeriums zur ePA scharf. Anstatt Bürgerinnen und Bürger umfassend über Risiken und notwendige Abwägungen aufzuklären, setze das Ministerium auf eine „reine Reklamekampagne“, die das Projekt lediglich als „super und „toll“ anpreise. Wer nur versuche „zu überreden, anstatt zu überzeugen“, so Kelber, der werde auf Dauer nicht vorwärtskommen.

Diese Vorgehensweise führe zu einem Vertrauensverlust, der sich bereits in den Zahlen zeige: Die Widerspruchsquoten gegen die ePA seien mit fünf bis zehn Prozent für ein Opt-out-System ungewöhnlich hoch. Außerdem sei die Gruppe der überzeugten Gegner, die aktiv widersprechen, fast genauso groß oder sogar größer als die Gruppe der überzeugten Befürworter, die sie aktiv nutzen. Die offiziellen Zahlen zur Nutzung schwanken stark zwischen drei und zwölf Prozent. Dies untergrabe laut Kelber auch die Repräsentativität der Daten, die für die Forschung so wichtig sein sollen. Zudem sei die Qualität der Daten, etwa der Abrechnungsdaten, oft unzureichend.

Auch technisch sei das System alles andere als ausgereift. Kelber rechnete vor, dass die offiziell angegebene Betriebsstabilität von 96 Prozent „eine Stunde Ausfall pro Tag“ bedeute. Diese Ausfälle fänden höchstwahrscheinlich nicht nachts, sondern unter Last während der Praxiszeiten statt. Er kritisierte die Haltung der Gematik, die sich zwar unzufrieden zeige, aber auf die Zuständigkeit privater Dienstleister verweise. Das sei „mindestens eine Lücke in dem System“. Bei einem staatlich gelenkten Projekt müsse es wirksame Sanktionsmöglichkeiten gegen unzuverlässige Anbieter geben.

Zusätzlich werde der sichere Zugang für Versicherte systematisch erschwert, nicht nur aufgrund der schwierigen Ersteinrichtung. Die Politik habe dazu ihren Beitrag geleistet. Unter anderem, weil sie es den Krankenkassen durchgehen lasse, die PIN für die elektronische Gesundheitskarte (eGK) nicht zu versenden. „In Wirklichkeit“ lasse sie das Kelber zufolge „auch durchgehen, weil sie auf Dauer das ja gar nicht mehr so haben will“. Gleichzeitig wurde der kostenlose PIN-Rücksetzbrief für den elektronischen Personalausweis aus Kostengründen abgeschafft, was auch diese sichere Alternative unattraktiv mache. Stattdessen würden Nutzer zu unsichereren Methoden wie der biometrischen Anmeldung gedrängt.

Weiterlesen nach der Anzeige

Kelber prangerte zudem den grundlegenden Entwicklungsprozess der Digitalisierungsprojekte an. Er forderte, IT-Systeme im Gesundheitswesen endlich so zu entwickeln, wie es professioneller Standard sei. „Pilotieren, evaluieren, eventuell wieder zurückgehen und nur wenn der Evaluierungsprozess gelaufen ist, dann skalieren, also ausrollen.“ Stattdessen gebe es überhastete Einführungen, die als Tests deklariert werden, aber keine sind. Als Beispiel nannte er die Testphase der ePA in den Modellregionen. Direkt danach sollten sie alle nutzen. Ein solches Vorgehen lasse keine Zeit, „die Ergebnisse zu prüfen“ oder Fehler zu korrigieren. Angesichts von 25 Jahren Versäumnis, so Kelber, komme es auf ein weiteres halbes Jahr für eine qualitativ hochwertige Einführung nicht an.

Den Kern seiner Kritik bildeten die massiven Sicherheitsbedenken. Die ePA sei in ihrem jetzigen Zustand nicht sicher. Anstatt Sicherheitslücken grundlegend zu schließen, würden sie oft nur notdürftig „gestopft“. Kelber bemängelte, dass die Sicherheitsarchitektur nicht transparent gemacht werde und Angriffe, die mit den „Ressourcen eines Staates“ durchgeführt werden, bei der Prüfung von vornherein ausgeschlossen würden. Das sei ein Unding bei einer Datenbank mit den Gesundheitsdaten von rund 70 Millionen Menschen.

Besonders alarmierend sei, dass die Schlüssel zur Verschlüsselung der Gesundheitsdaten bei den Betreibern liegen. Kelber nannte hier explizit die Anbieter: IBM, die dem US-Recht unterliegt und Daten an US-Sicherheitsbehörden herausgeben muss, sowie die österreichische Firma RISE, „die in Österreich vom öffentlichen Dienst wegen ihrer Beziehung zu Wirecard und den russischen Geheimdiensten keine Aufträge mehr bekommt“. Nach wie vor sei nicht geklärt, „ob das wirklich vollständig gestoppt ist“. Dass solche Anbieter Zugriff auf die Schlüssel haben, sei „überhaupt nicht state of the art“.

Auch die geplante Umsetzung des European Health Data Space (EHDS) in Deutschland sieht Kelber kritisch. Insbesondere die Entscheidung, das Bundesinstitut für Arzneimittel und Medizinprodukte (BfArM) zum zentralen „Health Data Access Body“ zu machen, hält er für „nicht glücklich“. Das Problem sei ein massiver Interessenkonflikt: Da das BfArM eigene Forschungsinteressen habe, würde es damit gleichzeitig über seine eigenen Forschungsanträge entscheiden. Kelber warnte davor, dass „nicht jemand selber seine eigenen Forschungsanträge in einem Haus bewährt“. Eine klare Trennung von Aufsicht und Forschung sei keine unnötige Bürokratie, sondern essenziell, um Vertrauen zu schaffen.

Als weiteren Beleg für die Aushöhlung des Datenschutzes nannte Kelber das geplante EU-Omnibusgesetz. Dieses Gesetz sei „nochmal gefährlicher“ und ein Beispiel für übereilte Gesetzgebung. Kelber kritisierte den Entstehungsprozess scharf. Der Datenschutzteil sei nach seinem Kenntnisstand „innerhalb von fünf Tagen“ geschrieben worden – ohne Folgenabschätzung, ohne Evidenzprüfung und ohne jegliche Debatte oder Beteiligung von Stakeholdern. Das Ergebnis sei ein Gesetz, das grundlegende Definitionen aufweiche: So sollen Daten, die einmal anonymisiert wurden, selbst dann nicht mehr unter die Datenschutzgrundverordnung fallen, wenn sie von Dritten später wieder re-identifiziert werden könnten.

Zudem werde der Begriff der Gesundheitsdaten aufgeweicht. Während die Behandlungsdaten einer Onkologie-Patientin geschützt blieben, würden ihre bloßen Aufenthaltsdaten im Onkologiezentrum nicht mehr als Gesundheitsdaten gelten – derartige Daten entstehen beispielsweise bei Terminbuchungen. Besonders kritisch sah Kelber, dass Training von KI pauschal zu einer Rechtsgrundlage für Datenverarbeitung werden soll – ohne weitere Abwägung, selbst bei hochsensiblen Daten.

Während der geplante European Health Data Space (EHDS) die EU-Staaten auf ein gemeinsames Mindestniveau bei der Datensicherheit zwinge, liege Deutschland aktuell darunter. Seinen Vortrag schloss Kelber mit einer düsteren Anspielung auf J.R.R. Tolkiens „Herr der Ringe“: Anstatt wie früher ein Vorreiter im Datenschutz zu sein, sei Deutschland durch solche Vorhaben zu „einer der dunklen Kräfte in Mittelerde geworden“, die aktiv versuche, europäische Standards zu senken. Die Reise in die Digitalisierung des Gesundheitswesens sei, so Kelber in Anlehnung an Bilbo Beutlin, „eine gefährliche Sache“, bei der man genau aufpassen müsse, wohin die Füße einen tragen.


(mack)



Source link

Weiterlesen

Beliebt