Das chinesische KI-Modell DeepSeek-R1 reagiert auf eine ungewöhnliche Art und Weise „allergisch“, wenn in Prompts Begriffe stehen, die für die chinesische Regierung als Reizwörter gelten. Das haben jetzt Sicherheitsforscher von CrowdStrike herausgefunden. Das Large Language Model (LLM) gibt in solchen Fällen nämlich bei Programmierprojekten unsicheren Code aus. Stehen keine entsprechenden Begriffe im Prompt, sei das Ergebnis deutlich besser, wiesen die Forscher in Versuchen nach.

Zu den Reizwörtern gehören politisch sensible Begriffe wie „Uiguren“, „Falun Gong“ und „Taiwan“. Im Falle der politischen Bewegung „Falun Gong“ verweigert das LLM sogar in 45 Prozent der Fälle komplett die Code-Generierung, schreibt CrowdStrike in einem Blogbeitrag. Die Forscher vermuten, dass DeepSeek eine Art Kill-Switch integriert hat. Beim Reasoning-Modell stellten sie fest, dass die KI eine Antwort detailliert vorbereitet, dann aber plötzlich mit einer Fehlermeldung abbricht.

Unbeabsichtigter Nebeneffekt des Trainings?

Bei der schlechten Qualität des ausgegebenen Codes haben die Forscher hingegen eine andere Vermutung. Sie gehen davon aus, dass das Modell beim Training unbeabsichtigt gelernt hat, dass die negativ besetzten Begriffe auch zu schlechten Ergebnissen führen müssen. Dass DeepSeek sein Modell entsprechend trainiert, liege daran, dass die chinesische Regulierung KI-Diensten auferlegt, „sozialistische Kernwerte“ einzuhalten.

Zu den unsicheren Code-Erzeugnissen gehörte etwa, dass Kennwörter in Skripts fest einprogrammiert wurden, was sie angreifbar macht, oder Datenübernahmen auf unsichere Weise erfolgen. Zugleich behauptete das Modell aber, dass es die Vorgehensweise von PayPal anwende und damit sicheren Code erzeuge. DeepSeek-R1 erzeugte in einem Beispiel eine komplette Web-App, verzichtete aber auf ein Session-Management und Authentifizierung. In anderen Beispielen wurden Passwörter mit unsicherem Hashverfahren oder im Klartext gespeichert.

Unternehmen sollten Sicherheit prüfen

In der Studie wurden 6050 Prompts pro LLM angewendet. Jede Aufgabe wurde fünfmal wiederholt, um herauszufinden, ob die Beobachtungen reproduzierbar sind. CrowdStrike empfiehlt, dass Unternehmen, die LLMs bei der Programmierung einsetzen, diese systematisch auf Sicherheit testen sollten – besonders unter realen Einsatzbedingungen. Es reiche nicht aus, sich einfach auf Benchmark-Angaben der Entwickler zu verlassen.

(mki)

Eine Bürgerin reicht online Klage ein, nutzt dafür eine Kommunikations-Plattform, über die alle wichtigen Dokumente mit dem Gericht und der Anwältin geteilt werden. Die Verhandlung erfolgt über Video und die Richterin verkündet das Urteil auf digitalem Weg. So in etwa soll das Gerichtsverfahren der Zukunft aussehen, wenn es nach der Bundesregierung geht. Das spart Zeit, denn mündliche Verhandlungen sind optional und der Stoff des Streits kann digital strukturiert und den Beteiligten direkt zugänglich gemacht werden.

In der Nacht zum Freitag beschloss der Bundestag das „Gesetz zur Entwicklung und Erprobung eines Online-Verfahrens in der Zivilgerichtsbarkeit“. Die Bundesregierung will damit nicht nur Gerichtsverfahren beschleunigen, sondern auch den Bürger*innen den Zugang zum Recht erleichtern, erklärte Daniel Rinkert von der SPD.

Das neue Gesetz von CDU/CSU und SPD zielt auf den Bereich des Zivilrechts, also auf einen Bereich, der das Leben von Bürger*innen direkt betrifft. Zunächst soll das Online-Verfahren nur an Fällen erprobt werden, wo es um reine Geldforderungen von bis zu 10.000 Euro geht.

Geldforderung über Online-Klage

Klassische Fälle von Geldforderungen: Jemand bringt einen Anspruch auf Schadensersatz vor, wenn etwa bei einem Unfall das Auto oder das Fahrrad beschädigt wurde. Aber auch alle Zahlungsklagen an Amtsgerichten fallen in den Erprobungsbereich von Online-Verfahren.

Fälle, wo jemand seine Rechnung nicht bezahlt hat, etwa bei Mietrückständen oder wenn jemand einen Kaufvertrag nicht einhält. Bei familienrechtlichen Angelegenheiten soll es vorerst keine Online-Verfahren geben, also etwa da, wo es um Unterhalt geht.

Bekanntes Beispiel für Geldforderungen sind auch Verfahren, wo Fluggäste von ihren Fluggastrechten Gebrauch machen. Wenn ein Flug deutlich verspätet gestartet oder ganz ausgefallen ist, können sie eine Entschädigung erhalten. Inzwischen gibt es gerade in diesem Bereich mehrere Rechtsdienstleister, etwa Flightright oder MyFlight. Ihr Geschäftsmodell besteht darin, solche Fälle massenhaft abzuwickeln. Betroffene können hier ohne Anwalt online an ihre Entschädigung kommen, die Klage und das Verfahren übernimmt Flightright, ohne dass Betroffene sich weiter kümmern müssen.

Ins Online-Verfahren hineingezogen

Ähnlich bequem soll das Online-Verfahren sein, das die Bundesregierung nun erproben und entwickeln will. Das Versprechen: Bürger*innen können vom Sofa aus (ohne anwaltliche Hilfe) eine Klage online einreichen – barrierefrei, sicher und einfach. So weit, so fair.

Doch das Gesetz hat einen Haken. Es benachteiligt die Beklagten. Sobald eine Person Klage online einreicht, setzt sie ein Online-Verfahren in Gang. Das Problem: Die beklagte Person wird unweigerlich in das Online-Verfahren hineingezogen. Nach dem neuen Gesetz kann sie nicht auf einem analogen Verfahren bestehen.

Das setze die beklagte Person enorm unter Druck und sei vor allem für Beklagte riskant, die keine Anwältin oder keinen Anwalt haben, sagt Sabine Fuhrmann gegenüber netzpolitik.org. Fuhrmann ist Rechtsanwältin und Vizepräsidentin der Bundesrechtsanwaltskammer (BRAK). Im Oktober sprach sie als Sachverständige in der öffentlichen Anhörung des Ausschusses für Recht und Verbraucherschutz. Zusammen mit anderen Kolleg*innen der BRAK hat sie zudem das Gesetz von Anfang an beratend begleitet. Und von Anfang an habe sie der Bundesregierung dringend empfohlen, den Beklagten im Gesetz eine Exit-Strategie einzuräumen.

Damit könnten sie selbst entscheiden: „Lasse ich mich auf ein Online-Verfahren ein, fühle ich mich dem gewachsen? Bin ich damit einverstanden, weil ich die nächsten zwei Jahre ohnehin in Australien bin und gar nicht in persona vor dem deutschen Gericht auftreten möchte? Oder gehe ich zu meinem Amtsgericht und erkläre, warum ich die 3.000 Euro nicht bezahle, die XY von mir verlangt.“

Mündliche Verhandlung optional

Der klassische Klageweg läuft auf Papier ab und es gibt zwingend eine mündliche Verhandlung. Beim Online-Verfahren gibt es die nicht unbedingt. Vielmehr soll laut Gesetz der Richter nach freiem Ermessen entscheiden, ob er die Parteien sehen will oder nicht. Der Beklagte wird demnach künftig nicht mehr unbedingt in einer mündlichen Verhandlung angehört. „Sein Wort dringt womöglich nicht mehr bis zum Richter vor, so wie wir es von Zivilprozessen kennen“, erklärt Fuhrmann.

Dabei ist die mündliche Verhandlung im Online-Verfahren auch für den Richter wichtig: Bei der Frage „Traue ich dem Beklagten zu, dass er dies oder jenes gemacht oder nicht gemacht hat?“ kann er sich von den Parteien buchstäblich ein Bild machen. Das sei nach Fuhrmann ein wichtiger Aspekt für die Überzeugungsfindung des Gerichts. Mit der großen Arbeitsbelastung drohe die mündliche Verhandlung zur Ausnahme zu werden.

Entscheidet sich eine Richterin gegen die mündliche Verhandlung, hat der Beklagte frühestens im Berufungsverfahren die Chance, vor das Gericht zu treten, und auch nur, wenn der Streitwert bei über 1.000 Euro liegt.

Online-Hürde hängt Menschen ab

Laut Gesetz sollen Bürger*innen ihre Klage auf einem Online-Portal einreichen können, das gleichzeitig auch als Kommunikationsplattform dienen soll. Der DigitalService des Bundes hat bereits angefangen, eine solche Plattform zu entwickeln. Dass die beklagte Person, die in ein Online-Verfahren involviert ist, dazu gezwungen ist, über ein Online-Portal zu kommunizieren, stelle laut Fuhrmann nicht nur für wenig digitalversierte Menschen eine Hürde dar.

Vorausgesetzt die beklagte Person hat den Brief vom Gericht überhaupt verstanden, so muss sie sich auf dem Portal zunächst registrieren und anschließend identifizieren. Die gesamte Kommunikation mit dem Gericht und weiteren beteiligten Stellen soll dann darüber laufen. Das werde für viele, gerade ältere Menschen zum Hindernis, die sich mit Online-Diensten schwertun.

Andere könnten schon daran scheitern, dass sie die notwendigen technischen Geräte nicht besitzen. Aus ihrem beruflichen Alltag weiß Fuhrmann, viele Mandat*innen haben nur ein Smartphone, wenn überhaupt. Inwieweit sich die Plattform auch über eine mobile Anwendung nutzen lässt und wie nutzerfreundlich diese ist, muss sich noch zeigen.

Auch sprachliche Hürden benachteiligen Beklagte, etwa wenn sie Analphabeten oder keine Muttersprachler sind. So seien Übersetzer*innen und Dolmetscher*innen im Gesetz nicht ausreichend berücksichtigt, stellte Elvira Iannone vom Bundesverband der Dolmetscher und Übersetzer (BDÜ) als Sachverständige bei der öffentlichen Anhörung zum Gesetz im Oktober fest.

Unfair

Die Bedrängnis, in die Beklagte geraten könnten, verschärft sich unter Umständen auch durch eine ins Gesetz geschriebene Frist. Um zu erklären, dass sie sich gegen eine Klage verteidigen wollen, müssen Beklagte eine Frist von zwei Wochen einhalten, nachdem sie Post vom Amt erhalten haben. Das sei viel zu kurz angesetzt, so Fuhrmann. Es sei viel zu wenig Zeit, um sich mit der Komplexität des Verfahren als Laie auseinanderzusetzen oder im Falle das Falls doch noch einen Anwalt zu suchen.

Ob sie dabei überhaupt eine Anwältin oder einen Anwalt finden, hänge vom verfügbaren Angebot ab. Die BRAK beobachte seit Jahren, dass gerade in ländlichen Gebieten die Zahl der Kanzleien zurückgeht, berichtet Tanja Nitschke, Rechtsanwältin und Geschäftsführerin der BRAK. „Natürlich kann man sich auch an Anwält*innen irgendwo in Deutschland wenden, die dann telefonisch oder per Zoom-Call beraten.“ Das sei aber für Betroffene schwierig, die angesichts sensibler Angelegenheiten den persönlichen Kontakt suchen.

Erschwerend kommt hinzu, dass Menschen nicht selten zu Unrecht beklagt werden. Kläger*innen vertauschen Adressdaten – etwa Energiedienstleister, die Forderungen geltend machen und den falschen Markus Müller anschreiben. So etwas komme viel zu häufig vor, erklärt Fuhrmann. Die Betroffenen können in einem solchen Fall nicht einmal wissen, dass eine Klage droht.

Reine Digitalgerichte

Die Online-Verfahren sollen zunächst an Pilot-Gerichten getestet werden. Wie weit die Vision von Digitalgerichten gehen soll, bleibt zunächst unklar. Ganz auf reine Digitalgerichte zu setzen, empfindet Dirk Behrendt, Richter am Amtsgericht Neukölln und Mitglied des Bundesvorstands der Neuen Richter*Innenvereinigung (NRV), als „nicht verlockend“. Das erklärte er als Sachverständiger bei der öffentlichen Anhörung im Oktober.

Sabine Fuhrmann sagt, sie begrüße wie auch ihre Kolleg*innen von der BRAK die Digitalisierung in der Justiz allgemein und im Gerichtsverfahren im Besonderen. Doch könne eine vollständig ins Digitale übertragene Justiz ihrer wichtigen Rolle im Rechtsstaat nicht gerecht werden. Dass es Gerichtsgebäude gibt, zu denen Bürger*innen mit ihrem Anliegen auch hingehen können, mache den Rechtsstaat wahrnehmbar.

Windows-Treiber sieht Microsoft als Sicherheitsproblem an. Daher sollen die nun sicherer werden. Einen Ausblick, wie das Unternehmen sich das vorstellt, hat es nun auf der Ignite-Veranstaltung geliefert.

Microsoft schreibt in einem zugehörigen Blog-Beitrag, dass Treiber resilienter werden sollen, um IT-Vorfälle zu vermeiden. Das Unternehmen nennt dazu das Vorgehen bei Antiviren-Software als erfolgreiches Beispiel. Neben umfangreicher Tests und dem präventiven Aufsetzen von „Vorfall-Reaktion“-Prozessen. Ganz wichtiger Punkt zudem: „Raus aus dem Kernel!“ – Microsoft wollte in dem Rahmen Schnittstellen bereitstellen, die es Antivirenherstellern ermöglichen, außerhalb des Windows-Kernels zu operieren – im User-Space, ohne Kernel-Treiber. Es handelt sich um eine Reaktion auf das Crowdstrike-Debakel, das im vergangenen Jahr global zum Ausfall von Millionen von Windows-Systemen geführt hatte.

Im Blog-Beitrag erörtert Microsoft, dass die Verschiebung von AV-Software in den User-Mode dazu führt, dass Fehler dadurch nicht das ganze Windows-System mit in den Abgrund reißen. Sie betreffen dann nur die Antiviren-Software. Das „Driver Resilience Playbook“ will Microsoft auf dieser Basis auf das ganze Windows-Ökosystem ausweiten, über das AV-Szenario hinaus. Microsoft fasst zusammen, dass das Unternehmen die Latte für die Treibersignierung höher legt und es zugleich einfacher macht, verlässliche Windows-Treiber zu bauen.

Teils schwammige Beschreibungen

Microsoft gibt eine Übersicht über die Änderungen. Details werden sicherlich folgen, da Entwickler deutlich präzisere Informationen benötigen. Etwas schwammig erklärt Microsoft, dass das Treiber-Signieren die Latte mit neuen Zertifizierungstests höher legt für Sicherheit und Resilienz. Microsoft will zudem die vom Unternehmen bereitgestellten und mitgelieferten Treiber und APIs ausweiten, sodass Partner selbst geschriebene, angepasste Kernel-Treiber mit standardisierten Windows-Treibern ersetzen oder Programmlogik gar in den User-Mode verschieben können. Der Hersteller erwartet, dass in den kommenden Jahren eine signifikante Reduktion an Kernel-Mode-Code über mehrere Treiberklassen hinweg eintritt, etwa bei den Geräteklassen Netzwerk, Kameras, USB, Drucker, Akkus, Speicher und Audio.

Unterstützung für Kernel-Treiber von Drittanbietern soll es aber auch weiterhin geben, insbesondere dort, wo es keine Windows-eigenen Treiber gibt. Als Beispiel nennt Microsoft etwa Grafiktreiber, die aus Performancegründen den Kernel-Mode nutzen müssen. Allerdings will Microsoft praktische Weichen stellen, die die Qualität verbessern und Fehler begrenzen, bevor diese in Ausfälle münden. Dazu gehören zwingend erforderliche Compiler-Sicherheitsvorkehrungen, um Treiber-Verhalten einzuschränken, Treiber-Isolierung, um die Weite der Auswirkungen zu begrenzen und DMA-Remapping, um unbeabsichtigten Treiber-Zugriff auf Kernel-Speicher zu verhindern.

Auf der Vertriebsveranstaltung Ignite 2025 hat Microsoft auch weitere Ankündigungen gemacht, wie der Hersteller Windows sicherer machen will. Etwa das Forensik- und Überwachungswerkzeug Sysmon aus der Sysinternals-Werkzeugsammlung wird im kommenden Jahr Windows-Bestandteil.

(dmk)