In wenigen Tagen steht die Entscheidung an, ob es in Europa eine verpflichtende Chatkontrolle geben wird oder ob sich erneut keine ausreichende Mehrheit im Rat der EU-Länder dafür findet. Die deutsche Haltung wird maßgeblich dafür sein, ob die Front der ablehnenden EU-Staaten gegen den Vorschlag der EU-Präsidentschaft Dänemarks stehenbleibt.
Hintergrund ist ein jahrelanger Streit über einen Entwurf der EU-Kommission für eine Verordnung zur massenhaften Chat-Überwachung, die dem Kampf gegen digitale Gewaltdarstellungen von Kindern dienen soll. Die geplante Chatkontrolle würde alle Anbieter von Messenger- und weiterer Kommunikationsdienste, auch solche mit Ende-zu-Ende-Verschlüsselung, zum Scannen nach Missbrauchsfotos und -videos verpflichten. Betroffen wären auch Signal, Threema oder WhatsApp, die von vielen Millionen Menschen genutzt werden.
In den vergangenen Jahren hat sich Deutschland ablehnend gezeigt und sich gegen das automatisierte Scannen verschlüsselter Kommunikation, aber auch gegen die Umgehung von Ende-zu-Ende-Verschlüsselung und das Client-Side-Scanning positioniert. Ob die neue Bundesregierung das genauso hält, ist noch offen. Wir haben daher die Bundesregierung zu der Haltung befragt, die sie bei der anstehenden Entscheidung einnehmen wird.
Von diesen Ländern hängt ab, wie es mit der Chatkontrolle weitergeht
Das Bundesjustizministerium (BMJ) will sich gegenüber netzpolitik.org nicht in die Karten schauen lassen und antwortet auf die Frage nach der Chatkontrolle-Position nur: „Die Federführung“ liege „innerhalb der Bundesregierung beim Bundesministerium des Innern“. Da sollten wir uns doch hinwenden, meint das BMJ.
Das Bundesinnenministerium (BMI) hat jedoch auch nichts zu sagen: „Wir bitten um Verständnis, dass wir uns zu laufenden Abstimmungen innerhalb der Bundesregierung grundsätzlich nicht äußern.“
Fragen wir doch die Digitalexperten in der Bundesregierung. Die schwarz-schwarz-rote Koalition hatte schließlich ein neues Ministerium aus der Taufe gehoben, das sich hauptsächlich mit Digitalisierung, digitaler Infrastruktur und Staatsmodernisierung befassen soll. Ein Sprecher des Digitalministeriums (BMDS) antwortet auf Fragen von netzpolitik.org nach der Position des Ministers zur geplanten verpflichtenden Chatkontrolle allerdings nur mit nur zwei Sätzen.
„Wir brauchen Maßnahmen, die wirksam und zugleich angemessen sind. Zu den derzeit auf EU-Ebene vorliegenden Vorschlägen erfolgt eine Positionierung der Bundesregierung unter Federführung des Bundesinnenministeriums.“
Auf weitere Fragen, etwa wie Minister Karsten Wildberger (CDU) zum Aufbrechen von Verschlüsselung oder zum Client-Side-Scanning im Rahmen einer Chatkontrolle steht, wird nicht geantwortet. Der seit Mai amtierende Digitalminister hat außerdem auch keine Position zur freiwilligen EU-Chatkontrolle und den damit verbundenen Risiken für die Privatsphäre.
Das Ministerium verweist stattdessen auf ein Gespräch mit Wildberger vom 11. September. Dort auf die Chatkontrolle angesprochen, äußert sich der Bundesminister folgendermaßen: Er wolle sich in diesen „politischen Prozess“ nicht „von der Seitenlinie“ einbringen. Er werde deswegen seine Meinung nicht dazugeben, da das „nicht hilfreich“ sei, denn dafür „gibt es jetzt einen Prozess“.
Das kann man natürlich anders sehen, ob es für die Diskussionen um eine europaweit verpflichtende Chatkontrolle „hilfreich“ wäre, wenn sich der amtierende Digitalminister von Deutschland nicht an die „Seitenlinie“ stellen, sondern dazu positionieren würde. Allerdings machen seine Äußerungen direkt im Anschluss klar, warum er vielleicht ganz richtig liegt.
Wildberger fügt hinzu: „Kinderpornographie“ in Chats, „das geht überhaupt nicht“, das seien Straftatbestände. Davon müsse man aber das Thema der Privatsphäre „säuberlich trennen“. Doch ein zentraler Streitpunkt in der langjährigen Debatte ist es gerade, wie weit man in die Privatsphäre und sogar Intimsphäre von Menschen eingreifen darf, um auf solche Inhalte in ihren Chats zu scannen.
Der Minister postuliert dann, dass er „persönlich eine klare Meinung“ dazu hätte. Die sagt er aber nicht sofort, sondern stellt erstmal folgende Frage in den Raum: „Wie stellen wir sicher, dass wir Rechtsordnung auch in diesem Rahmen sicherstellen?“ Den Versuch einer Antwort auf die wirre Frage macht er nicht. Stattdessen sagt Wildberger: „Wo es um Kinderpornographie geht, am Ende des Tages muss man auch über Deep Fakes reden, da hört bei mir der Spaß auf.“
Kein Mensch mit Herz und Hirn würde die digitalen Darstellungen von Gewalt gegen Kinder in die Kategorie Spaß einsortieren. Die Debatte um die Chatkontrolle dreht sich vielmehr um die Frage, zu welchen technischen Maßnahmen die Anbieter von Messenger-Diensten verpflichtet werden sollten, um solche Inhalte massenhaft zu scannen. Dass diese Inhalte verabscheuungswürdig und strafbar sind, stellt niemand in Abrede.
Auf die Nachfrage, ob Anbieter zur Chatkontrolle verpflichtet werden sollen, bemerkt Wildberger, dass seine Antwort darauf eine „nicht politisch gemeinte Formulierung“ sei: „Da muss es eine Lösung für geben.“ Die Luft brennt förmlich vor Spannung, welche technische Idee der Digitalminister nun favorisieren wird. Doch der oberste Digitalisierer murmelt: „Wie die Lösung jetzt hier genau aussieht, das sollen …“ Da endet sein Satz im Ungewissen. Vielleicht sollen es die Experten richten, vielleicht gibt es einen Prozess.
Zuletzt endet die kurze Passage in dem Gespräch mit dem Versprechen, er werde sich „in die Debatte natürlich“ einbringen, wenn es hilfreich und erforderlich wäre. Aber das Thema sei „ein bisschen komplex“, aber „von der Richtung her“ sei er „klar justiert“.
Dass seine Pressestelle auf die Fragen von netzpolitik.org danach, ob angesichts der gesellschaftlichen und auch wirtschaftspolitischen Bedeutung von sicheren Verschlüsselungsmethoden ein Aufbrechen der Verschlüsselung oder ein Client-Side-Scanning im Rahmen einer Chatkontrolle als probate Mittel gelten können, nicht nur keine Antworten gibt, sondern stattdessen einen Hinweis auf diesen Offenbarungseid technischer und politischer Inkompetenz sendet, spricht Bände über den Minister und die Bedeutung seines Hauses innerhalb der Bundesregierung. Das ist nicht mal „Seitenlinie“, das ist eher die Tribüne hinten oben.
Man fragt sich, unter welchem Stein der Bundesdigitalminister in den letzten Jahren gelebt hat und ob es niemanden in seinem Haus gibt, der ihn dazu briefen konnte, worum es im Streit über die Chatkontrolle geht: um das absichtliche Unterminieren von IT-Sicherheitsmaßnahmen für massenhafte Chat-Scans und um fundamentale Grundrechte.
Wenn in Schutzmaßnahmen wie Verschlüsselung verpflichtende Hintertüren eingebaut werden müssen, tangiert das die Privatsphäre und den Kernbereich privater Lebensgestaltung von Millionen Menschen und unterminiert zudem auf gefährliche Weise die IT-Sicherheit. Darauf weisen seit Jahren alle hin, die beruflich und wissenschaftlich mit IT-Sicherheit zu tun haben. Chatkontrolle ist technisch gesehen schlicht der falsche Weg.
Aber juristisch ist er es auch. Denn dass eine massenhafte anlasslose Überwachung von individueller Kommunikation mit den europäischen Grundrechten konform geht, wird mit guten Argumenten bezweifelt: Der Juristische Dienst des EU-Rats schätzt den aktuellen Vorschlag als rechtswidrig ein. Die Rechtsexperten stützen sich auch auf ein Urteil des Europäischen Gerichtshofs für Menschenrechte (EGMR) aus dem Jahr 2024. Darin heißt es unzweideutig, dass „eine Schwächung der Ende-zu-Ende-Verschlüsselung, die alle Nutzer beträfe,“ gegen die Europäische Menschenrechtskonvention verstößt.
Dass der Digitalminister innerhalb und außerhalb der Bundesregierung zu so wichtigen Fragen in unser digitalisierten Welt keine Position einnimmt, macht ihn zum Komplizen der Befürworter der Chatkontrolle. Gleiches gilt übrigens für die Justizministerin Stefanie Hubig (SPD), deren Nicht-Positionierung angesichts der zweifellos erheblichen Grundrechtseingriffe ebenso blamabel ist.
Gut drei Jahre ist es her, dass Elon Musk Twitter gekauft hat. Viele Nutzer:innen verloren daraufhin ihr digitales Wohnzimmer. Und schnell wurde klar, dass die Plattform fortan der Willkür eines einzelnen Tech-Unternehmers unterliegt. Als Musk Mitarbeiter:innen aus dem Kern-Team entließ und die Bezahlversion für das umgetaufte Twitter einführte, verließen viele die Plattform und wandten sich Mastodon zu.
Das Versprechen hinter Mastodon: Das dezentrale Netzwerk entzieht sich der Kontrolle einer einzelnen Person. Denn hier geht es nicht um Profit, sondern vielmehr um eine digitale Gemeinschaft von Menschen, die die Kontrolle über ihre Kommunikationskanäle selbst in die Hand nehmen. Aber können dezentrale Netzwerke dieses Versprechen einlösen? Und wie dezentral sind sie tatsächlich?
Mit diesen Fragen beschäftigte sich Marco Wähner auf dem Chaos Communication Congress in Hamburg. Im Interview spricht der Soziologe über seine Forschung. Wähner arbeitet am Center for Advanced Internet Studies (CAIS) als wissenschaftlicher Mitarbeiter in der Abteilung Research Data and Methods.
netzpolitik.org: Du forschst zu dezentralen Netzwerken. Was ist deine Motivation?
Marco Wähner: Ich wollte wissen: Sind dezentrale Netzwerke der Goldstandard, der selbst nicht hinterfragt werden muss? Dafür habe ich mir unter anderem das Fediverse angeschaut.
netzpolitik.org: Was ist die wesentliche Erkenntnis deiner Untersuchung?
Wähner: Es gibt auf der einen Seite die Idee der Dezentralität. Auf der anderen Seite kann man allerdings auch in dezentralen Netzwerken einen Trend zur Zentralität beobachten. Im deutschsprachigen Ökosystem von Mastodon kann man etwa beobachten, dass sich 80 Prozent der Nutzer:innen mit ihren Accounts auf nur 14 Instanzen verteilen. Wenn man bedenkt, dass das gesamte Ökosystem aus etwa 240 Instanzen besteht, veranschaulicht das eine starke Konzentration. Da haben wir eine Zentralität innerhalb der Dezentralität.
netzpolitik.org: Woran liegt das?
Wähner: Wir haben uns daran gewöhnt, dass soziale Medien uns eine Atmosphäre bieten, in der alles für uns vorkonfiguriert ist. Auf Mastodon hat man viele Mitgestaltungsmöglichkeiten, aber es ist auch Aktivität erforderlich. Nutzer:innen müssen sich aktiv darin einbringen, die digitale Infrastruktur zu pflegen. Wir kriegen hier die Chance, uns technologisch von großen Plattformen unabhängiger zu machen, aber dafür müssen wir auch etwas tun.
Außerdem lässt sich eine Parallele zu den Anfängen des Internets ziehen. Das hat als dezentrales Konstrukt angefangen, inzwischen kam es hier aber zur Zentralisierung. Das liegt daran, dass Menschen nur einen Bruchteil des Internets für Informationen, Wissen und Austausch nutzen. Regelmäßig besuchen sie nur wenige Websites.
Ein wesentlicher Faktor ist aber auch die Monopolbildung technologischer Konzerne. Es gibt starke Machtkonzentrationen auf wenige Plattformen und wenige Unternehmen, die hinter diesen Plattformen stecken. Ich finde das Bild einer vor Banalitäten blinkenden Einkaufs-Mall passend, wo immer unterschiedliche Verkaufsangebote dargestellt werden, die so mehr oder weniger über die ursprüngliche Idee des Internets drübergebaut worden ist. Und ich denke, dass wir das Potenzial des Internets nicht ausnutzen. Vielmehr ist es geprägt durch Konsum, durch Warenangebote.
netzpolitik.org: Warum kam es zu dieser Entwicklung hin zu Zentralisierung und Monopolen?
Wähner: Das ist eine komplexe, aber nicht überraschende Entwicklung. Und sie hängt vor allem damit zusammen, dass Angebote, Zugänge und Inhalte monetarisiert wurden. Hierdurch wurde die Monopolstellung einzelner Unternehmen stark begünstigt.
netzpolitik.org: Was unterscheidet dezentrale Netzwerke davon?
Wähner: Das zentralisierte Internet folgt dem Prinzip des Privateigentums. Dort entscheidet eine zentrale Autorität, was mit einer Infrastruktur passiert, wer Zugang hat und Ähnliches. Diese Autorität ist allein durch Eigentum legitimiert. Ein gutes Symbolbild dafür ist Elon Musk, der ein Waschbecken in die Büros von Twitter hineinträgt. Als neuer Eigentümer konnte er das machen.
Das löste bei vielen ein Störgefühl aus, denn Twitter wurde als öffentlich-digitaler Raum verstanden und genutzt. Wie instabil so ein öffentlicher Raum ist, zeigte sich, als sich jemand als Privateigentümer durchgesetzt hat.
Dezentrale Netzwerke folgen dem Prinzip des Gemeinguts. Dementsprechend gibt es keine zentrale Autorität, die darüber entscheidet, wie Ressourcen verteilt werden, wer Zugang zum Netzwerk hat, wie das Netzwerk wächst. Hier geht es um Selbstverwaltung.
netzpolitik.org: Könnte da die öffentliche Hand unterstützen?
Wähner: Wichtig ist die Frage, wer hat die zentrale Autorität. Die sollte nicht bei der öffentlichen Hand liegen, sondern bei der Zivilgesellschaft.
Gleichwohl könnte man hier aber gesetzgeberisch aktiv werden. Ein Weg könnte darin bestehen, dass die Arbeit einzelner Akteure aus der Zivilgesellschaft, die digitale Infrastruktur für die Gemeinschaft zur Verfügung stellen, als gemeinnützig anerkannt wir. Zudem ist das digitale Ehrenamt sicher ein guter Weg, wenn sich Menschen im digitalen Raum ehrenamtlich engagieren.
Behörden und andere öffentliche Einrichtungen sollten Mastodon nutzen und ihre Inhalte dort zur Verfügung stellen. Damit können sie dem Netzwerk auch Schub verleihen. Doch es braucht die zivilgesellschaftliche Basis, um sich von einzelnen Personen und Akteuren unabhängig zu machen.
netzpolitik.org: Was ist deine Forderung?
Wähner: Angesichts des Trends zu Zentralisierung bei dezentralen Netzwerken wie Mastodon müssen wir uns als Zivilgesellschaft eines bewusst machen: Wir brauchen dauerhaft Power, damit wir mittel- und langfristig dezentrale Alternativen haben.
Es ist einfach, monetäre Interessen zu mobilisieren. Gemeinschaftliche Interessen bringen immer Zielkonflikte mit. Wenn wir wollen, dass dezentrale Netzwerke frei von Profitdenken bleiben, müssen wir in Zukunft Organisationen, Vereine und Nichtregierungsorganisationen stärken. Die können schon jetzt ihre Mitglieder mobilisieren. Sie sind in der Lage, digitale Infrastrukturen zur Verfügung zu stellen und auch Anknüpfungspunkte für Menschen zu schaffen, um dezentrale Netzwerke zu nutzen.
netzpolitik.org: Also seid aufmerksam und sorgt dafür, dass dezentrale Netzwerke dezentral bleiben?
Wähner: Vor allem sollten sie Menschen über die Bubble hinaus mitnehmen, also auch aus der breiten Zivilgesellschaft. Überwindet den Zielkonflikt der digitalen Ungleichheit. Wir sollten uns immer fragen, wie wir Menschen befähigen, Teil dieser Netzwerke zu werden und sich damit auseinanderzusetzen. Und wie wir das als echte Option zur bestehenden Zentralität in die öffentliche Debatte tragen.
Eigentlich wollte Mathias Schindler nur eine kleine Sache in der Wikipedia korrigieren. Doch dann baute der Wikipedianer versehentlich einen Detektor für bestimmte KI-generierte Inhalte in der Enzyklopädie. Auf dem 39C3 berichtet er, warum die halluzinierten Texte auch ein Problem für die Anbieter großer Sprachmodelle werden könnte und warum er den Autor:innen keine guten Absichten unterstellt.
Die kleine Sache, die Schindler korrigieren wollte, waren fehlerhafte ISBN-Nummern. Mit diesen 10 oder 13-stelligen Nummern werden Bücher identifiziert und finden sich oft in Quellenangaben von Wikipedia-Einträgen. Dabei sind die Zahlenkombinationen nicht vollkommen zufällig, erklärt Schindler im Talk. Die letzte Ziffer ist eine Prüfziffer, sie lässt sich aus den neun beziehungsweise zwölf vorherigen Ziffern berechnen. Ursprünglich wollte Schindler falsche ISBN-Nummern in der Wikipedia aufspüren und ausbessern, auch damit Nutzer:innen die richtigen Bücher finden, die als Referenzen in den Artikeln angegeben wurden.
„Referenzen auf Wikipedia sind nicht nur wichtig, sondern ein integraler Teil der Wikipedia“, sagt Schindler und verweist in seinem Vortrag auf den alten Spruch: „Wikimedia mag ein guter Ort sein, um eine Recherche zu starten, aber es ist ein schlechter Ort, um dort die Recherche zu beenden.“ (Alle Zitate aus dem Talk haben wir ins Deutsche übersetzt.) Schindler muss es wissen. Er ist Mitbegründer von Wikimedia Deutschland und Wikipedia-Autor seit 2003.
Um die inkorrekten ISBN-Nummern zu finden, schrieb Schindler ein Skript, lud die gesamte deutschsprachige Wikipedia herunter und durchsuchte sie nach ISBNs mit einer faulen Prüfziffer, erzählt er in seinem Vortrag. Doch er stieß nicht nur auf falsch eingegebene ISBNs oder von den Verlagen falsch ausgegebene ISBNs, sondern fand auch Artikel, bei denen zwei oder mehr Bücher fehlerhafte ISBN-Nummern hatten. Diese Bücher schienen zwar plausible Titel und Autor:innen zu haben, aber Schindler konnte sie nirgendwo sonst finden. Sie waren halluziniert.
Offenbar hatten sich Menschen ganze Artikel von einem Large Language Model (LLM) wie ChatGPT schreiben lassen, welches sich dann auch einen Abschnitt mit Einzelnachweisen ausdachte.
Im Gespräch mit netzpolitik.org erzählt Schindler, dass er mit seiner Methode etwa 150 Artikel gefunden habe, bei denen man Sorge haben müsse, dass sie zumindest teilweise KI-generiert und frei erfunden seien. Allerdings seien die fehlerhaften Einträge nicht ausschließlich auf KI-Chatbots zurückzuführen, manchmal gebe es andere Gründe für mehrfach falsche ISBN-Nummern, sagt Schindler. Außerdem gibt es über drei Millionen deutschsprachige Wikipedia-Artikel, die 150 Auffälligen machen also nur ein äußerst geringen Anteil von 0,005 Prozent aus.
Andererseits erfasst Schindlers Methode auch nicht alle Halluzinationen, dafür war es schließlich nicht gedacht. „Dieses Werkzeug ist nicht das Universaltool zum Erkennen von ChatGPT-generierten Artikeln.“ Andere Möglichkeiten, solche Inhalte zu enttarnen, seien etwa systematische Abweichungen von der Syntax von „Media Wiki“ (der Software hinter Wikipedia). Oder wenn Autor:innen viele Adjektive verwenden: „Kein Wikipedianer, der was auf sich hält, wird den Fernsehturm als ‚großartig‘ oder ‚herausragend‘ bezeichnen.“
Doch auch wenn das Erstellen von Wikipedia-Artikeln mit LLMs noch nicht so verbreitet sein sollte, geht es für Wikipedia um Grundsätzliches: Die Kontamination mit Inhalten, die auf den ersten Blick wahr erscheinen könnten und sich als Fakten tarnen. Schindler sagt: „Man könnte es auch als Anti-These zu einem Enzyklopädie-Projekt wie Wikipedia beschreiben.“
Die Gefahren? Zum einen können sich falsche Infos verselbstständigen, wenn eine andere Veröffentlichung den vermeintlichen Fakt von Wikipedia abschreibt und die Wikipedia diese Veröffentlichungen hinterher als Beleg für genau diesen Fakt aufführen. Schindler weist in seinem Vortrag auf diesen Teufelskreis hin, der bereits vor LLMs ein Problem darstellte.
Zum anderen verschlingen LLM-generierte Quellen zunehmend die Ressourcen unterschiedlichster Einrichtungen. Nicht nur die der Online-Enzyklopädie: Irregeleitete Nutzer:innen fragen etwa Bibliothekar:innen nach ausgedachten Büchern, berichtete 404 Media im Herbst. Beim Internationalen Komitee des Roten Kreuzes (ICRC) wurde die Situation offenbar so schlimm, dass es sich mit einer „wichtigen Mitteilung“ an die Öffentlichkeit wandte.
„Wenn eine Referenz nicht gefunden werden kann, heißt das nicht, dass das ICRC Informationen zurückhält. Verschiedene Situationen können das erklären, wie etwa unvollständige Zitationen, Dokumente, die in andere Institutionen lagern, oder – zunehmend – KI-generierte Halluzinationen“, warnte das ICRC Anfang Dezember.
Auch für die Entwickler von Large Language Models hätten halluzinierte Wikipedia-Artikel Nachteile, argumentiert Schindler. Denn ihre Modelle werden oft mit Wikipedia-Artikeln trainiert. „Die KI-Firmen profitieren von hochwertigen Daten und leiden unter dem Verlust von Quellen, die frei von synthetischen Texten sind“, sagt im Schindler im Gespräch mit netzpolitik.org. Oder wie er es im Vortrag formuliert: „LLM-Provider vergiften damit auf eine Art den Fluss, aus dem sie selber trinken“, sagt Schindler.
Doch wer stellt eigentlich LLM-generierte Inhalte in die Wikipedia? „Bunt gemischt“, erzählt Mathias Schindler im Gespräch mit netzpolitik.org. Von Wikipedia-Neulingen über langjährige Autor:innen bis zu einer Werbeagentur sei alles dabei gewesen. Er habe versucht, möglichst viele Autor:innen von verdächtigen Artikeln zu kontaktieren. Manche hätten ihn ignoriert, andere alles geleugnet oder den Einsatz einer LLM heruntergespielt.
„Eine Erklärung ist, dass Menschen LLMs tatsächlich als Recherchewerkzeug ansehen, das magischen Zugang zu wissenschaftlichen Datenbanken und Literatur hat und belastbare Belege liefert“, sagt Schindler zu netzpolitik.org. Bisher habe er aber noch keine solche Person unter den verdächtigen Autor:innen getroffen. Stattdessen vermutet Schindler eher persönlichen Geltungsdrang oder dass Personen eine Agenda verfolgen, die Enzyklopädie in ihrem Sinne umzuschreiben.
In seinem Vortrag erzählt Schindler, er habe alle verdächtigen Autor:innen, um den Prompt gebeten, mit dem diese den Artikel generiert hätten. „Das ist mein persönlicher ‚Litmus‘-Test, ob die Menschen ehrliche Absichten haben“, sagt Schindler. Nur eine einzige Person habe den Prompt nach vielen Nachfragen privat geteilt.
Laut Schindler wurden alle gemeldeten Artikel gelöscht, bei denen die Autor:innen die Zweifel nicht ausräumen konnten, dass sie KI-generiert waren. In vielen Fällen wurden auch die Autor:innen gesperrt. In einem Richtlinien-Artikel der deutschsprachigen Wikipedia heißt es dazu: „Sprach-KI sind derzeit nicht in der Lage, korrekt belegte Beiträge zu erstellen. Beiträge, die damit erstellt werden, verstoßen daher unter anderem gegen WP:Keine Theoriefindung, WP:Belege, WP:Urheberrechtsverletzung, WP:Neutraler Standpunkt; ihre Verwendung ist daher derzeit generell unerwünscht.“
Für Schindler bleibt es eine Herausforderung für die Wikipedia-Community, halluzinierte Texte aufzudecken, zumal Chatbots künftig ISBNs mit einer korrekt berechneten letzten Stelle erfinden könnten. Er hofft auf einen konstruktiven Dialog mit den KI-Firmen. „Mein persönlicher Wunsch wäre, dass man durch Austausch und vielleicht Kompetenztransfer mit den KI-Firmen erreicht, dass man KI-generierte Texte leichter erkennt, wenn jemand versucht, sie in die Wikipedia zu stellen.“
Am Ende ist die Geschichte der KI-generierten ISBN-Nummern auch eine über falschen und vielleicht besseren KI-Einsatz. Denn den Code für seinen ISBN-Checker hat Schindler auch mithilfe von Large Language Models geschrieben.
Rückblickend sei es ein Jahr zahlreicher falscher Risikoabwägungen bei der IT-Sicherheit im Gesundheitswesen gewesen, lautete das Fazit von Bianca Kastl auf dem 39. Chaos Communication Congress in Hamburg. Und auch auf das kommende Jahr blickt sie wenig optimistisch.
Kastl hatte gemeinsam mit dem Sicherheitsexperten Martin Tschirsich auf dem Chaos Communication Congress im vergangenen Jahr gravierende Sicherheitslücken bei der elektronischen Patientenakte aufgezeigt. Sie ist Vorsitzende des Innovationsverbunds Öffentliche Gesundheit e. V. und Kolumnistin bei netzpolitik.org.
Die Sicherheitslücken betrafen die Ausgabeprozesse von Versichertenkarten, die Beantragungsportale für Praxisausweise und den Umgang mit den Karten im Alltag. Angreifende hätten auf jede beliebige ePA zugreifen können, so das Fazit der beiden Sicherheitsexpert:innen im Dezember 2024.
„Warum ist das alles bei der ePA so schief gelaufen?“, lautet die Frage, die Kastl noch immer beschäftigt. Zu Beginn ihres heutigen Vortrags zog sie ein Resümee. „Ein Großteil der Probleme der Gesundheitsdigitalisierung der vergangenen Jahrzehnte sind Identifikations- und Authentifizierungsprobleme.“ Und diese Probleme bestünden nicht nur bei der ePA in Teilen fort, warnt Kastl, sondern gefährdeten auch das nächste große Digitalisierungsvorhaben der Bundesregierung: die staatliche EUDI-Wallet, mit der sich Bürger:innen online und offline ausweisen können sollen.
Um die Probleme bei der ePA zu veranschaulichen, verwies Kastl auf eine Schwachstelle, die sie und Tschirsich vor einem Jahr aufgezeigt hatten. Sie betrifft einen Dienst, der sowohl für die ePA als auch für das E-Rezept genutzt wird: das Versichertenstammdaten-Management (VSDM). Hier sind persönliche Daten der Versicherten und Angaben zu deren Versicherungsschutz hinterlegt. Die Schwachstelle ermöglichte es Angreifenden, falsche Nachweise vom VSDM-Server zu beziehen, die vermeintlich belegen, dass eine bestimmte elektronische Gesundheitskarte vor Ort vorliegt. Auf diese Weise ließen sich dann theoretisch unbefugt sensible Gesundheitsdaten aus elektronischen Patientenakten abrufen.
Nach den Enthüllungen versprach der damalige Bundesgesundheitsminister Karl Lauterbach (SPD) einen ePA-Start „ohne Restrisiko“. Doch unmittelbar nach dem Starttermin konnten Kastl und Tschirsich in Zusammenarbeit mit dem IT-Sicherheitsforscher Christoph Saatjohann erneut unbefugt Zugriff auf die ePA erlangen. Und auch dieses Mal benötigten sie dafür keine Gesundheitskarte, sondern nutzten Schwachstellen im Identifikations- und Authentifizierungsprozess aus.
„Mit viel Gaffa Tape“ sei die Gematik daraufhin einige Probleme angegangen, so Kastl. Wirklich behoben seien diese jedoch nicht. Für die anhaltenden Sicherheitsprobleme gibt es aus ihrer Sicht mehrere Gründe.
So hatte Lauterbach in den vergangenen Jahren zulasten der Sicherheit deutlich aufs Tempo gedrückt. Darüber hinaus verabschiedete der Bundestag Ende 2023 das Digital-Gesetz und schränkte damit die Aufsichtsbefugnisse und Vetorechte der Bundesdatenschutzbeauftragten (BfDI) und des Bundesamts für Sicherheit in der Informationstechnik (BSI) massiv ein. „Ich darf jetzt zwar etwas sagen, aber man muss mir theoretisch nicht mehr zuhören“, fasste die Bundesdatenschutzbeauftragte Louisa Specht-Riemenschneider die Machtbeschneidung ihrer Aufsichtsbehörde zusammen.
Auch deshalb sind aus Kastls Sicht kaum Vorkehrungen getroffen worden, damit sich ähnliche Fehler in Zukunft nicht wiederholen. Neue Sicherheitsprobleme drohen aus Kastls Sicht schon im kommenden Jahr bei der geplanten staatlichen EUDI-Wallet. „Die Genese der deutschen staatlichen EUDI-Wallet befindet sich auf einem ähnlich unguten Weg wie die ePA“, warnte Kastl.
Die digitale Brieftasche auf dem Smartphone soll das alte Portemonnaie ablösen und damit auch zahlreiche Plastikkarten wie den Personalausweis, den Führerschein oder die Gesundheitskarte. Die deutsche Wallet soll am 2. Januar 2027 bundesweit an den Start gehen, wie Bundesdigitalminister Karsten Wildberger (CDU) vor wenigen Wochen verkündete.
Kastl sieht bei dem Projekt deutliche Parallelen zum ePA-Start. Bei beiden ginge es um ein komplexes „Ökosystem“, bei dem ein Scheitern weitreichende Folgen hat. Dennoch seien die Sicherheitsvorgaben unklar, außerdem gebe es keine Transparenz bei der Planung und der Kommunikation. Darüber hinaus gehe die Bundesregierung bei der Wallet erneut Kompromisse zulasten der Sicherheit, des Datenschutzes und damit der Nutzer:innen ein.
In ihrem Vortrag verweist Kastl auf eine Entscheidung der Ampel-Regierung im Oktober 2024. Der damalige Bundes-CIO Markus Richter (CDU) verkündete auf LinkedIn, dass sich das Bundesinnenministerium „in Abstimmung mit BSI und BfDI“ für eine Architektur-Variante bei der deutschen Wallet entschieden habe, die auf signierte Daten setzt. Richter ist heute Staatssekretär im Bundesdigitalministerium.
Der Entscheidung ging im September 2024 ein Gastbeitrag von Rafael Laguna de la Vera in der Frankfurter Allgemeinen Zeitung voraus, in dem dieser eine höhere Geschwindigkeit bei der Wallet-Entwicklung forderte: „Nötig ist eine digitale Wallet auf allen Smartphones für alle – und dies bitte schnell.“
Laguna de la Vera wurde 2019 zum Direktor der Bundesagentur für Sprunginnovationen (SPRIND) berufen, die derzeit einen Prototypen für die deutsche Wallet entwickelt. Seine Mission hatte der Unternehmer zu Beginn seiner Amtszeit so zusammengefasst: „Wir müssen Vollgas geben und innovieren, dass es nur so knallt.“ In seinem FAZ-Text plädiert er dafür, die „‚German Angst‘ vor hoheitlichen Signaturen“ zu überwinden. „Vermeintlich kleine Architekturentscheidungen haben oft große Auswirkungen“, schließt Laguna de la Vera seinen Text.
Tatsächlich hat die Entscheidung für signierte Daten weitreichende Folgen. Und sie betreffen auch dieses Mal die Identifikations- und Authentifizierungsprozesse.
Grundsätzlich sind bei der digitalen Brieftasche zwei unterschiedliche Wege möglich, um die Echtheit und die Integrität von übermittelten Identitätsdaten zu bestätigen: mit Hilfe sicherer Kanäle („Authenticated Channel“) oder durch das Signieren von Daten („Signed Credentials“).
Der sichere Kanal kommt beim elektronischen Personalausweis zum Einsatz. Hier wird die Echtheit der übermittelten Personenidentifizierungsdaten durch eine sichere und vertrauenswürdige Übermittlung gewährleistet. Die technischen Voraussetzungen dafür schafft der im Personalausweis verbaute Chip.
Bei den Signed Credentials hingegen werden die übermittelten Daten etwa mit einem Sicherheitsschlüssel versehen. Sie tragen damit auch lange nach der Übermittlung quasi ein Echtheitssiegel.
Dieses Siegel macht die Daten allerdings auch überaus wertvoll für Datenhandel und Identitätsdiebstahl, so die Warnung der Bundesdatenschutzbeauftragten, mehrerer Sicherheitsforscher:innen und zivilgesellschaftlicher Organisationen.
Bereits im Juni 2022 wies das BSI auf die Gefahr hin, „dass jede Person, die in den Besitz der Identitätsdaten mit Signatur gelangt, über nachweislich authentische Daten verfügt und dies auch beliebig an Dritte weitergeben kann, ohne dass der Inhaber der Identitätsdaten dies kontrollieren kann“. Und der Verbraucherschutz Bundesverband sprach sich im November 2024 in einem Gutachten ebenfalls klar gegen signierte Daten aus.
An dieser Stelle schließt sich für Kastl der Kreis zwischen den Erfahrungen mit der elektronischen Patientenakte in diesem Jahr und der geplanten digitalen Brieftasche.
Um die Risiken bei der staatlichen Wallet zu minimieren, sind aus Kastls Sicht drei Voraussetzungen entscheidend, die sie und Martin Tschirsich schon auf dem Congress im vergangen Jahr genannt hatten.
Das sind erstens eine unabhängige und belastbare Bewertung von Sicherheitsrisiken, zweitens eine transparente Kommunikation von Risiken gegenüber Betroffenen und drittens ein offener Entwicklungsprozess über den gesamten Lebenszyklus eines Projekts. Vor einem Jahr fanden sie bei den Verantwortlichen damit kein Gehör.
Illustrierte Reise nach New York City › PAGE online
Aus Softwarefehlern lernen – Teil 3: Eine Marssonde gerät außer Kontrolle
Top 10: Die beste kabellose Überwachungskamera im Test
SK Rapid Wien erneuert visuelle Identität
Neue PC-Spiele im November 2025: „Anno 117: Pax Romana“
Kommandozeile adé: Praktische, grafische Git-Verwaltung für den Mac
Donnerstag: Deutsches Flugtaxi-Start-up am Ende, KI-Rechenzentren mit ARM-Chips
Arndt Benedikt rebranded GreatVita › PAGE online
