Hoffnung in verzweifelten Zeiten zu stiften ist keine leichte Aufgabe, das macht Mustafa Mahmoud Yousif gleich zu Beginn seines Vortrags klar. Und doch hat sich der Menschenrechtsaktivist genau das vorgenommen. Er ist nach Hamburg auf den 39. Chaos Communication Congress gekommen, um von der Kraft der Zivilgesellschaft zu berichten und Mut zu machen. Er spricht über den erfolgreichen Protest einer Bürger:innenbewegung gegen ein digitales Identifikationssystem in Kenia.

Das Problem mit dem „Huduma Namba“ genannten System ist schnell umrissen: In einer riesigen zentralen Datenbank wollte die kenianische Regierung 2019 die Bevölkerung erfassen. Diese sollte zahlreiche Angaben über sie beinhalten, von Größe, Alter, Landbesitz und Stammeszugehörigkeit über Einkommens- und Bildungslevel bis zu Angaben über Familienangehörige. Auch biometrische Daten und DNA sollten erfasst werden.

Nur wer registriert ist, sollte Zugang zu staatlichen Leistungen bekommen, etwa sein Kind auf eine Schule schicken können. Die Regierung wollte sich zudem das Recht einräumen, Daten mit autorisierten Stellen zu teilen – auch mit Unternehmen, fürchtete die kenianische Zivilgesellschaft. Mit den umfangreichen Daten könnten zudem Profile von Personen erstellt werden, so die Sorge. In einem Land, in dem staatlichen Stellen nicht zu trauen sei, eine echte Gefahr, so der Ko-Vorstandsvorsitzende des Instituts für Staatenlosigkeit und Inklusion.

Koloniales Echo

Huduma Namba sollte zur „einzigen Quelle der Wahrheit“ über die Menschen in Kenia werden, erklärt Yousif. Und das in einem Land, das unter britischer Kolonialherrschaft alles andere als gute Erfahrungen mit Identitätssystemen gemacht hat. Denn für die Kolonialherren war die Identitätskontrolle ein Herrschaftsinstrument, mit dem sie die unterdrückte Bevölkerung spalten und in ihrer Bewegungsfreiheit einschränken konnte.

Die Briten hätten das Land in 42 Regionen für 42 Stämme geteilt, mit der Hauptstadt Nairobi als 43. Bezirk. Schwarze Menschen, so Yousif, mussten jederzeit Ausweisdokumente, die sogenannten Kipande, bei sich tragen und der Polizei vorlegen. Die Dokumente enthielten Angaben über die Identität der Personen, wo sie lebten und in welchen Gebieten sie sich aufhalten durften. „Sie haben die Menschen in Ethnien und Bezirke unterteilt, damit sie nicht gemeinsam aufbegehren können“, so Yousif.

Im digitalen Zeitalter seien Daten zum neuen Rohstoff geworden, der nicht mehr in klassischen Minen, sondern beim Data Mining gewonnen wird. Statt auf Datenminimierung zu setzen, wie es aus Perspektive des Datenschutzes geboten wäre, habe die kenianische Regierung bei „Huduma Namba“ deshalb auf Datenmaximierung gesetzt.

In einer übereilten Roll-out-Phase von nur sechs Monaten habe die kenianische Regierung versucht, die Bevölkerung zur Registrierung zu drängen. Gerade ohnehin marginalisierte Gruppen, etwa Menschen ohne gültige Dokumente, seien jedoch gefährdet gewesen, zurückgelassen zu werden, kritisiert Yousif. Kinder, deren Eltern teils kenianische Staatsangehörige und geflüchtete Personen seien, wären auf Dauer als Geflüchtete registriert und dem Risiko der Staatenlosigkeit ausgesetzt worden.

Radikale Verweigerung

Weil es an einer politischen Opposition zu dem Projekt fehlt, habe es an der Zivilgesellschaft gelegen, Widerstand zu organisieren. Zahlreiche Nichtregierungsorganisationen hätten sich zusammengeschlossen, um in Sozialen Medien gegen den ID-Zwang mobil zu machen.

Insbesondere die junge Generation sei auf die Kampagne angesprungen. „Sie hatten das Gefühl, dass sie in ein System gezwungen werden, bei dem nicht Menschen, sondern Unterdrückung im Mittelpunkt stehen.“ Die Antwort darauf war radikale Verweigerung: Als die Regierung damit gedroht habe, nicht-registrierte Menschen des Landes zu verweisen, trendete der Hashtag #deportme, also „schiebt mich ab“. Zum Schlachtruf der Bewegung wurde der Slang-Begriff „Hatupangwingwi“, das in etwa „Wir lassen uns nichts vorschreiben“ bedeutet.

Auch traditionelle Medien hätten das Thema und dem Protest zu mehr Wucht verholfen. NGOs klagten zudem auf Basis des neuen kenianischen Datenschutzgesetzes. Mit Erfolg: Das Verfassungsgericht erklärte die Datenbank für ungültig, unter anderem, weil eine Datenschutz-Folgenabschätzung fehlte. Erhobene DNA-Daten dürfen zudem nur dann genutzt werden, wenn entsprechende Schutzvorkehrungen getroffen werden.

2022 wählten die Menschen in Kenia eine neue Regierung, die einen Neuanfang versprach und erstmalig Vertreter:innen der Zivilgesellschaft mit an den Tisch holte.

Der Kampf geht weiter

Doch damit endete der Kampf für Mustafa Mahmoud Yousif und seine Mitstreier:innen nicht. Auch die neu aufgesetzte Datenbank „Maisha Namba“ soll umfangreiche Daten über die Menschen Kenias enthalten. Auch hier fehlen der Zivilgesellschaft ausreichende Schutzmechanismen, um Bürger:innen vor Profilbildung und Diskriminierung zu schützen.

Doch Yousif gibt die Hoffnung nicht auf. Immerhin: Statt einer überhasteten Registrierungsphase werden Menschen Stück für Stück und ab Geburt registriert. Und die Verantwortlichkeiten für das Projekt sind jetzt klarer geregelt, sagt der Aktivist. „Wir wissen jetzt, wen wir verklagen müssen.“

Gut drei Jahre ist es her, dass Elon Musk Twitter gekauft hat. Viele Nutzer:innen verloren daraufhin ihr digitales Wohnzimmer. Und schnell wurde klar, dass die Plattform fortan der Willkür eines einzelnen Tech-Unternehmers unterliegt. Als Musk Mitarbeiter:innen aus dem Kern-Team entließ und die Bezahlversion für das umgetaufte Twitter einführte, verließen viele die Plattform und wandten sich Mastodon zu.

Das Versprechen hinter Mastodon: Das dezentrale Netzwerk entzieht sich der Kontrolle einer einzelnen Person. Denn hier geht es nicht um Profit, sondern vielmehr um eine digitale Gemeinschaft von Menschen, die die Kontrolle über ihre Kommunikationskanäle selbst in die Hand nehmen. Aber können dezentrale Netzwerke dieses Versprechen einlösen? Und wie dezentral sind sie tatsächlich?

Mit diesen Fragen beschäftigte sich Marco Wähner auf dem Chaos Communication Congress in Hamburg. Im Interview spricht der Soziologe über seine Forschung. Wähner arbeitet am Center for Advanced Internet Studies (CAIS) als wissenschaftlicher Mitarbeiter in der Abteilung Research Data and Methods.

„Wir haben eine Zentralität innerhalb der Dezentralität“

netzpolitik.org: Du forschst zu dezentralen Netzwerken. Was ist deine Motivation?

Marco Wähner: Ich wollte wissen: Sind dezentrale Netzwerke der Goldstandard, der selbst nicht hinterfragt werden muss? Dafür habe ich mir unter anderem das Fediverse angeschaut.

netzpolitik.org: Was ist die wesentliche Erkenntnis deiner Untersuchung?

Wähner: Es gibt auf der einen Seite die Idee der Dezentralität. Auf der anderen Seite kann man allerdings auch in dezentralen Netzwerken einen Trend zur Zentralität beobachten. Im deutschsprachigen Ökosystem von Mastodon kann man etwa beobachten, dass sich 80 Prozent der Nutzer:innen mit ihren Accounts auf nur 14 Instanzen verteilen. Wenn man bedenkt, dass das gesamte Ökosystem aus etwa 240 Instanzen besteht, veranschaulicht das eine starke Konzentration. Da haben wir eine Zentralität innerhalb der Dezentralität.

netzpolitik.org: Woran liegt das?

Wähner: Wir haben uns daran gewöhnt, dass soziale Medien uns eine Atmosphäre bieten, in der alles für uns vorkonfiguriert ist. Auf Mastodon hat man viele Mitgestaltungsmöglichkeiten, aber es ist auch Aktivität erforderlich. Nutzer:innen müssen sich aktiv darin einbringen, die digitale Infrastruktur zu pflegen. Wir kriegen hier die Chance, uns technologisch von großen Plattformen unabhängiger zu machen, aber dafür müssen wir auch etwas tun.

Außerdem lässt sich eine Parallele zu den Anfängen des Internets ziehen. Das hat als dezentrales Konstrukt angefangen, inzwischen kam es hier aber zur Zentralisierung. Das liegt daran, dass Menschen nur einen Bruchteil des Internets für Informationen, Wissen und Austausch nutzen. Regelmäßig besuchen sie nur wenige Websites.

Ein wesentlicher Faktor ist aber auch die Monopolbildung technologischer Konzerne. Es gibt starke Machtkonzentrationen auf wenige Plattformen und wenige Unternehmen, die hinter diesen Plattformen stecken. Ich finde das Bild einer vor Banalitäten blinkenden Einkaufs-Mall passend, wo immer unterschiedliche Verkaufsangebote dargestellt werden, die so mehr oder weniger über die ursprüngliche Idee des Internets drübergebaut worden ist. Und ich denke, dass wir das Potenzial des Internets nicht ausnutzen. Vielmehr ist es geprägt durch Konsum, durch Warenangebote.

Das Prinzip des Gemeinguts

netzpolitik.org: Warum kam es zu dieser Entwicklung hin zu Zentralisierung und Monopolen?

Wähner: Das ist eine komplexe, aber nicht überraschende Entwicklung. Und sie hängt vor allem damit zusammen, dass Angebote, Zugänge und Inhalte monetarisiert wurden. Hierdurch wurde die Monopolstellung einzelner Unternehmen stark begünstigt.

netzpolitik.org: Was unterscheidet dezentrale Netzwerke davon?

Wähner: Das zentralisierte Internet folgt dem Prinzip des Privateigentums. Dort entscheidet eine zentrale Autorität, was mit einer Infrastruktur passiert, wer Zugang hat und Ähnliches. Diese Autorität ist allein durch Eigentum legitimiert. Ein gutes Symbolbild dafür ist Elon Musk, der ein Waschbecken in die Büros von Twitter hineinträgt. Als neuer Eigentümer konnte er das machen.

Das löste bei vielen ein Störgefühl aus, denn Twitter wurde als öffentlich-digitaler Raum verstanden und genutzt. Wie instabil so ein öffentlicher Raum ist, zeigte sich, als sich jemand als Privateigentümer durchgesetzt hat.

Dezentrale Netzwerke folgen dem Prinzip des Gemeinguts. Dementsprechend gibt es keine zentrale Autorität, die darüber entscheidet, wie Ressourcen verteilt werden, wer Zugang zum Netzwerk hat, wie das Netzwerk wächst. Hier geht es um Selbstverwaltung.

Es braucht die zivilgesellschaftliche Basis

netzpolitik.org: Könnte da die öffentliche Hand unterstützen?

Wähner: Wichtig ist die Frage, wer hat die zentrale Autorität. Die sollte nicht bei der öffentlichen Hand liegen, sondern bei der Zivilgesellschaft.

Gleichwohl könnte man hier aber gesetzgeberisch aktiv werden. Ein Weg könnte darin bestehen, dass die Arbeit einzelner Akteure aus der Zivilgesellschaft, die digitale Infrastruktur für die Gemeinschaft zur Verfügung stellen, als gemeinnützig anerkannt wir. Zudem ist das digitale Ehrenamt sicher ein guter Weg, wenn sich Menschen im digitalen Raum ehrenamtlich engagieren.

Behörden und andere öffentliche Einrichtungen sollten Mastodon nutzen und ihre Inhalte dort zur Verfügung stellen. Damit können sie dem Netzwerk auch Schub verleihen. Doch es braucht die zivilgesellschaftliche Basis, um sich von einzelnen Personen und Akteuren unabhängig zu machen.

Eine echte Option zur bestehenden Zentralität

netzpolitik.org: Was ist deine Forderung?

Wähner: Angesichts des Trends zu Zentralisierung bei dezentralen Netzwerken wie Mastodon müssen wir uns als Zivilgesellschaft eines bewusst machen: Wir brauchen dauerhaft Power, damit wir mittel- und langfristig dezentrale Alternativen haben.

Es ist einfach, monetäre Interessen zu mobilisieren. Gemeinschaftliche Interessen bringen immer Zielkonflikte mit. Wenn wir wollen, dass dezentrale Netzwerke frei von Profitdenken bleiben, müssen wir in Zukunft Organisationen, Vereine und Nichtregierungsorganisationen stärken. Die können schon jetzt ihre Mitglieder mobilisieren. Sie sind in der Lage, digitale Infrastrukturen zur Verfügung zu stellen und auch Anknüpfungspunkte für Menschen zu schaffen, um dezentrale Netzwerke zu nutzen.

netzpolitik.org: Also seid aufmerksam und sorgt dafür, dass dezentrale Netzwerke dezentral bleiben?

Wähner: Vor allem sollten sie Menschen über die Bubble hinaus mitnehmen, also auch aus der breiten Zivilgesellschaft. Überwindet den Zielkonflikt der digitalen Ungleichheit. Wir sollten uns immer fragen, wie wir Menschen befähigen, Teil dieser Netzwerke zu werden und sich damit auseinanderzusetzen. Und wie wir das als echte Option zur bestehenden Zentralität in die öffentliche Debatte tragen.

Eigentlich wollte Mathias Schindler nur eine kleine Sache in der Wikipedia korrigieren. Doch dann baute der Wikipedianer versehentlich einen Detektor für bestimmte KI-generierte Inhalte in der Enzyklopädie. Auf dem 39C3 berichtet er, warum die halluzinierten Texte auch ein Problem für die Anbieter großer Sprachmodelle werden könnte und warum er den Autor:innen keine guten Absichten unterstellt.

Die kleine Sache, die Schindler korrigieren wollte, waren fehlerhafte ISBN-Nummern. Mit diesen 10 oder 13-stelligen Nummern werden Bücher identifiziert und finden sich oft in Quellenangaben von Wikipedia-Einträgen. Dabei sind die Zahlenkombinationen nicht vollkommen zufällig, erklärt Schindler im Talk. Die letzte Ziffer ist eine Prüfziffer, sie lässt sich aus den neun beziehungsweise zwölf vorherigen Ziffern berechnen. Ursprünglich wollte Schindler falsche ISBN-Nummern in der Wikipedia aufspüren und ausbessern, auch damit Nutzer:innen die richtigen Bücher finden, die als Referenzen in den Artikeln angegeben wurden.

Zufallsfund dank falscher ISBNs

„Referenzen auf Wikipedia sind nicht nur wichtig, sondern ein integraler Teil der Wikipedia“, sagt Schindler und verweist in seinem Vortrag auf den alten Spruch: „Wikimedia mag ein guter Ort sein, um eine Recherche zu starten, aber es ist ein schlechter Ort, um dort die Recherche zu beenden.“ (Alle Zitate aus dem Talk haben wir ins Deutsche übersetzt.) Schindler muss es wissen. Er ist Mitbegründer von Wikimedia Deutschland und Wikipedia-Autor seit 2003.

Um die inkorrekten ISBN-Nummern zu finden, schrieb Schindler ein Skript, lud die gesamte deutschsprachige Wikipedia herunter und durchsuchte sie nach ISBNs mit einer faulen Prüfziffer, erzählt er in seinem Vortrag. Doch er stieß nicht nur auf falsch eingegebene ISBNs oder von den Verlagen falsch ausgegebene ISBNs, sondern fand auch Artikel, bei denen zwei oder mehr Bücher fehlerhafte ISBN-Nummern hatten. Diese Bücher schienen zwar plausible Titel und Autor:innen zu haben, aber Schindler konnte sie nirgendwo sonst finden. Sie waren halluziniert.

Offenbar hatten sich Menschen ganze Artikel von einem Large Language Model (LLM) wie ChatGPT schreiben lassen, welches sich dann auch einen Abschnitt mit Einzelnachweisen ausdachte.

Noch ist es ein Nischenphänomen

Im Gespräch mit netzpolitik.org erzählt Schindler, dass er mit seiner Methode etwa 150 Artikel gefunden habe, bei denen man Sorge haben müsse, dass sie zumindest teilweise KI-generiert und frei erfunden seien. Allerdings seien die fehlerhaften Einträge nicht ausschließlich auf KI-Chatbots zurückzuführen, manchmal gebe es andere Gründe für mehrfach falsche ISBN-Nummern, sagt Schindler. Außerdem gibt es über drei Millionen deutschsprachige Wikipedia-Artikel, die 150 Auffälligen machen also nur ein äußerst geringen Anteil von 0,005 Prozent aus.

Andererseits erfasst Schindlers Methode auch nicht alle Halluzinationen, dafür war es schließlich nicht gedacht. „Dieses Werkzeug ist nicht das Universaltool zum Erkennen von ChatGPT-generierten Artikeln.“ Andere Möglichkeiten, solche Inhalte zu enttarnen, seien etwa systematische Abweichungen von der Syntax von „Media Wiki“ (der Software hinter Wikipedia). Oder wenn Autor:innen viele Adjektive verwenden: „Kein Wikipedianer, der was auf sich hält, wird den Fernsehturm als ‚großartig‘ oder ‚herausragend‘ bezeichnen.“

LLM generierter Text „Anti-These zu Wikipedia“

Doch auch wenn das Erstellen von Wikipedia-Artikeln mit LLMs noch nicht so verbreitet sein sollte, geht es für Wikipedia um Grundsätzliches: Die Kontamination mit Inhalten, die auf den ersten Blick wahr erscheinen könnten und sich als Fakten tarnen. Schindler sagt: „Man könnte es auch als Anti-These zu einem Enzyklopädie-Projekt wie Wikipedia beschreiben.“

Die Gefahren? Zum einen können sich falsche Infos verselbstständigen, wenn eine andere Veröffentlichung den vermeintlichen Fakt von Wikipedia abschreibt und die Wikipedia diese Veröffentlichungen hinterher als Beleg für genau diesen Fakt aufführen. Schindler weist in seinem Vortrag auf diesen Teufelskreis hin, der bereits vor LLMs ein Problem darstellte.

Glaubwürdigkeit in Gefahr – und die Qualität von LLMs

Zum anderen verschlingen LLM-generierte Quellen zunehmend die Ressourcen unterschiedlichster Einrichtungen. Nicht nur die der Online-Enzyklopädie: Irregeleitete Nutzer:innen fragen etwa Bibliothekar:innen nach ausgedachten Büchern, berichtete 404 Media im Herbst. Beim Internationalen Komitee des Roten Kreuzes (ICRC) wurde die Situation offenbar so schlimm, dass es sich mit einer „wichtigen Mitteilung“ an die Öffentlichkeit wandte.

„Wenn eine Referenz nicht gefunden werden kann, heißt das nicht, dass das ICRC Informationen zurückhält. Verschiedene Situationen können das erklären, wie etwa unvollständige Zitationen, Dokumente, die in andere Institutionen lagern, oder – zunehmend – KI-generierte Halluzinationen“, warnte das ICRC Anfang Dezember.

Auch für die Entwickler von Large Language Models hätten halluzinierte Wikipedia-Artikel Nachteile, argumentiert Schindler. Denn ihre Modelle werden oft mit Wikipedia-Artikeln trainiert. „Die KI-Firmen profitieren von hochwertigen Daten und leiden unter dem Verlust von Quellen, die frei von synthetischen Texten sind“, sagt im Schindler im Gespräch mit netzpolitik.org. Oder wie er es im Vortrag formuliert: „LLM-Provider vergiften damit auf eine Art den Fluss, aus dem sie selber trinken“, sagt Schindler.

Wer macht sowas?

Doch wer stellt eigentlich LLM-generierte Inhalte in die Wikipedia? „Bunt gemischt“, erzählt Mathias Schindler im Gespräch mit netzpolitik.org. Von Wikipedia-Neulingen über langjährige Autor:innen bis zu einer Werbeagentur sei alles dabei gewesen. Er habe versucht, möglichst viele Autor:innen von verdächtigen Artikeln zu kontaktieren. Manche hätten ihn ignoriert, andere alles geleugnet oder den Einsatz einer LLM heruntergespielt.

„Eine Erklärung ist, dass Menschen LLMs tatsächlich als Recherchewerkzeug ansehen, das magischen Zugang zu wissenschaftlichen Datenbanken und Literatur hat und belastbare Belege liefert“, sagt Schindler zu netzpolitik.org. Bisher habe er aber noch keine solche Person unter den verdächtigen Autor:innen getroffen. Stattdessen vermutet Schindler eher persönlichen Geltungsdrang oder dass Personen eine Agenda verfolgen, die Enzyklopädie in ihrem Sinne umzuschreiben.

In seinem Vortrag erzählt Schindler, er habe alle verdächtigen Autor:innen, um den Prompt gebeten, mit dem diese den Artikel generiert hätten. „Das ist mein persönlicher ‚Litmus‘-Test, ob die Menschen ehrliche Absichten haben“, sagt Schindler. Nur eine einzige Person habe den Prompt nach vielen Nachfragen privat geteilt.

Die Herausforderung bleibt

Laut Schindler wurden alle gemeldeten Artikel gelöscht, bei denen die Autor:innen die Zweifel nicht ausräumen konnten, dass sie KI-generiert waren. In vielen Fällen wurden auch die Autor:innen gesperrt. In einem Richtlinien-Artikel der deutschsprachigen Wikipedia heißt es dazu: „Sprach-KI sind derzeit nicht in der Lage, korrekt belegte Beiträge zu erstellen. Beiträge, die damit erstellt werden, verstoßen daher unter anderem gegen WP:Keine Theoriefindung, WP:Belege, WP:Urheberrechtsverletzung, WP:Neutraler Standpunkt; ihre Verwendung ist daher derzeit generell unerwünscht.“

Für Schindler bleibt es eine Herausforderung für die Wikipedia-Community, halluzinierte Texte aufzudecken, zumal Chatbots künftig ISBNs mit einer korrekt berechneten letzten Stelle erfinden könnten. Er hofft auf einen konstruktiven Dialog mit den KI-Firmen. „Mein persönlicher Wunsch wäre, dass man durch Austausch und vielleicht Kompetenztransfer mit den KI-Firmen erreicht, dass man KI-generierte Texte leichter erkennt, wenn jemand versucht, sie in die Wikipedia zu stellen.“

Am Ende ist die Geschichte der KI-generierten ISBN-Nummern auch eine über falschen und vielleicht besseren KI-Einsatz. Denn den Code für seinen ISBN-Checker hat Schindler auch mithilfe von Large Language Models geschrieben.