Am Mittwoch will die grün-schwarze Landesregierung in Baden-Württemberg einen heftig umstrittenen Gesetzentwurf verabschieden. Er erlaubt dem Bundesland den Einsatz der Palantir-Software zur Datenanalyse, die das Land für mehr als 25 Millionen Euro bereits eingekauft hat.

Im Windschatten dieses Ansinnens bringt der Gesetzentwurf eine weitere bedeutende Verschlechterung des Datenschutzes im Land mit sich: Laut Paragraf 57a soll die Polizei von Baden-Württemberg künftig personenbezogene Daten zur Entwicklung, zum Training, zum Testen, zur Validierung und zur Beobachtung von informationstechnischen Systemen einsetzen dürfen. Dabei ist unerheblich, ob sich die betroffenen Menschen zuvor verdächtig gemacht haben. Die entsprechende Datenverarbeitung ist nicht an ein Ermittlungsverfahren gebunden, sondern allein zur Verbesserung und Implementierung von Überwachungssoftware gedacht.

Bürger*innen werden demnach künftig Daten liefern, mit denen beispielsweise das privatwirtschaftliche Unternehmen Palantir, gegründet vom rechten Anti-Demokraten Peter Thiel, seine Produkte verbessern kann. Wenn also in Kürze die ersten Tests der Palantir-Software in Baden-Württemberg beginnen, könnten diese direkt mit realen personenbezogenen Daten vorgenommen werden, die millionenfach in Polizeidatenbanken lagern.

Auch der Test und das Training von beispielsweise automatisierter Verhaltens- oder Gesichtserkennung ist damit möglich. Ausgenommen sind nur Daten, die im Rahmen einer Wohnraumüberwachung erhoben wurden.

Daten dürfen auch an Dritte weitergegeben werden

Sobald „unveränderte Daten benötigt werden oder eine Anonymisierung oder Pseudonymisierung der Daten nicht oder nur mit unverhältnismäßigem Aufwand möglich ist“, dürfen beispielsweise auch Klarnamen und andere eindeutig identifizierende Informationen wie Gesichtsfotos dabei genutzt werden. Die Daten dürfen auch an Dritte weitergegeben werden.

Tobias Keber, der Landesdatenschutzbeauftragte, fordert in einer Stellungnahme, zumindest in jedem Fall zu prüfen, ob eine Anonymisierung oder Pseudonymisierung tatsächlich unverhältnismäßig ist. Nach dem Entwurf, der Mittwoch zur Abstimmung gestellt wird, ist dies nicht zwingend vorausgesetzt, sobald „unveränderte Daten benötigt werden“. Außerdem solle, so Keber, seine Behörde jeweils frühzeitig eingebunden werden.

Es ist gut möglich, dass diese Rechtsgrundlage zum Testen und Trainieren mit personenbezogenen Daten eine Reaktion auf den bayerischen Umgang mit Palantir-Software ist. Dort hatten die Behörden die Datenanalyse mit Echtdaten tatsächlicher Menschen ohne Rechtsgrundlage getestet, woraufhin der bayerische Landesdatenschutzbeauftragte forderte, den Test zu beenden. Laut der Wissenschaftlichen Dienste des Bundestages muss ein derartiger Testbetrieb den gleichen – hohen – Anforderungen genügen wie der tatsächliche Einsatz.

Wer zusehen möchte, wie die grün-schwarze Landesregierung diesen massiven Grundrechtseingriff durchs Parlament bringt, kann dies Mittwoch ab 13.30 Uhr auf der Website des Landtags tun.

Die Stadtverwaltung Ludwigshafen hat Ende vergangener Woche die Datenverarbeitungssysteme heruntergefahren, nachdem Anomalien im Netzwerk aufgefallen sind. Bei den andauernden Untersuchungen haben sich die Hinweise verdichtet, dass ein Cyberangriff stattgefunden hat. Die Systeme bleiben noch einige Tage offline, kündigt die Stadt an. Die ist derweil weder telefonisch noch digital erreichbar.

Die Stadtverwaltung Ludwigshafen hat in einem PDF den Stand der Dinge zusammengetragen. Demnach gab es offenbar bereits am Donnerstag vergangener Woche ungewöhnliche Aktivitäten im Netz der Stadtverwaltung. Die Monitoring-Systeme sind angeschlagen, woraufhin gegen 10:30 Uhr die Systeme heruntergefahren wurden – vorsorglich, zum Vermeiden von Schäden. „Zu Ursache und Herkunft der Auffälligkeiten im städtischen Datennetz lassen sich zu diesem frühen Zeitpunkt noch keine verlässlichen und verbindlichen Aussagen machen“, erklärte die Stadtverwaltung zunächst. Externe IT-Spezialisten wurden zur Untersuchung hinzugezogen. Die Systeme können erst nach sorgfältiger Prüfung schrittweise wieder hochgefahren werden.

Lage am Sonntag

Es ist noch unklar, ob Daten von Bürgerinnen und Bürgern betroffen sind. Nach den ersten Untersuchungen geht die Stadt jedoch davon aus, dass keine Daten abgeflossen sind. Allerdings haben sich die Hinweise verdichtet, dass es sich tatsächlich um einen Cyberangriff handelt. Herkunft und Ursache der Auffälligkeiten im städtischen Datennetz sind jedoch weiterhin unbekannt.

Die städtische IT untersucht die Systeme zusammen mit externen Dienstleistern weiter auf Infiltrierungen. „Die weiteren Überprüfungen des Datennetzes werden noch mindestens die gesamte kommende Woche andauern, möglicherweise auch länger“, erklärt die Stadtverwaltung. Möglicherweise können erste Dienste bereits wieder in Betrieb genommen werden, es lasse sich jedoch nicht sagen, ob und wann.

In der Woche zuvor wurde die Webseite der Stadt Trier Ziel von Cyberangriffen.

(dmk)

Die heutige Degitalisierung wird sehr tierisch. Denn manchmal lässt sich menschliches Verhalten besser beschreiben, wenn wir es mit tierischen Verhaltensweisen vergleichen. Denn irgendwie sind Menschen ja auch Herdentiere, mit oftmals frappierend ähnlichen Verhaltensweisen.

Bei Herdentieren wie Rindern, Schafen oder Pferden kann es – oftmals unerklärlich – eine unvermittelte Fluchtbewegung geben, die die ganze Herde umfasst. Eine Stampede. Ein paar wenige Mitglieder einer Herde versetzen so mittels einer positiven Rückkopplung die ganze Herde in Bewegung, die dann ziellos in irgendeine Richtung läuft. Die Positivität der Rückkopplung ist dabei weniger als Wertung des Effekts zu verstehen, sondern als eine Beschreibung, ob die Rückkopplung einen Effekt verstärkt. Was genau der Auslöser dieser Rückkopplung ist, ist am Ende gar nicht mehr so klar, am Ende bleibt aber oftmals Chaos und Verwüstung.

Positive Rückkopplung ist aber auch oftmals eine der Triebfedern von digitalen Anwendungen und Geschäftsmodellen. Der Informatiker Luis von Ahn etwa baute 2007 ein System zur Erkennung von Bots namens ReCAPTCHA, bei dem Menschen sich nicht durch bestimmte Handlungen von maschinellen Bots abgrenzen, sondern gleichzeitig auch Teile von Büchern digitalisieren. Wort für Wort, Boterkennung für Boterkennung.

2011 arbeitete von Ahn dann an Duolingo, einer Anwendung zum Erlernen von Sprachen. Duolingo ist dabei vor allem aufgebaut auf dem Prinzip der positiven Rückkopplung mittels Gamification. Das Lernen von Sprachen wird dabei nicht zum bloßen Pauken von Vokabeln und Erlernen von Grammatikregeln. Sondern es wird zum Spiel, bei dem es gilt, möglichst lange dabei zu bleiben, immer höhere Level zu erreichen und seinen Streak, eine möglichst lange Nutzungskontinuität, am Leben zu halten.

Flow und Stop

Psychologisch gesehen hat Duolingo das Prinzip des sogenannten Flow) bestmöglich ausgenutzt. Flow wurde durch Mihály Csíkszentmihályi beschrieben als ein optimaler mentaler Zustand zwischen Unter- und Überforderung, der zur völligen Vertiefung und zum völligen Aufgehen in einer Tätigkeit führen kann, die ansonsten eigentlich eher nicht plausibel scheinen würde. War das Lernen von Sprechen früher vielleicht nerviges Pauken, das Jugendliche widerwillig machen mussten, führt der durch Gamification erzeugte Flow dazu, dass es plötzlich Spaß macht, Sprachen zu lernen.

Wahrscheinlich hätte dieses Prinzip der positiven Rückkopplung für Duolingo noch für Generationen weiter funktioniert und hätte das dahinterstehende Unternehmen lange finanziell erfolgreich gehalten, wäre da nicht ein Bruch im Flow entstanden. Wegen sogenannter künstlicher Intelligenz.

Am 28. April postete von Ahn als CEO von Duolingo die Inhalte einer E-Mail, die er gerade an alle Mitarbeitenden von Duolingo versendet hatte. Duolingo müsse nun eine „AI-first“-Organisation werden. Angekündigt wurden dann Maßnahmen wie Mitarbeiterbewertungen mittels KI, Auslagern von Arbeit an KI, die bisher von Unterauftragnehmern erledigt wurde, und so weiter. Die Reaktion auf diese Pläne folgte sofort: Langjährige Nutzer*innen beendeten ihre mühsam aufrechterhaltenen Streaks öffentlichkeitswirksam in den sozialen Netzwerken, in denen Duolingo eigentlich gut positioniert war. Die kostenpflichtigen Abos gingen zurück und am Ende konnte sich von Ahn gar nicht so genau erklären, wieso dieser Backlash jetzt genau entstand. Der Flow, der zu positiver Rückkopplung führt, kann auch genauso schnell wieder abrupt stoppen und die ganze Herde zum Stillstand bringen.

Aber vielleicht war „AI-first“ zumindest ja finanziell erfolgreich? Ja und Nein.

Herden marodierender Investments

Aktienmärkte und Investoren sind eine weitere seltsame Herde von Menschen, die oftmals eher impulsiv reagieren. Aktien steigen oft durch positive Rückkopplungseffekte noch weiter. Ist die generelle wirtschaftliche Lage gut, wird auf die vermeintlich richtigen Trends in der Zukunft gesetzt oder gibt es politisch gute Signale, wird der eigene wirtschaftliche Erfolg noch einmal weiter gesteigert. Ist die generelle wirtschaftliche Lage schlecht und erweisen sich die vermeintlich bislang als richtig angenommenen Trends als nicht so profitabel, geht es schnell nach unten.

In den vergangenen Jahren war KI der Indikator für eine gute wirtschaftliche Zukunftsaussicht. Trotz des Kanons von Problemen, in den ich jetzt routinemäßig einstimmen möchte: große Probleme wie Bias, digitaler Kolonialismus, immenser Ressourcen- und Energieverbrauch, hohe Machtkonzentration, ungehemmter Datenkonsum, Wegbereitung des Faschismus, Plagiarismus und Desinformation.

Da der Aktienmarkt aber selten eine besonders hohe Moral oder Bedenken diesbezüglich hat, ist das oftmals einerlei. Herden marodierender Investor-Konsortien oder eine ganze Kaste von Manager*innen, die sich von ihrem eigentlichen Produktsinn und dem damit entstehenden Wert immer weiter entfremden, sehen ihren Erfolg ja oftmals in kurz- bis mittelfristigen Quartalszahlen, nicht in der Schaffung von langfristigen Werten. Der Markt sah es in den letzten Jahren als unabdingbar an, KI in quasi jegliches Produkt zu integrieren, unabhängig davon, ob das irgendwie sinnvoll ist.

Kurzfristige Gefühlswallungen von vermeintlich erwachsenen Menschen, die mit sehr viel Geld die Ausrichtung des Wirtschaftssystems beeinflussen können, führen zu „AI-first“-Entscheidungen, die vor allem Menschen schaden. Einerseits durch Jobabbau, andererseits durch instabile, schädliche digitale Produkte. Chatbots, deren auch wirtschaftlich motivierte, besonders menschliche Anmutung Menschen in Psychosen oder den Suizid treiben. Immer weiter fortschreitende KI‑sierung der Bildung, die letztlich zu weniger kritischem Denken und Hirnaktivität führt.

Weil das aber oftmals wirtschaftlich noch nicht reicht, sich auch über solche moralischen Probleme hinwegzusetzen, braucht KI im Unternehmensumfeld heutzutage teils sehr spezielle Incentivierung. Wenn die Herde nicht von alleine läuft, muss sie getrieben werden. Ethan Marcotte listet in seinem Beitrag über KI als gescheiterte Technologie einige dieser Beispiele auf. Tech-Unternehmen wie Zapier, Shopify oder Microsoft, die KI auf Unternehmensebene mit teils absurden Maßnahmen durchdrücken (müssen).

Plop?

Gegen Ende dieser Kolumne ist es damit Zeit, die von KI-Enthusiasmus angesteckte Herde wieder einzuhegen.

Nun gibt es speziell in Europa immer noch Politiker*innen und Unternehmen, die der Herde von marodierenden Investments hinterherlaufen. Weil sie immer noch das Gefühl haben, den Anschluss zu verpassen. Da ist die Bundesregierung, die in der vergangenen Woche die Hightech-Agenda hyped, ein Digitalminister, der noch von Superintelligenz fabuliert bei der Eröffnung des ersten größeren KI-Rechenzentrums in München.

Dabei sind die Zeichen für ein Platzen der KI-Blase gerade durchaus häufiger zu finden. In Wirtschaftsnachrichten wird schon mal durchgedacht und gerechnet [€], was passiert, wenn. Ehemals angesehene Digitalexperten bringen schon mal die Schäfchen ins Trockene [€]. Parallelen zum Dotcom-Hype werden skizziert. Weil die erhofften immensen Renditen nicht so wirklich zu machen sind.

Entlassungen von AI-first-Unternehmen werden still und leise teilweise wieder zurückgenommen, oftmals aber dann mit neuen Mitarbeitenden zu schlechteren Löhnen anderswo. KI in der heutigen Form ist nichts anderes als eine andere Form der Unterdrückung der Mitarbeitenden, ein Mittel, um niedrigere Löhne durchzusetzen.

Sei ein Esel

Im Umgang mit Technologie, Digitalisierung und vermeintlicher Innovation brauchen wir dabei nicht hinter den anderen aufgescheuchten Innovationsherdentieren ohne eigenen Plan hinterherzulaufen, sondern vielleicht ein besseres Wappentier: den Esel.

Esel werden oftmals als störrisch und stur wahrgenommen, weil sie nicht sofort auf Anweisungen hören. Dabei sind Esel Tiere mit hoher Intelligenz und hohem Bewusstsein. Auch wenn Esel und Pferde beides Fluchttiere sind, reagieren sie in Gefahrensituationen jeweils anders. Im Moment der Gefahr bleibt der Esel erst mal stehen und analysiert die Situation, er läuft nicht einfach wild weg oder hinterher.

Ein einfacher Esel hat damit mehr Bewusstsein als jede noch so komplexe und teure KI, die in der heutigen Form ohnehin nie Bewusstsein erreichen wird. Ein einfacher Esel hat damit mehr Bewusstsein als die geradezu schreckhaft reagierende Geschäfts- und Aktienhandelswelt, die wild der Gefahr von verpassten zweifelhaften Chancen hinterherläuft. Zu gegebener Zeit ist es besser, eher wie ein Esel zu sein und dementsprechend zu handeln.

Was uns Menschen aber vom Esel hoffentlich noch weiter positiv abhebt: dass wir uns als Menschen gemeinsam für etwas Sinnvolles einsetzen können. Zum Schluss möchte ich auf Mike Monteiros Talk How to draw an orange verweisen. In einer zutiefst menschlichen und herzlichen Perspektive erinnert er uns daran, dass KI und technische Veränderungen zum Nachteil der Menschen keine unausweichliche Kraft sind, keine Stampede, bei der wir mitfliehen müssen. Es ist keine Kraft, vor der wir nicht ausweichen können. Wir können uns als Gruppe gegen Strukturen und Technologien gegen Menschen stellen, weil wir das schon mal in der Geschichte der Menschheit getan haben. Auch wenn es manchmal erst einmal schlimmer werden muss, damit Menschen sich aufraffen und sich der Unsinnigkeit des eigenen Handelns bewusst werden.

Manchmal ist es besser, ein Esel zu sein.