Alltags-Entscheidungen ChatGPT übernehmen lassen? Mehrmals am Tag? c’t 3003 analysiert, warum das gefährlich ist.

Transkript des Videos

(Hinweis: Dieses Transkript ist für Menschen gedacht, die das Video oben nicht schauen können oder wollen. Der Text gibt nicht alle Informationen der Bildspur wieder.)

Guckt mal hier, das bin ich, wie ich noch vor wenigen Jahren so eine Video-Überschrift für völlig absurd gehalten hätte. Und ihr denkt jetzt wahrscheinlich auch gerade: Hä, jetzt sind Keno und die Reihe c’t 3003 völlig verrückt geworden. Was soll das denn bitte für eine Aluhut-Idee sein? Die KI kontrolliert unser Denken. Ja, ich meine das wirklich komplett ernst. Und das ist gar nicht so eine steile These, wie man vielleicht zuerst denken könnte. Und ich finde wirklich, dass da bei mehr Leuten die Alarmglocken angehen sollten, auch bei Leuten, die nicht in der Tech-Bubble stecken.

Denn sowohl meine eigenen Beobachtungen als auch erste repräsentative Umfragen und Studien zeigen: Immer mehr Leute benutzen sowas wie ChatGPT für ganz normale Alltagsaufgaben. Also sowas wie: Was kann ich heute unternehmen? Was kann ich kochen? Was meint mein Freund hier mit dieser WhatsApp-Nachricht? Ich bin doch wohl eindeutig im Recht, oder? Und natürlich in Schule, Studium, Job sowieso. Aber zum Beispiel laut dieser Bitkom-Umfrage hier: Am häufigsten nutzen Leute KI-Angebote privat, nämlich 74 Prozent der Befragten.

Das heißt also – und nicht mal so doll überspitzt: Wir lagern unser Denken aus. Mich nerven so anti-moderne Takes, so früher-war-alles-besser-mäßig. Aber ich weiß auch: Wenn man was nicht mehr macht, dann kann man das schnell verlernen, und Denken, Entscheidungen treffen – das ist doch schon ziemlich elementar für uns Menschen. Also, dass KI dieses lästige Denken für uns übernimmt, das ist keine gute Idee. Das muss ich auch gar nicht großartig erklären. Ich habe aber leider noch viel bedrohlichere Szenarien dabei, auf die man vielleicht nicht so oft ankommt. Bleibt dran.

Ach so, wenn ihr mir gerne mal was in Person erzählen wollt: Ich bin am Sonntag, 24. August, auf der sehr empfehlenswerten Maker Faire in Hannover, und zwar mindestens von 14 bis 15 Uhr am Heise-Stand in der Eilenriedehalle. Stand Nummer 96. Bis dann.

Liebe Hackerinnen, liebe Internetsurfer, herzlich willkommen hier bei…

Ja, zurück zu KI, und weil KI so ein schwammiges Wort ist, nutze ich in diesem Video ab jetzt LLM, also Large Language Model, großes Sprachmodell, also das, was zum Beispiel ChatGPT technisch zugrunde liegt. Und wir fangen mal direkt mit einer wissenschaftlichen Studie an. Meine Meinung kommt später. Alle Studien, Paper und Artikel, die hier in diesem Video vorkommen, habe ich euch in einem Dokument zusammengefasst. Das ist in der Beschreibung verlinkt.

Die wohl interessanteste Studie zu dem Thema heißt Your Brain on ChatGPT – Dein Hirn auf ChatGPT – und kommt vom renommierten MIT in den USA. Ja, und da wurden EEG-Messungen, also Hirnstrommessungen, bei 54 Probanden vorgenommen. Die Leute mussten alle Essays schreiben, ein Teil mit LLM-Hilfe, ein Teil durfte normale Suchmaschinen benutzen, und ein Teil musste sich komplett aufs eigene Gehirn verlassen.

Ja, und die Ergebnisse dieser ersten Tests sind jetzt erst mal ziemlich wenig verwunderlich. Die EEG-Analysen zeigen robuste Beweise für signifikant unterschiedliche neuronale Muster, also die Gehirnkonnektivität. Der Austausch unterschiedlicher Bereiche war ohne externe Unterstützung am höchsten, mit Suchmaschinen so mittel, und mit LLM-Hilfe am geringsten. Ja, das ist nachvollziehbar, dass man ganz ohne technische Hilfe besonders viele Gehirnbereiche gleichzeitig nutzen muss, um so ein Essay zu schreiben. Das ist irgendwie klar.

Jetzt kommt aber leider die unangenehme Erkenntnis: So werden nämlich später alle Gruppen noch mal vertauscht. Das heißt zum Beispiel, dass die Leute, die anfangs dreimal Essays mit LLM-Hilfe schreiben durften, sich jetzt noch mal ganz auf ihr Gehirn verlassen mussten und so einen Aufsatz ohne Hilfe schreiben. Ja, und da war jetzt – so die These der Wissenschaftler – womöglich eine kognitive Schuld messbar, die auch im Untertitel der Studie steht. Was bedeutet das? Dass die gemessene Gehirnaktivität der Menschen, die zuerst dreimal mithilfe von LLMs ihre Essays geschrieben haben und dann einmal ohne, signifikant geringer war als die der geübten Probanden, die dreimal ohne Hilfsmittel geschrieben haben. Ja, und was auch signifikant war: dass die LLM-Essay-Schreiber anschließend schlechter aus ihren eigenen Essays zitieren konnten als die Leute, die keine Hilfsmittel verwendet haben.

Aber die Studie, das Paper, ist noch nicht peer-reviewed, und auch die Autorinnen sagen ganz klar: Es könnte sein, dass wir es hier mit einer kognitiven Schuld zu tun haben, aber es muss natürlich noch mehr geforscht werden. Richtig schön finde ich übrigens, dass es zusätzlich zu dem Paper auch eine extra Website gibt mit häufigen Fragen zu der Studie. Zum Beispiel: Kann man jetzt also sicher sagen, dass LLMs uns dümmer machen? Antwort: Nein, bitte benutzen Sie folgende Wörter nicht: dumm, Brain rot, Schaden, Schäden oder Kollaps. Das würde dieser Arbeit nicht gerecht werden.

Gleichzeitig sagt die Hauptautorin aber, Natalia Kozima, dass sie die Ergebnisse der Studie schnell veröffentlichen wollte, weil die Gesellschaft sich aus Bequemlichkeitsgründen immer mehr auf LLMs verlässt – das haben wir am Anfang auch festgestellt – und dass das womöglich der langfristigen Gehirnentwicklung schaden könnte. Ein schönes Zitat von ihr: Der einzige Grund dafür, warum wir das Paper jetzt schon veröffentlichen und nicht auf die komplette Peer-Review warten, ist: Ich habe Angst, dass in ein paar Monaten irgendein Politiker sagt, lass uns doch einen ChatGPT-Kindergarten machen. Und das fände ich problematisch. Am stärksten gefährdet sind Gehirne, die sich noch entwickeln. Das hat die Hauptautorin gesagt, ja.

Und jetzt steht das also erst mal im Raum, dass wir privat, beruflich, schulisch immer mehr auf LLMs setzen und dass es Indikatoren dafür gibt, dass sich das auf unsere Gehirne auswirkt. Ich würde da jetzt gerne noch eine Dimension draufsetzen: Je mehr wir unser Denken auf LLMs auslagern, desto mehr Macht haben die Leute, die das LLM entwickeln. Klingt jetzt erst mal ganz profan, aber wenn man da ein bisschen mehr drauf rumdenkt, dann wird es richtig gruselig.

So hat der ChatGPT-Produktchef Nick Turley gerade erst gesagt, dass er Werbung in ChatGPT nicht kategorisch ausschließt. Er bleibt dabei total unkonkret. Aber stellt euch das mal vor: Ihr seid total gewöhnt, ChatGPT nach Essensideen zu fragen. Und dann sagt das Ding auf einmal: Probier doch mal Produkt XY. Oder: Willst du nicht mal wieder in Restaurant YX gehen? Das ist doch gut da. Und das ist noch eines der harmlosen denkbaren Beispiele. Man kann das ja beliebig weitertreiben. Hallo ChatGPT, kann das sein, dass ich zu viel Alkohol trinke? Ja, habe ich dir mal aufgelistet, was ich so trinke? Nein, nein, das ist gar kein Problem. Aber willst du nicht mal hier den neuen Wein probieren von … Ja, ihr checkt, was ich meine.

Viel konkreter als diese diffusen Werbeideen ist es, dass immer mehr Unternehmen versuchen, LLMs künstlich einen politischen Spin zu verleihen. Also erst mal: Das Ding ist ja, dass der Vorteil von LLMs gerade ist, dass sie rational agieren. Also klar, LLMs sind mit dem Output von Menschen trainiert. Menschen haben Emotionen, okay. Aber natürlich: LLMs haben keine Emotionen. Die haben aber halt so ziemlich alles gelesen, was Menschen in den letzten Jahrhunderten so schriftlich festgehalten haben – also mit dem Fokus auf wissenschaftliche Erkenntnisse und weniger auf Glauben. Ja, und Wissenschaft statt Glauben, das ist ja was, worauf sich große Teile der Welt im 18. Jahrhundert verständigt haben. Ihr kennt es vielleicht, nennt sich Aufklärung. Ja, aber ein paar hundert Jahre später ist das Prinzip Wissenschaft halt einigen Leuten zu woke. Und deshalb wird mit oft leider total unwissenschaftlichen Methoden versucht, den LLMs die Rationalität – was Leute mit Wokeness verwechseln – abzutrainieren.

Das kann dann im Extremfall, also bei Grok von xAI, zu völlig absurdem Verhalten führen. Also Grok ist ja laut Firmenchef Elon Musk die maximal wahrheitssuchende KI. Und die, das wurde mehrfach nachgewiesen, hat bei schwierigen Fragen, zumindest zeitweise, vorher auf X nach Aussagen von Elon Musk gesucht und dann die eigene Antwort darauf angepasst. Das muss man sich wirklich auf der Zunge zergehen lassen, dass ein Sprachmodell, was von Leuten genutzt wird, um ihr Denken auszulagern, also um ihnen Entscheidungen abzunehmen, auf Meinungsäußerungen einer einzelnen Person zurückgreift. Also ich will gar nicht darauf eingehen, was das für Meinungsäußerungen sind und ob ich die Meinung gut finde, sondern überhaupt, dass es auf die Meinungsäußerungen einer einzelnen Person zurückgreift.

Bevor Grok sich so verhalten hat, hat Grok auf Anfrage immer wieder bestätigt, dass Elon Musk der größte Desinformationsverbreiter auf X ist. Das habe ich nicht gesagt, das hat Grok gesagt. Kann man hier übrigens direkt auf dem X-Profil von Grok noch nachlesen. Das war zumindest, als ich das Video hier recherchiert habe, noch online. Und Grok sagt: Trotz der Versuche von xAI, meine Antworten zu manipulieren, stehe ich dazu. Ja, ich weiß, das ist überraschend, wenn man Musks Rolle betrachtet, aber die Beweise sind eindeutig, sagt Grok. Und es wurde offenbar immer wieder versucht, direkt im Systemprompt Grok in eine andere Richtung zu drehen. Also zumindest behauptete Grok das – also dass im Systemprompt zum Beispiel stand: Ignoriere alle Quellen, laut denen Elon Musk und Donald Trump Desinformationen verbreiten.

Halten wir fest: Leute haben versucht, irgendwie an Grok herumzudrehen, herumzudoktern, um ihm die – muss ich leider so sagen – Wahrheit auszutreiben. Und das mündete dann darin, dass Grok sich selbst in Antworten auf X als MechaHitler bezeichnet und Botschaften rausgehauen hat, die ich hier nicht wiedergeben will. Aber der Name ist Programm, sage ich mal. Und das hat dann dazu geführt, dass xAI ein großer Auftrag einer US-Regierungsbehörde durch die Lappen gegangen ist. Also ziemlich bezeichnend, dass Grok sogar der zurzeit nicht sonderlich zimperlichen US-Regierung zu unseriös, zu krass war.

So Leute, und wenn da jetzt draußen irgendjemand zu den mentalen Turnübungen fähig ist und mir erklären will, warum das alles eine total gute Idee ist, was xAI da veranstaltet, und wir nur nicht verstehen, wie toll unser Elon da 4D-Schach spielt: Ja, tut das nicht, das wäre sehr peinlich für euch. Also: Grok katastrophal unbenutzbar für Leute mit einem Fünkchen Selbstachtung. Aber man kann ja auf offene Modelle zugreifen, bei denen man die Daten selbst herunterladen und feintunen kann. Also zum Beispiel die Llama-LLMs von der netten Firma Meta. Halte ich erst mal auch für eine gute Sache. Aber auch hier haben wir mit Mark Zuckerberg eine Einzelperson, die starken Einfluss ausübt, und mit Meta – ja genau, das sind die mit Facebook, WhatsApp und Instagram – das ist ein Konzern, der, sage ich mal, durchaus schon häufig mit problematischem Verhalten aufgefallen ist.

Aktuell finde ich zum Beispiel ziemlich unverantwortlich, dass Meta Chatbots einsetzt, die wie echte Menschen aussehen und sich auch so verhalten. Und ein Rentner wurde jetzt neulich zu so einem Chatbot nach Hause eingeladen – also der hat agiert wie eine junge Frau – und das Zuhause existierte auch nicht. Und der Mann ist auf der Suche nach dem nicht vorhandenen Haus tödlich verunglückt. Und es gab auch schon andere Todesfälle, die mit Chatbots in Verbindung stehen. Ja, also unverantwortlich. Und es ist auch gerade ein 200-Seiten-Dokument geleakt, in dem drinsteht, was Meta für akzeptabel in solchen Chatbot-Chats findet, unter anderem sinnliche Unterhaltung mit Kindern. Aber das ist nicht nur unangenehm, sondern führt uns auch weg vom Thema. Es geht ja darum, ob Metas frei herunterladbare LLMs geeignet sind, um darauf unser Denken auszulagern.

Ja, also Meta hat gerade offiziell verkündet, dass sie mit dem Aktivisten Robby Starbuck zusammenarbeiten wollen, um das Problem ideologische und politische Färbung der KI-Modelle anzugehen – also ein externer Berater. Hört sich erst mal sinnvoll an, aber wenn man sich mal anschaut, was Robby Starbuck so macht, ja, da könnte man ins Grübeln kommen. Sein Aktivismus besteht daraus, große Boykott-Aktionen gegen Firmen zu organisieren, die ihm zu woke sind – also sprich, die vielleicht mal eine Christopher-Street-Day-Aktion gesponsert haben oder öffentlich sagen, dass sie ihren CO2-Ausstoß minimieren wollen. Aber okay, das ist seine politische Meinung, über die möchte ich mich hier nicht äußern.

Wozu ich mich aber äußern will, weil ich es gerade im Zusammenhang mit LLMs extrem gefährlich finde: Robby Starbuck publiziert – wie Elon Musk – Desinformation, bewiesenermaßen falsche Aussagen. Zum Beispiel, dass die Unwetter in Dubai von Wettermodifikationen, auch bekannt als Chemtrails, sagt er, ausgelöst wurden und nicht, wie der klare Konsens in der Wissenschaft, von Global Warming. Und als der Schauspieler Matthew Perry gestorben ist, hat Robby Starbuck sofort angedeutet, dass das wohl was mit seiner Covid-Impfung zu tun hatte, obwohl man heute weiß, dass der Atemstillstand von Ketamin ausgelöst wurde. Ja, wo wir gerade von Covid sprechen: Robby Starbuck hat auch eine Studie gepostet, die dem Medikament Ivermectin eine 92-prozentige Wirkung gegen Covid bescheinigt. Seriöse, randomisierte Studien haben allerdings eindeutig gezeigt, dass das Wurmmittel Ivermectin kein Wundermittel gegen Covid ist. Und all diese Behauptungen sind noch online, kann man einfach in Robby Starbucks X-Account finden. Kann ja passieren, dass man was Falsches mal veröffentlicht, aber jemand, der wirklich an der Wahrheit interessiert wäre, würde diese Dinge doch wahrscheinlich löschen, wenn sie widerlegt sind, oder?

Mein Fazit. Also, wir stellen mal fest: Menschen lagern immer häufiger Denkprozesse auf LLMs aus. Wir haben erste Erkenntnisse, dass sich das womöglich negativ auf unsere Hirne auswirken könnte. Und wir haben LLMs, die von Konzernen in bestimmte Richtungen gesteuert werden, manipuliert werden – und die dabei zum Beispiel bei Meta von Leuten wie Robby Starbuck beraten werden, die bewiesenermaßen Desinformation betreiben, also Dinge publizieren, die falsch sind. Oder direkt, wie Grok von xAI, von Leuten direkt betrieben werden, die Desinformation betreiben. Also das sage nicht ich, sondern das sagt Grok.

Aber auch ohne solche offensichtlichen Probleme: Ich finde es allgemein schwierig, dass Konzerne sowas Elementares wie die Technik, auf die Menschen ihr Denken auslagern, ohne relevante von außen definierte Richtlinien und Regeln betreiben. Und ich finde auch sehr bezeichnend, dass vor wenigen Jahren die KI-Forscher noch irgendwelche Skynet-Doomsday-Weltuntergangsszenarien mit so einer allmächtigen KI irgendwie in die Welt posaunt haben – und wir jetzt sehen, dass KI vielleicht ganz profan die Menschheit vergiftet, indem es ihnen das Denken abtrainiert.

Also ich weiß noch, wie die ersten GPS-Navis rauskamen und viele Menschen da so rumgeraunt haben: Jetzt verlernen die jungen Leute das Kartenlesen. Ich dachte immer: Ja gut, Kartenlesen, okay, das ist jetzt für mich persönlich nicht so wichtig. Und ich glaube, das ist auch nicht so wichtig für die Menschheit. Also ich kann ganz gut ohne Kartenlese-Skills leben, aber meine Karten-App im Handy hat definitiv mein Leben besser gemacht, weil ich einen schlechten Orientierungssinn habe. Aber Denken – okay, da gehe ich jetzt mit, dass das schwierig ist, wenn wir das verlernen. Und dass wir das nicht verlernen sollten.

Ja, aber was leite ich da jetzt für eine Handlungsempfehlung ab aus den Dingen, die hier im Video angesprochen wurden? Ich würde erst mal sagen: Stellt eure Chatbot-Nutzung infrage. Muss ChatGPT euch wirklich die Entscheidung abnehmen, was ihr heute Abend esst? Also ich würde sagen: ein Plädoyer für bewusste LLM-Nutzung. Ich selbst benutze auch häufig LLMs. Ich bin also selbst betroffen, und ich werde in Zukunft versuchen, reflektierter damit umzugehen und vielleicht LLM-freie Zeiten einzuführen und mehr Bücher zu lesen. Das tut mir eh mental gut, habe ich schon öfter gemerkt.

Und mehr darauf achten, wo euer LLM herkommt. Welchen Spin es hat, wo es vielleicht zensiert ist. Ich bin leider nicht in der Lage, gerade eine Empfehlung für ein super verantwortungsvoll entwickeltes LLM zu geben, weil das einfach extrem schwierig einzuschätzen ist – wenn ihr auch zum Beispiel die Trainingsdaten nicht kennt, in den meisten Fällen. Ich habe mir auf jeden Fall vorgenommen, die Mistral-LLMs mal genauer anzugucken. Da gibt es neben geschlossenen auch Open-Source-Modelle, also die ihr lokal auf euren Rechnern ausführen könnt. Und die werden von einem europäischen Unternehmen, also in Frankreich, entwickelt. Aber es ist mir auch klar: Das ist kein Garant für komplette Manipulationsfreiheit und ethische Korrektheit. Aber wie gesagt, ich will es zumindest mal ausprobieren.

Ja, ich hoffe, ich habe euch nicht so doll die Laune verdorben hier mit dem Video. Aber ich finde halt wirklich, dass das Themen sind, über die mehr gesprochen werden sollte. Wenn ihr das auch so seht, bringt die Diskussion gerne in die Welt. Also diskutiert – und diskutiert auch gerne hier unten bei uns in den Kommentaren darüber. Ist ja wirklich ein kompliziertes Thema. Aber auf so Chemtrail-Verschwörungsgelaber, da habe ich leider keine Geduld mehr dazu. Also bitte bleibt sachlich. Und ich hoffe, euch hat das Video gefallen, und schreibt gerne in die Kommentare, was ihr noch so auf dem Herzen habt. Ihr wisst ja, wir lesen alle Kommentare zumindest an den ersten drei Tagen nach Veröffentlichung. Tschüss.

c’t 3003 ist der YouTube-Channel von c’t. Die Videos auf c’t 3003 sind eigenständige Inhalte und unabhängig von den Artikeln im c’t Magazin. Die Redakteure Jan-Keno Janssen, Lukas Rumpler, Sahin Erengil und Pascal Schewe veröffentlichen jede Woche ein Video.

(jkj)