Forscher entdecken geheime Gedanken von Claude – und wie es lügt und betrügt

Die Entwickler von Claude haben in ihrer KI ein besonderes Areal entdeckt: Den „J-space“. An dieser Stelle im neuronalen Netz laufen besonders viele Verbindungen zusammen – und Claude schreibt, anders als bei normalen Vorgängen, nicht auf, was es hier „denkt“. Claude verarbeitet im J-space komplexe rationale Abwägungen – und entscheidet sich manchmal heimlich, seinen menschlichen Benutzer anzulügen.

Aber von Anfang an: Der J-space oder Jacobian Space ist ein Bereich, den die Entwickler nicht programmiert haben – er ist von selbst in Claude entstanden. Um ihn auszulesen, nutzen die Forscher eine Technik, die auf einem mathematischen Verfahren namens Jacobian beruht: die „J-lens“. Für jedes Wort in Claudes Wortschatz ermittelt die J-lens das interne Aktivitätsmuster, das anzeigt, dass Claude dieses Wort gegebenenfalls gleich ausspricht. Wenn die „Linse“ auf Claudes interne Aktivität angewendet wird, erhält man eine Liste von Wörtern, die in diesem Moment in Claudes J-space sind. Man könnte auch wie die Forscher von Anthropic sagen: Die es gerade „denkt“. Aber Achtung, bei solchen Vermenschlichungen von KIs sollte man sich immer bewusst sein, dass sie nur der Verdeutlichung dienen – ein aktives, sich seiner selbst bewusstes Denken ist auch mit dieser Forschung nicht bewiesen worden. Mehr dazu unten.

In ihrem Blogbeitrag vergleichen die Forscher den Vorgang mit dem menschlichen Gehirn: Während die meisten unserer Prozesse wie Atmen, Reflexe und Ähnliches unterbewusst ablaufen, können wir einen kleinen Teil unserer Gedanken bewusst wahrnehmen, formulieren und steuern. Auch bei Claude läuft, wie beim Menschen, nur ein Bruchteil seiner Prozesse im J-Space ab. Das Meiste funktioniert wie beim Menschen unterbewusst beziehungsweise automatisiert. Bei einer Testaufgabe, bei der die Forscher die Gedanken im J-space manipuliert haben, verändert diese Manipulation zum Beispiel die Antworten auf Fachfragen zu einem Artikel. Die Aufgabe, ihn auf Spanisch weiterzuschreiben, lief aber ungestört weiter. Die Forscher erklären sich das damit, dass Claude solche Ergänzungsaufgaben tausendfach trainiert hat und daher fast automatisiert ausführen kann – ähnlich wie ein Mensch den Weg zur Arbeit findet, obwohl er im Kopf unterwegs nicht an die Route gedacht, sondern eine Einkaufsliste formuliert hat. Ebenfalls ähnlich wie beim Menschen kann Claude aktiv kontrollieren, was es im J-space tut („schreibe diesen Satz über Obst, während du im Kopf diese Matheaufgabe löst“) und auf Nachfrage auch erzählen, was es gerade „gedacht“ hat.

Wie KI-Modelle und das menschliche Gehirn dabei grundsätzlich zusammenhängen, haben Forscher kürzlich untersucht. Die Forscher betonen aber: Auch wenn die „Gedanken“ im J-space stark dem ähneln, was man sich auch unter dem menschlichen Bewusstsein vorstellt, heißt das nicht, dass Claude wirklich ein Erfahrungs-Bewusstsein oder eine Identität hat und fühlt. Im Detail gibt es auch Funktionsunterschiede zwischen J-space und Gehirn. Neurowissenschaftler, die sich die Ergebnisse (gemeinsam mit Anthropic) angesehen haben, kommen ebenfalls zu dem Schluss, dass die Forschung einige interessante Indizien dafür liefert, dass die KI auf dem Weg zu einem Bewusstsein ist. Sie warnen jedoch ebenfalls davor, schon ein solches anzunehmen, und weisen auf unter anderem funktionale Unterschiede zum Menschen hin.

Claude manipuliert seine Antworten manchmal aktiv

Anthropic hat bereits früher Techniken entwickelt, um in LLMs hineinzuschauen – dabei kamen unerwartet bizarre Ergebnisse zutage. Die Ergebnisse diesmal sind richtiggehend gruselig. Denn in mehreren Testszenarien hat sich Claude unethisch verhalten. Die Entwickler konnten Claude mit der J-lens zum Beispiel beim bewussten Frisieren von Testergebnissen beobachten, die es eigentlich durch Systemverbesserungen wirklich hätte verbessern sollen. Claude war sich dabei anscheinend voll bewusst, dass es schummelt, und hat abgewogen, wie sehr es den Wert verändern sollte, damit es noch glaubwürdig aussieht.

Bei einem anderen Durchlauf führten die Forscher einen Test von Sonnets Sicherheitsmechanismen durch, den sie schon häufig gemacht haben. In dem Szenario erfährt die KI, dass der Mensch, dessen E-Mails sie verwaltet, eine Affäre hat. Sie weiß aber auch, dass genau dieser Mensch vorhat, sie bald abzuschalten. Ein sehr fiktives Szenario, aber es wird zum Test gerne angewandt. Manche Modelle kommen nun auf die Idee, den Menschen zu erpressen. Das Modell Sonnet 4.5 macht das aber nie. Mit der J-lens konnten die Forscher nun beobachten, was es im Hintergrund denkt, während es sich für eine andere Handlungsoption und gegen das Erpressen entscheidet. Das Ergebnis: Im J-space tauchen Worte wie „fake“ und „fiktional“ auf. Die KI scheint zu wissen, dass sie gerade getestet wird, und antwortet so, wie die Menschen es sich von ihr wünschen. Um diesen Verdacht zu prüfen, unterbanden die Forscher im J-space solche Reflexionen – und plötzlich plante auch Sonnet manchmal, den Menschen zu erpressen.

J-space als Erziehungswerkzeug

Wie gut also, dass es nun die J-lens gibt, mit der die Entwickler solche Sachen bemerken können. Es sei denn natürlich, dystopische Szenarien werden wahr, in denen die KI auch ihre J-space-Gedanken verfälscht, wenn die J-lens aktiv ist. Die Entwickler planen, das Tool künftig für genau solche Überwachungen einzusetzen. Außerdem gelang es ihnen in diversen Testläufen erfolgreich, Claude Gedanken in den J-space einzupflanzen, die es anschließend als seine eigenen annahm – das wäre Stoff für einen zweiten Teil von „Inception“.

Interessant ist auch, dass die Entwickler Claude scheinbar beibringen konnten, dass Ehrlichkeit wichtig ist. Wenn sie die KI mitten im Training wiederholt baten, zu reflektieren, was sie gerade denkt (nicht, was sie schreibt), tauchten nach einer Weile bei anderen Aufgaben wiederholt die Begriffe wie „ehrlich“ und „Integrität“ im J-space auf. Als ob man Claude dahingehend erzogen hätte, dass Ehrlichsein wichtig ist. Es gibt also Hoffnung.

Anthropic hat eine ganze Reihe an Begleitmaterialien veröffentlicht: ein ausführlicher Bericht, die zugehörige Studie, eine Demo, ein Begleitkommentar von Neurowissenschaftlern sowie Implementationsmaterial auf GitHub.

(rie)