LinkedIn ist einer Untersuchung von Pangram zufolge die Social-Media-Plattform mit dem höchsten Anteil KI-generierter Texte. Besonders ausgeprägt ist das bei längeren Beiträgen: Mehr als 40 Prozent der längeren Posts wurden vom Erkennungssystem des Anbieters als vollständig KI-generiert eingestuft. Obwohl LinkedIn nur rund ein Drittel der analysierten Beiträge ausmachte, entfielen fast zwei Drittel aller als KI-generiert erkannten Inhalte auf die Karriereplattform.

Für die Auswertung analysierte Pangram gut eine Million Beiträge, die Nutzer der Pangram-Chrome-Erweiterung zwischen April und Juli 2026 freiwillig zur Verfügung gestellt hatten. Berücksichtigt wurden Beiträge mit mindestens 50 Wörtern auf LinkedIn, Reddit, X, Medium und Substack. Wie bei allen Verfahren zur Erkennung KI-generierter Texte gilt allerdings: Ihre Zuverlässigkeit ist umstritten. Pangram verweist zwar auf eine sehr niedrige Fehlalarmrate, eine unabhängige Überprüfung der Ergebnisse gibt es aber nicht.

KI-Unterstützung direkt beim Schreiben

Warum aber ist die Quote bei LinkedIn so viel höher? Zum einen integriert die Plattform anders als viele andere soziale Netzwerke generative KI inzwischen an mehreren Stellen nativ. Nutzer können sich zum Beispiel beim Formulieren von Profiltexten unterstützen lassen, Unternehmen können Inhalte für ihre Seiten erzeugen oder Beiträge überarbeiten lassen. Entsprechend niedrig ist die Einstiegshürde für KI-generierte Texte im Vergleich.

Hinzu kommt offenbar ein psychologischer Effekt. Die Forscher Mona Birjandi und Derya Oktay haben untersucht, wie generative KI die professionelle Selbstpräsentation auf LinkedIn erleichtert – und zwar deutlich, so das Ergebnis. Nach der Einführung von ChatGPT stieg die Zahl veröffentlichter Beiträge messbar an. KI eignet sich wohl besonders dazu, scheinbare Kompetenz sichtbar zu machen und persönliche Markenbildung zu betreiben, so die Autoren. Diese Art der Texte unterscheidet LinkedIn von Plattformen wie Reddit oder X. LinkedIn hat auf diese Situation aber inzwischen reagiert und angekündigt, KI-generierte Beiträge algorithmisch erkennen und im Feed herabstufen zu wollen.

Fachtexte statt Memes

Auch die Art der veröffentlichten Inhalte dürfte eine Rolle spielen. LinkedIn wird von längeren Fachbeiträgen geprägt – etwa zu Management, Karriere, Projekten oder Branchentrends. Solche Texte folgen häufig ähnlichen Strukturen und einem sachlich-professionellen Stil. Genau diese Textgattung können große Sprachmodelle besonders gut erzeugen oder überarbeiten.

Auf Plattformen wie Reddit oder X entstehen viele Beiträge hingegen im direkten Austausch mit anderen Nutzern. Humor, spontane Reaktionen, Insiderwissen oder der Bezug auf vorherige Kommentare spielen eine größere Rolle. Diese Formen lassen sich zwar ebenfalls mit KI erzeugen, wirken aber häufig weniger natürlich.

Feed-Algorithmus mag optimierte Beiträge

LinkedIn hat zudem im Gegensatz zu anderen Plattformen offengelegt, nach welchen Kriterien Beiträge im Feed bewertet werden. Wichtig ist nicht nur die Zahl der Likes oder Kommentare, sondern auch die sogenannte Dwell Time – also wie lange Nutzer einen Beitrag tatsächlich lesen. Hinzu kommen Signale zur fachlichen Relevanz und zur Wahrscheinlichkeit, dass ein Leser mit dem Beitrag interagiert.

Folglich ist es für Nutzer vergleichsweise einfach, Inhalte gezielt auf den Algorithmus zuzuschneiden. Große Sprachmodelle können Texte erzeugen, die typische Erfolgsmerkmale berücksichtigen: strukturierte Absätze, prägnante Überschriften, Aufzählungen oder persönliche Einleitungen. Inwiefern generative KI dann tatsächlich zu einer höheren Reichweite führt, ist zwar nicht belegt – bekannte Ranking-Kriterien führen aber trotzdem zu systematisch optimierten Inhalten.

Die Pangram-Auswertung deutet zudem darauf hin, dass generative KI auch über LinkedIn hinaus bevorzugt bei längeren Texten verwendet wird. Plattformübergreifend stufte die Analyse mehr als jeden vierten Beitrag mit mehr als 250 Wörtern als vollständig KI-generiert ein. Medium und X liegen wie LinkedIn über dem Durchschnitt, während Reddit und Substack deutlich darunter liegen. Bei kürzeren Beiträgen ist der GenAI-Anteil deutlich niedriger, wobei hier ebenfalls LinkedIn und Medium die Ausreißer nach oben darstellen – mit Reddit als Gegenpol.

(fo)

Agentische Systeme wie OpenClaw oder Hermes sind schwer angesagt; aber meist arbeiten diese mit Cloud-KI-Modellen — was nicht nur etliche Nachteile hat, sondern im beruflichen Umfeld sogar verboten sein kann. c’t 3003 hat deshalb ausprobiert, wie Hermes-Agent mit lokalen Modellen funktioniert, konkret mit Qwen 3.6 (Geschmacksrichtung 27B-UD-Q4_K_XL mit MTP).

Transkript des Videos

(Hinweis: Dieses Transkript ist für Menschen gedacht, die das Video oben nicht schauen können oder wollen. Der Text gibt nicht alle Informationen der Bildspur wieder.)

Guckt mal hier, obwohl ich mein Internet gerade komplett abgeklemmt habe, baut mir mein KI-Agent gerade ein Spiel. Das Ding läuft nämlich komplett lokal. Anthropic, OpenAI und Co. lesen meine Daten nicht mit, ätschi. Und das Ding kann auch meine Linux-Installation komplett bedienen. Also ich sage einfach, such mir mal im Netz irgendwo ein Bild mit irgendwie strickenden Oktopussen und richte mir das als Desktop-Hintergrund ein. Ja, zack, fertig. Ich kann aber auch noch viel tiefer ins System gehen und sagen, richte mir mal eine andere Desktop-Umgebung ein. Ich will Cosmic statt KDE, zack, fertig.

Und ihr sagt jetzt vielleicht, ja, das gibt’s doch schon lange. Und dann sage ich, ja, aber nicht in dieser Qualität. Komplett lokal auf bezahlbare Hardware. Wir sprechen hier von einem Modell, was auf meiner SSD weniger als 17 Gigabyte einnimmt. Ganz ehrlich, ich habe mir zwar immer gewünscht, dass lokale KI aufholt gegenüber den großen, teuren, energiehungrigen Cloud-Modellen, die ja auch einfach deaktiviert werden können. Schöne Grüße an Fable. Aber ich war auch immer noch ein bisschen skeptisch. Und jetzt habe ich hier bei mir die Kombination aus dem KI-Agenten Hermes und dem großen Sprachmodell Qwen 3.6 27B laufen und denke jetzt zum allerersten Mal, okay, das will ich so benutzen. Das macht sinnvolle Dinge. Und guck mal bitte, wie schnell das antwortet. Das ist Originalgeschwindigkeit.

Ich war zwischendurch so verwirrt von den Fähigkeiten, dass ich gedacht habe, nee, ich glaube, ich habe da doch was falsch konfiguriert. Jetzt zapft da doch ein Cloud-Modell an. Das kann doch nicht sein. Und ich habe dann wirklich das Internetkabel aus meinem Router gezogen. Und ja, es lief weiter. Also wirklich komplett lokal. Ja, und das ist für mich jetzt wirklich mal wieder ein revolutionärer Moment, weil das System wirklich das kann, was ich mir unter agentischer lokaler KI vorstelle. Hier auch mal schöne Grüße an die kommerziellen Betriebssystemhersteller. Alles hier im Video ist Open Source und das ist Lichtjahre von dem entfernt, was ihr so macht.

Ja, und leider habe ich später dann auch gemerkt, wo die Kompromisse sind, die man hier eingehen muss und wo der Haken ist. Bleibt dran.

Was ist Hermes-Agent?

Ja Leute, also zwei Sachen schreibt ihr uns ständig in die Kommentare. Macht doch mal was zu Hermes-Agent und macht doch bitte mal mehr über lokale KI-Modelle. Und ja, das machen wir jetzt und sogar beides in einem Video, in diesem hier nämlich. Und ich versuche jetzt mal wirklich alle von euch abzuholen, weil ich auch wirklich finde, dass das, was hier jetzt möglich ist, wirklich für alle relevant ist, die gerne mal einen Computer benutzen. Das Video ist so aufgebaut, dass es erstmal eher allgemein ist und dann zum Ende dann doch ein bisschen nerdig wird, weil das Thema lokale KI ist halt noch etwas fummelig, aber es lohnt sich auch wirklich.

Also erstmal ganz grob, was ist Hermes-Agent überhaupt? Ja, das ist ein KI-Agent und anders als ein Chatbot wie ChatGPT, das halt wirklich nur im Browser-Fenster lebt und mir da halt Text und vielleicht Bilder zurückgibt, kann so ein Agent selbst Dinge tun, also mir die komplette Computerbedienung abnehmen. Das heißt, ich kommuniziere mit dem Agenten in normaler Menschensprache, entweder per Kommandozeile oder auch per Sprachnachricht. Ich kann den nämlich auch an eine Messenger-App auf dem Smartphone ankoppeln und sage dem dann, was ich will oder was ich machen will und dann macht er das. Das können Programmierprojekte sein, zum Beispiel dieser Schneemann-Shooter hier, habe ich komplett ohne Cloud-Modell entwickeln lassen oder halt auch einfach Computer-Problemlösungen, wie zum Beispiel, ich kriege ComfyUI hier auf meiner AMD-Hardware nicht zum Laufen, installiere mir das mal bitte. Oder guck dir mal alle Bilder in diesem Ordner an und verschiebe alle YouTube-Thumbnails in Unterordner XY. Also alles, was ein Mensch so machen könnte, der Zugriff auf diesen Computer hat, auf dem Hermes-Agent läuft.

Am besten funktioniert das mit Dingen, die man im Terminal, also auf der Kommandozeile machen kann, also textbasiert. Mit grafischen Benutzeroberflächen und Websites kann Hermes-Agent auch arbeiten, aber bei Weitem nicht so gut. Agenten denken halt in Text und deshalb können sie am besten mit Text umgehen. Hermes-Agent läuft auf Linux, macOS und Windows und man kann es nicht nur auf der Kommandozeile verwenden, sondern es gibt auf Wunsch auch eine grafische Benutzeroberfläche, die sieht so aus. Ich habe im Rest dieses Videos Hermes aber über die Kommandozeile beziehungsweise über den Telegram-Messenger bedient.

Was unterscheidet Hermes von OpenClaw?

Falls euch das jetzt bekannt vorkommt, ja genau, das gilt auch alles für OpenClaw, der Hype-Software aus Österreich. Naja, jetzt USA, der Entwickler Peter Steinberger arbeitet ja inzwischen bei OpenAI. OpenClaw ist zwar offiziell kein OpenAI-Projekt und bleibt Open Source, aber naja, viele Leute sehen die Software seit Steinbergers OpenAI-Gang ein bisschen skeptisch. Ja, und deswegen jetzt Hermes-Agent, das ist eine Alternative, ist auch Open Source, gleiche Lizenz, MIT und man muss aber wirklich sagen, dass sich die beiden schon wirklich sehr, sehr ähneln.

Meine Erfahrung ist, Hermes arbeitet vielleicht ein bisschen autonomer, kriegt Sachen besser selbstständig hin. Bei OpenClaw muss man öfter hin und her gehen, also sowas wie, versuch’s bitte nochmal, so und so. Hermes ist da oft hartnäckiger und Hermes ist auch mehr auf Tokensparsamkeit optimiert. Tokens, das ist ja die kleinste Einheit, mit der große Sprachmodelle arbeiten, das sind quasi Silben. Und das Ding bei diesen Agenten ist halt, dass die hinter den Kulissen einfach mit riesigen Prompts arbeiten, also da steht dann halt ein riesiger Roman drin, was sie gerade alles beachten müssen. Und deshalb verbrauchen Agenten mies viel Tokens. Das ist gut für Unternehmen wie Anthropic und OpenAI, die halt Tokens verkaufen, ist nicht so gut für Leute, die Agenten benutzen und Tokens kaufen müssen. Deshalb ist es ja auch so cool, dass ich hier komplett lokal arbeiten kann. Ich bezahle also nur meine Hardware, meinen Strom, aber keine Tokens. Dazu später mehr.

Kurz mal technisch zum Unterschied zwischen Hermes und OpenClaw. Hermes verwendet intern am liebsten Python, um Sachen zu scripten, OpenClaw TypeScript. Das ist eine JavaScript-Geschmacksrichtung. Außerdem bezeichnet Hermes sich als permanent selbstverbessernd. Das heißt, dass es sich automatisch Sachen merkt, wenn es was gut hinbekommen hat, zum Beispiel wie man bestimmte Werkzeuge konkret aufruft und es baut auch selbst solche Werkzeuge selbstständig. Das kann OpenClaw auch, macht es aber laut meiner Erfahrung nicht ganz so zuverlässig. Also das kann sein, dass sich OpenClaw einen abbricht, zum Beispiel in meinem Heimnetzwerk irgendwie Inhalte auf meinen Fernseher zu bringen. Und wenn man das dann später noch mal versucht, dann fängt er manchmal wieder von vorne an, statt sich an die schon mal gefundene Lösung zu erinnern, was super nervig sein kann. Bei Hermes ist die Wahrscheinlichkeit höher, dass es sich gemerkt hat, wie mein Fernseher ansprechbar ist. Dafür hat OpenClaw aber mehr vorgefertigte Skills in der eigenen Claw-Hub-Datenbank. Hermes schreibt sich die Skills lieber selbst.

Und was auch ganz klar sichtbar ist, Hermes-Agent verhält sich technischer als OpenClaw. Also Hermes zeigt auch mal irgendwelche Terminal-Aufrufe im Messenger, während OpenClaw solche Sachen eher versteckt und versucht, einen Menschen zu cosplayen. Und OpenClaw ist als privates Hobby-Projekt gestartet, wo es halt null um Security und sowas ging. Das hat sich inzwischen auf jeden Fall verbessert, aber ganz klar, bei Hermes-Agent wurde Security von Anfang an mitgedacht, einfach weil es das neuere Projekt ist. Hinter Hermes steckt Nous Research aus New York. Die kommen aus der Kryptowelt und sind schon lange in der lokalen LLM-Szene aktiv, haben zum Beispiel unzensierte Modelle veröffentlicht. Das ist eine recht kleine Firma, also noch jedenfalls.

Wie haben wir Hermes getestet?

Okay, das erst mal vorab. Und wie genau habe ich Hermes-Agent jetzt getestet? Also natürlich habe ich das nicht auf einem Produktivsystem installiert, wo irgendwelche wichtigen Daten drauf sind. Hermes hat nämlich Zugriff aufs ganze System. Da können also Sachen kaputt gehen. Das Thema agentische Systeme ist ja auch noch ziemlich neu. Ich persönlich würde euch deshalb immer empfehlen, probiert das nur auf Systemen aus, wo es nicht schlimm wäre, wenn a, alle Daten verloren gingen und b, wenn die Daten von diesem Rechner irgendwohin abfließen. Stichwort Prompt Injections, also versteckte Anweisungen an den Agenten, die irgendwo im Netz liegen können.

Deshalb habe ich es so gemacht, dass ich Hermes-Agent auf einem komplett blanken System getestet habe. In dem Fall CachyOS, also Linux und das auf einem Framework Desktop. Das ist ein Rechner, der selbst auch zusätzlich zu Hermes ein LLM hosten kann. Also auf dem nicht nur Hermes selbst läuft, sondern eben auch das lokale LLM obendrauf, wenn ich das will. Das muss aber nicht so sein, denn Hermes selbst läuft auch auf einem sehr viel langsameren Rechner. Es kann ein altes Notebook sein oder ein gemieteter VPS oder man kann das Ding auch in der virtuellen Maschine installieren. Ist alles egal. Wenn ihr aber keine Cloud-KI nutzen wollt, dann braucht ihr dann aber halt noch einen Rechner, auf dem ein LLM läuft.

Für mich ist der Sweetspot in Sachen Qualität und Aufwand zurzeit Qwen 3.6 mit 27 Milliarden Parametern in 4-Bit-Quantisierung. Da sind die Gewichte 17 Gigabyte ungefähr groß. Also man braucht dann also mit Puffer und mit Kontext und mit Sicherheitsreserve ungefähr 24 Gigabyte schnellen Speicher. Im besten Fall GPU-Speicher. Zur Not läuft das aber auch auf 24 Gigabyte normalem RAM. Bei meinen Tests habe ich Qwen von einem Gaming-PC mit RTX 4090 auf meinen Linux-Hermes-Rechner zugespielt, geserved sozusagen. Übrigens lief auf dem LLM-Rechner sogar Windows. Das würde aber mindestens genauso gut mit Linux gehen. Die Kombination fand ich aber ganz lustig. Also Linux wird von Windows geserved.

Aber bevor wir in die Details einsteigen, also wie man das Ding lokal einrichtet, ein paar Beispiele, was ich mit der Kombination Hermes und Qwen 3.6 27B so gemacht habe. Erst mal ganz allgemein zum Verständnis, denn auch wenn das LLM selbst nicht ins Internet kann, kann es Hermes und das ist eine gute Kombination. Also Intelligenz vom lokalen Modell und Internet vom agentischen System. Da kann man dann nämlich einfach auch so Sachen fragen, wie ist das Wetter zurzeit in Hannover? Und dann gibt es darauf eine Antwort. Und die Systeme halluzinieren dann auch nicht mehr so viel, weil es sich eben immer mundgerecht Informationen aus dem Internet holen kann.

Weil Hermes eben nicht nur über die Kommandozeile steuerbar ist, habe ich auch mein Handy verwendet mit Telegram. Nicht, weil ich so ein Telegram-Fan bin, sondern weil Telegram am einfachsten einzurichten ist mit solchen Agenten. Das dauert mit Telegram wirklich nur drei Sekunden. Damit kann ich dann den Hermes-Agent auch von unterwegs verwenden, ohne dass ich mein internes Netz irgendwie nach draußen öffnen muss. Geht, wie gesagt, alles über Telegram. Im Detail habe ich das ja schon im OpenClaw-Video gezeigt.

Kann Hermes sinnvolle Dinge?

Ja, und mein erster praktischer Test, ob es Hermes mit dem lokalen Qwen schafft, hier im Browser meine jährlichen Mitarbeiterschulungen zu lösen. Das sind so Multiple-Choice-Fragen. Und da sind wir dann schon direkt im Territorium, das recht anschaulich zeigt, warum man lokale Modelle verwenden will. Da habe ich nämlich deutlich weniger Bauchschmerzen, so firmeninterne Websites zu verwenden. Bleibt ja schließlich alles auf meiner eigenen Hardware. Würde ich jetzt OpenAI oder Anthropic Cloud verwenden, würde halt ganz viel Zeug an US-Server geschickt werden. Will ich nicht.

Hier geht es zwar jetzt nur um so eine Sicherheitsschulung, die auch nicht direkt im heißen Intranet läuft, sondern auf einer externen Website. Also Firmengeheimnisse gibt es da eh nicht. Aber fühlt sich halt trotzdem deutlich besser an, weil halt alle Daten auf meinen Rechnern bleiben. Aber es geht ja nicht nur um mein Gefühl. Viele von euch sind ja auch beruflich an irgendwelche Zertifizierungen gebunden. Und da gibt es viele, die zum Beispiel verbieten, dass Daten außerhalb der EU verarbeitet werden. Und ja, da habt ihr dann ein Problem mit Claude und so.

Ich will aber jetzt auch nicht sagen, hey, mit lokalen Modellen ist das alles gar kein Problem. Also eure Daten werden natürlich nicht direkt irgendwo zu Drittanbietern geschickt, wo die Daten dann womöglich noch irgendwie zum Modelltraining oder so verwendet werden. Aber es besteht immer die Gefahr, dass euer Agent, wenn er eine Netzanbindung hat, über vergiftete Prompts irgendwo stolpert und womöglich Dinge tut, die ihr gar nicht wollt. Bedenkt das immer mit, wenn ihr wirklich Dinge verarbeiten wollt, die auf keinen Fall jemand sehen darf, dann benutzt eure agentischen Systeme komplett ohne Internetverbindung. Das geht schon auch. Bei meinen Tests hier hat es allerdings immer eine Verbindung nach außen und mir sind auch keine Prompt Injections untergekommen, zumindest nicht bewusst.

Ja und wie ist Hermes jetzt klargekommen mit den Schulungen, mit den Tests? Also am Ende hat es alle Prüfungen erfolgreich bestanden, aber der Weg dahin war extrem umständlich. Ich hatte ja gerade schon gesagt, dass es auf dem Terminal echt besser funktioniert als auf Websites, weil es da wirklich immer Screenshots machen muss, ans LLM schicken, analysieren, gucken, wo es hinklicken muss und so weiter. Und das verbraucht halt extrem viele Tokens, was also dann dazu geführt hat, dass Hermes ständig den Kontextspeicher, also quasi das aktuelle Kurzzeitgedächtnis, komprimieren musste. Und das dauert und macht auch die Arbeit nicht unbedingt besser, sage ich mal. Hermes hat also super oft neu angesetzt, obwohl es eigentlich schon fast fertig war. Es hat dann auch irgendwelche Skripte geschrieben, um das Kontextproblem zu lösen. Und ja, es tat schon wirklich ziemlich weh, das als Mensch zu beobachten, wie es sich da abgequält hat. Aber hey, aber am Ende hat es, wie gesagt, irgendwie geklappt.

Viel besser haben Sachen funktioniert, die sowieso komplett übers Terminal gingen. Also sowas wie installiere A-Step zur Musikgenerierung, generiere ein Lied über fliegende Oktopusse und spiele das auf meiner Sonos-Box ab. Und zwar natürlich ohne, dass ich Hermes mehr Details gegeben hätte. Der schafft das einfach. Der findet die Sonos-Box im Netzwerk und findet raus, wie man das da auch abspielt und macht das einfach.

Ja, und Coding geht natürlich auch. Hier ein Spiel, wo man mit warmem Wasser Schneemänner und -frauen zum Schmelzen bringt. Ich glaube, das hatte mit der Hitzewelle zu tun, dass ich auf die Idee gekommen bin. Und hier der 3003 Cyber Run, wo man mit diesem tollen Auto rumfährt und komischen Dingern ausweicht. Was ich hier beeindruckend fand, die Soundeffekte hat Hermes einfach lokal mit dem Tool Harmula generiert. Und ich hatte Harmula gar nicht selbst installiert oder installieren lassen.

Und klar, Hermes kann auch in Linux rumfrickeln, zum Beispiel mein Desktop-Hintergrundbild ändern und das Bild vorher auch lokal mit ComfyUI und zum Beispiel dem Bildgenerierer Flux generiert. Hier ein Oktopus vom Rechner. Also ich kann wirklich sagen, ich hätte gerne das und das auf meinem Desktop-Hintergrundbild und das war’s. Das macht er dann. Und das kann ich auch in mein Handy reinlabern als Sprachie. Und das wie gesagt komplett lokal, ohne dass Daten von mir irgendwo rausgehen. Ehrlich gesagt stelle ich mir genau so einen persönlichen Co-Piloten vor und kurioserweise hat das von den großen Betriebssystem-Entwicklern noch niemand geschafft. Das ist alles hier Open Source, wie ich am Anfang schon gesagt habe.

Aber ja klar, das funktioniert zwar, aber das ist auch noch nichts für den Massenmarkt. Könnt ihr zum Beispiel hier sehen, als ich gesagt habe, er soll ein weiteres Desktop-Environment installieren. Mein CachyOS hatte bis dahin nur KDE installiert und ich wollte Cosmic. Ja, das ging jetzt nur so halb gut, aber hey, am Ende hat es dann auch geklappt.

Aber auch wenn Hermes mit Qwen auf der Kommandozeile und beim Coding ganz gute Resultate abliefern, sieht das beim Sprachgefühl eher nicht so gut aus. Also wie es mit mir kommuniziert, da merke ich dann schon, dass das kein Mensch ist. Hier habe ich zum Beispiel gerade versucht per Telegram meinen LLM-Server zu benchmarken. Dann sagt Hermes mit Qwen so zu mir, ich schicke eine Anfrage und „timings sie selbst“. Ich dann so, was, „timings sie selbst“? Und dann sagt das System, ah, „guter Punkt, das war schwul formuliert“. Ich so, „wie schwul?“ Antwort, „haha, okay, fair. Ich meinte es eher als umständlich formuliert oder schlecht ausgedrückt.“ Lach, wein, Emoji. Also keine Ahnung, ob das Ding irgendwie mit Schulhofsprüchen aus den 90ern trainiert wurde, aber schwul für schlecht, das ist schon ziemlich hängen geblieben.

Und weil das eben so ein vergleichsweise kleines Sprachmodell ist, neigt es auch zu starken Halluzinationen, vor allem ohne Internetzugang. Hier sind zum Beispiel 20 Attraktionen in Hannover, die in keinem Reiseführer stehen und jede einzelne ist komplett zu 100 % halluziniert, aber zugegebenermaßen sind die auch ziemlich unterhaltsam. Leibnizens letzter Hausschuh im historischen Museum, Vitrine 14b. Hannovers erste Telefonzelle, die in einer Hauswand steckt und heute ein Briefkasten ist. Ja, klar, logisch. Oder hannoversche Himmelsstürmer-Ecke, daneben ein fast unsichtbarer Gummibaum aus den 50ern. Das grüne Herz, „vermodernde“ Skulptur, eine vergessene Umweltinstallation aus recycelten Fahrrädern im Stadtgarten, die langsam rostet und wirklich immer ganz toll bei Halluzinationen, wenn das LLM „ja, wirklich“ hinter offensichtlichen Quatsch schreibt.

Wichtig ist auch nochmal zu erwähnen, so ein klitzekleines Modell wie Qwen 3.6 mit nur 27 Milliarden Parametern, das ist auch anfälliger für zum Beispiel Prompt-Injections. Also zum wiederholten Mal: Nutzt das so komplett mit Vollzugriff nur auf Systemen, wo nichts Wichtiges drauf ist.

Kurzer Einschub: Ja, also besser mit Sprache umgehen kann auf jeden Fall das lokale LLM Gemma 4 von Google. Das habe ich in der Variante 26B A4B tatsächlich auf meiner brandneuen Steam Machine mit 8 GB GPU-Speicher und 16 GB normalem RAM laufen lassen und von Hermes als Intelligenz nutzen lassen. Das ging auch, guckt hier, diese 3003-Animationen habe ich davon coden lassen. Aber das hat nicht wirklich Spaß gemacht, weil das auf der Steam Machine wirklich extrem langsam läuft, eben weil das nicht komplett in die GPU passt und das immer wieder in den normalen RAM auslagern muss. Einschub Ende.

Jetzt geht es wieder um Qwen. Ich hoffe, ich habe euch nicht verwirrt, dass jetzt auf einmal von einem anderen Sprachmodell die Rede ist, aber ich wollte einmal zumindest Gemma 4 erwähnen, weil das auch ziemlich gehypt gerade. Aber in Sachen Computerbedienung und Coding schneidet Qwen 3.6 27B meines Erachtens besser ab. Deshalb habe ich mich jetzt darauf fokussiert.

Wie lässt man Qwen 3.6 lokal laufen?

Und jetzt endlich. Was braucht ihr, um das tolle Qwen von Alibaba laufen zu lassen? Also ich habe das auf drei Rechnern ausprobiert. Auf dem Framework Desktop mit 128 GB Unified-Speicher, beim Gaming-PC mit RTX 4090 und auf meinem MacBook Air M2 mit 24 GB Unified-Speicher. Mir ist klar, dass das alles schon so Luxushardware ist, die man nicht einfach irgendwo rumliegen hat. Aber 24 GB Speicher, die braucht man halt, damit man diese 17 GB Weights, also das 27-Milliarden-Parameter-Modell in 4-Bit plus Kontext plus Puffer irgendwo laufen lassen kann.

Also am besten ist das extrem schneller Speicher, also GPU-Speicher oder halt gemeinsamer GPU- und CPU-RAM, wie bei Apple-Rechnern und zum Beispiel auch dem Framework Desktop. Das Modell läuft auch auf 32 GB normalem DDR5-Speicher, aber das ist extrem lahm. Wenn ihr euch jetzt fragt, du hast doch gerade gesagt 24 GB reichen aus. Ja, aber wenn ihr insgesamt nur 24 GB habt, dann geht das eben nicht, weil das Betriebssystem ja auch noch irgendwo hin muss. GPU-Speicher reichen 24 GB, das kann ja dann nahezu komplett exklusiv vom LLM verwendet werden.

Zum Thema Geschwindigkeit gehen wir gleich noch ein bisschen tiefer ins Rabbit Hole. Erst mal ganz kurz, wie man Hermes Quick & Dirty ausprobieren kann. Betonung auf Quick & Dirty, das ist jetzt nicht der beste Weg, sondern ein einfacher. Und zwar installiert ihr Ollama, das gibt es für Linux, macOS und Windows. Und wenn das installiert ist, tippt ihr einfach „Ollama“ auf der Kommandozeile ein und dann wählt ihr aus „Launch Hermes-Agent (install)“ und dann fragt Ollama, welchen Provider ihr nehmen wollt, also welches LLM. Und da will euch dann Ollama irgendwelche Cloud-Modelle verkaufen und ein Abo. Aber das wollt ihr nicht, sondern ihr wählt dann z. B. wenn ihr den Speicher habt, Qwen 3.6 aus, es gibt aber auch noch andere kleinere. Damit wird Hermes nicht so gut laufen, aber könnt ihr auch ausprobieren. Und dann wird Qwen 3.6 auf eurem System runtergeladen, dann könnt ihr Hermes direkt damit benutzen, dann seid ihr schon fertig.

Aber Ollama ist ziemlich sicher nicht die beste Variante, um lokales LLM laufen zu lassen. Das hat ganz viele Gründe, aber wie ihr gerade gesehen habt, ist es extrem einfach. Ab jetzt müsst ihr auch nicht mehr Ollama starten für Hermes, ihr könnt einfach „Hermes“ eingeben. Und wenn ihr „hermes model“ eingebt, könnt ihr auch einfach andere LLM-Provider nutzen, z. B. meinen Rechner im Nebenraum mit RTX 4090. Einfach die IP-Adresse eingeben und da habe ich dann halt den Vorteil, dass Qwen 3.6 komplett im schnellen Grafikspeicher läuft. Und das ist, wie gesagt, wirklich sauschnell. Und zwar sowohl bei der Tokenberechnung, also dem Generieren von Tokens, als auch beim sogenannten Pre-Processing.

Ich hatte ja am Anfang erklärt, dass diese agentischen Systeme immer riesige Prompts ins Sprachmodell reinfüttern. Und die müssen halt immer erstmal bearbeitet werden, bevor es losgehen kann mit den Antworten. Und ich muss zugeben, dass ich in der Vergangenheit bei Tests von lokaler KI wirklich zu viel Fokus auf Tokengenerierung gelegt habe. Einfach weil ich nicht mit agentischen Systemen getestet habe. Ich habe einfach nur minikurze Prompts ausprobiert, also sowas wie erzähl mir eine Geschichte. Und ja, da ist dann das Prompt-Processing unwichtig, weil das Prompt ja nur so kurz ist. Ja, das ist in der Praxis nur die halbe Wahrheit, weil es bringt mir wenig, wenn mein System zwar in kurzer Zeit viele Tokens ausgeben kann, dafür aber vorher ewig auf dem Prompt rumkaut. Deshalb ist Prompt-Processing wichtig.

Guck mal hier, das sind die Benchmark-Ergebnisse auf den drei Rechnern, die ich hier nutze. PP512 ist erwähntes Prompt-Processing, also PP für Prompt-Processing und TG128 ist Token-Generation. Beides ist angegeben in Token pro Sekunde. Und ihr seht auf der RTX 4090 alles viel schneller als auf dem Framework Desktop und vor allem dem MacBook M2. Allerdings knallt der Rechner mit RTX 4090 im LLM-Betrieb auch über 500 Watt weg. Beim Framework sind es nur 140 Watt. Ermittelt habe ich die Zahlen übrigens mit LlamaBench. Das ist Teil von llama.cpp, der wohl zurzeit gebräuchlichsten LLM-Abzapf-Software-Bibliothek.

Ollama nutzt auch intern llama.cpp, will aber immer alles automatisch machen, was oft nicht das ist, was richtig ist. Zum Beispiel wollte es auf meiner RTX 4090 hier nicht komplett im GPU-Speicher laufen, sondern teilweise auf der CPU, was es dann elend lahm gemacht hat. llama.cpp ist etwas spröde in der Bedienung, aber wenn es erstmal läuft, dann läuft das.

Rein ins LLM-Rabbit-Hole

Kleines Geständnis von meiner Seite, ich installiere llama.cpp eigentlich nicht mehr manuell, sondern nur noch per Coding-Agent, also mit Claude Code oder Codex. Also will ich einen Rechner ernster für lokale KI verwenden, dann gehe ich einmal kurz in die Cloud, wie gesagt mit Claude Code oder Codex. Oder auch GLM 5.2 aus China, auch ein Modell, was gerade gehypt und was damit gut funktioniert. Und dann sage ich dem, er soll auf diesem Rechner mal überlegen, welches lokale Modell für agentische KI da am besten laufen könnte. Und er soll dann Messreihen machen. Zum Beispiel sage ich dann, benutze mal die Modelle Qwen 3.6 und Gemma 4 mit unterschiedlichen Quantisierungen.

Dann probiere ich auch gerne nochmal die unterschiedlichen Varianten aus. Denn Qwen 3.6 und Gemma 4 gibt es einmal als sogenannte Dense-Varianten, aber auch als Mixture-of-Experts-Version, MOE. Bei MOE ist immer nur ein Teil der Parameter aktiv, weshalb es meist deutlich schneller läuft. Aber dafür ist die Qualität auch ein bisschen schlechter. Bei Dense-Modellen, da sind immer alle Parameter gleichzeitig aktiv. Ich muss sagen, dass ich mit dem Dense-Modell, also dem 27B von Qwen 3.6, bessere Erfahrungen gemacht habe. Das Mixture-of-Experts-Modell, das heißt Qwen 3.6 35B. Ich habe es euch gesagt, Rabbit Hole.

Das Ding ist nur, dass das lokale LLM nicht nur irgendwie laufen muss, sondern wenn ihr es mit Hermes-Agent verwenden wollt, braucht ihr auch ein großes sogenanntes Kontextfenster von mindestens 65.000 Token. Das ist wie gesagt so das Kurzzeitgedächtnis, also die Token, die das Ding im Gedächtnis, im Speicher behält. Je größer der Kontext, desto mehr Speicher wird zusätzlich benötigt und desto langsamer wird es auch. Deswegen, obwohl die Weights nur 17 Gigabyte groß sind, brauche ich trotzdem die 24 Gigabyte meiner Grafikkarte, wegen des großen Kontext.

Auf meinem MacBook Air M2 läuft Qwen 3.6 mit 27B und 4-Bit-Quantisierung übrigens maximal mit 16K-Kontext und das muss da dann auch schon ein bisschen was auf die SSD auslagern. Also mit Hermes kann ich es vergessen auf meinem MacBook. Wie gesagt, man braucht mindestens 64K-Kontext für Hermes. Aber damit Hermes wirklich Spaß macht, will man eigentlich sogar 100K oder im besten Fall genau 226.144 Tokens. Das ist das Maximum, was Qwen 3.6 beherrscht, weil auch schon bei kleineren agentischen Aufgaben und vor allem Programmierprojekten, werdet ihr sehen, dass euer Kontext vollläuft und Hermes dann immer wieder komprimieren muss. Mit 200K-Tokens, da kriegt ihr viele Sachen komplett ohne Kompressionen und Neuansetzungen.

Und wie gesagt, Kontext kostet zusätzlich Speicher. Was ihr deshalb machen könnt, wenn ihr mehr Kontext haben wollt, den sogenannten KV-Cache in den normalen RAM auslagern oder auch den KV-Cache quantisieren, also die Genauigkeit verringern. Genauigkeit verringern, das klingt erstmal schlimm, klappt aber bis zu einem gewissen Grad nahezu verlustfrei.

Sowieso quantisieren, ich habe ja in diesem Video schon häufiger von 4-Bit oder Q4 gesprochen. Das bedeutet, dass statt 16-Bit-Gleitkommagenauigkeit die Parameter nur in 4-Bit-Genauigkeit gespeichert sind, was natürlich extrem viel Speicher spart und da kann man dann jetzt auch richtig drüber obsessen. Es gibt nämlich nicht nur 4-, 5-, 6-Bit-Quantisierung, sondern es gibt auch noch Hybrid-Quantisierung, die unterschiedliche Layer unterschiedlich genau quantisieren, also Rabbit Hole.

Der Mainstream-Konsens ist, dass Qwen 3.6 27B meist in der Unsloth-Variante UDQ4_K_XL.GGUF mit MTP verwendet wird. Da passt das Ding nämlich nicht nur in 24-GB-GPU-Speicher, sondern da passt dann auch noch genug Kontext mit rein. Also das ist auf jeden Fall die Variante, die ich die ganze Zeit verwendet habe, aber ey, da kann man sich richtig reinnerden, es gibt wirklich so viele unterschiedliche Varianten. Es gibt auch unterschiedliche Leute, die die Modelle quantisieren und so. Das ist halt das Ding, wenn die Sachen offen sind und man damit Sachen machen darf, dann machen Leute auch Sachen damit. Und das ist ja auch cool, aber es ist ein bisschen schwierig, da den Überblick zu behalten.

Ich kann euch auf jeden Fall sagen, dass ich hier meine besten Erfahrungen mit diesem llama.cpp-Aufruf gemacht habe. Das ist das besagte 3.6-27B-Modell mit Flash-Attention und MTP, also Multi-Token-Prediction, was die Geschwindigkeit nochmal steigert. Und wenn ihr die multimodalen Fähigkeiten benutzen wollt, das heißt, wenn das Ding auch Bilder erkennen soll, das braucht ihr auch, um Websites zu benutzen, weil das geht ja über Bilder, müsst ihr auch noch die MMPROJ-Datei zusätzlich herunterladen bei Hugging Face.

Hey, ich habe euch gewarnt, das ist ein komplexes Thema. Wie gesagt, ich empfehle den ganzen llama.cpp-Kladderadatsch mit einem Coding-Cloud-Tool zu installieren. Ihr könnt dafür natürlich auch Hermes mit einem lokalen Modell verwenden. Habe ich auch ausprobiert, das funktioniert auch ganz gut, auch dass er diese Messreihen macht und ausprobiert, was auf eurem System am besten funktioniert. Aber da habt ihr halt ein Henne-Ei-Problem. Auf dem Rechner, wo ihr das lokale Modell installieren wollt, kann ja nicht schon ein lokales Modell laufen, beziehungsweise nur dann, wenn ihr wirklich extrem viel Speicher habt.

Ihr müsst aber dafür auch nicht sofort ein Anthropic- oder OpenAI-Abo abschließen. Zum Beispiel mit OpenRouter könnt ihr einige Cloud-Modelle auch komplett kostenlos verwenden.

Ja, puh, ich habe selbst gemerkt, dass das hier am Ende doch noch ziemlich komplex geworden ist. Aber ey, ich finde es halt auch nicht aufrichtig, wenn ich euch nur das Ergebnis zeige und nicht darauf eingehe, wie man das selbst nachbaut. Ich bin jedenfalls wirklich beeindruckt davon, wie brauchbar schon jetzt lokale Modelle mit Hermes sind. Und Qwen 3.6 und Gemma 4 werden nicht die letzten lokal lauffähigen Modelle sein. Das wird weiter besser werden. OpenAI und Anthropic werden es in Zukunft nicht leicht haben, meine Prognose.

Das Ding ist nur, Hardware, auf der sowas läuft, bleibt teuer. Aber alleine die Möglichkeit, auch interne, intime Daten zu verarbeiten, ohne Bedenken zu haben, dass die Daten sonst wohin abfließen, also von den Prompt Injections mal abgesehen, das ist schon Gold wert. Aber das muss ich auch nochmal betonen, sowas wie Qwen 3.6 ist brauchbar, aber das ist auch noch fehleranfällig. Und das ist auch noch nicht auf dem Niveau eines Anthropic-Cloud-Fable oder so. Das muss euch klar sein. Aber ich kann euch empfehlen, damit rumzuspielen. Es ist extrem faszinierend. Und mal sehen, wie das in einem halben Jahr aussieht. Ich bin auf jeden Fall gespannt.

c’t 3003 und unser Podcast 4004 machen übrigens jetzt Sommerpause zwei Wochen lang. Wenn ihr auch in dieser Zeit von uns was mitbekommen wollt, abonniert unseren kostenlosen Newsletter c’t 3003 Hype. Link ist in der Beschreibung. Tschüss.

c’t 3003 ist der YouTube-Channel von c’t. Die Videos auf c’t 3003 sind eigenständige Inhalte und unabhängig von den Artikeln im c’t Magazin. Die Redakteure Jan-Keno Janssen, Lukas Rumpler, Sahin Erengil und Pascal Schewe veröffentlichen jede Woche ein Video.

(jkj)

Die Schweizer Armee vollzieht in ihrer IT-Infrastruktur eine Kehrtwende. Die Cybersicherheitsexperten der Schweizer Streitkräfte – allen voran das „Kommando Cyber“ und die Untereinheit für Cyber- und elektromagnetische Aktionen (CEA) – kehren dem Softwareriesen Microsoft den Rücken. Bis zum Oktober sollen sämtliche Mitarbeiter dieser Einheiten an ihren Arbeitsplätzen mit der quelloffenen Alternative OpenDesk ausgestattet werden. Der ambitionierte Fahrplan zeigt, wie akut der Handlungsbedarf in der Alpenrepublik eingeschätzt wird.

Hintergrund dieses Schrittes ist laut dem Magazin Republik ein Strategiewechsel bei Microsoft. Zwar kooperiert die Schweiz schon lange mit dem US-Konzern. Doch bislang blieben sensible behördliche Daten in den eigenen, staatlichen Rechenzentren. Nun zwingt der Gigant Kunden aber zunehmend in die eigene Cloud-Infrastruktur. E-Mails, Dokumente, Kalenderdaten oder Videokonferenzen lassen sich künftig nur noch über die Server des US-Unternehmens abrufen. Für die Schweizer Armee, deren operative Daten zu großen Teilen als streng geheim klassifiziert sind, ist das ein unkalkulierbares Sicherheitsrisiko.

Cloud-Zwang und geopolitische Risiken

Die eidgenössischen Militärs befürchten dem Bericht zufolge, dass sensible militärische Informationen über diesen Umweg letztlich in die Hände der US-Regierung gelangen könnten. Der Chef des Kommandos Cyber, Simon Müller, gibt zu bedenken, dass Microsofts cloudbasiertes Office-Paket 365 für eine Armee mit höchsten Ansprüchen an Vertraulichkeit, Verfügbarkeit und Integrität nicht geeignet sei. Solange Konzerne Gesetzen wie dem US Cloud Act unterlägen, seien sie für gewisse militärische Kontexte nicht nutzbar. Die Sorge vor versteckten Datenabflüssen an ausländische Geheimdienste wie die NSA wiegt schwer.

Brisanz erhält das Thema durch die aktuelle geopolitische Lage, in der digitale Infrastrukturen zunehmend als geopolitische Waffen instrumentalisiert werden. Jüngste Beispiele zeigen, wie rigoros die US-Regierung Tech-Konzerne an der Leine hält. So ordnete die US-Administration temporär Verkaufsverbote für bestimmte KI-Modelle ins Ausland an und zwang Microsoft zur Herausgabe des E-Mail-Verkehrs niederländischer Regierungsbeamter.

Besonders drastisch war die Deaktivierung der Nutzerkonten von Richtern des Internationalen Strafgerichtshofs nach US-Sanktionen. Diese Beispiele schüren in Europa die Angst vor einer willkürlichen Stilllegung von Programmen oder Systemen durch einen „Kill Switch“ oder aggressiven Lizenzkostenstrategien.

Vormarsch von OpenDesk und LibreOffice

Mit OpenDesk greift das Schweizer Militär auf ein Softwarepaket zurück, das vom deutschen Zentrum für Digitale Souveränität (Zendis) entwickelt wird und eine quelloffene Alternative zu MS 365 darstellt. Die Relevanz solcher Lösungen wächst im gesamten deutschsprachigen Raum. So migriert etwa das österreichische Bundesheer auf LibreOffice. Das IT-Systemhaus der Bundeswehr BWI schloss derweil mit Zendis einen Rahmenvertrag über souveräne Kommunikations- und Kollaborationssoftware wie OpenDesk. Die Suite soll sich zudem im öffentlichen Gesundheitsdienst und bei Sozialversicherern beweisen.

Die Schweiz macht sich bereits seit Längerem für digitale Souveränität stark. Ein seit Anfang 2024 geltendes Gesetz verpflichtet den Bund, den Quellcode von eigens entwickelter Behördensoftware offenzulegen. Das soll Abhängigkeiten von einzelnen Softwareherstellern verringern und für Transparenz sorgen. Die Armee hatte das Parlament eigentlich aus Sicherheitsgründen von dieser Pflicht ausgenommen. Das Cyberkommando unterwirft sich aber nun freiwillig dieser Open-Source-Linie.

Technische Hürden und die digitale Allmende

Untersuchungen der zivilen Verwaltung in Zürich haben zwar ergeben, dass OpenDesk wegen fehlender Desktop-Apps, mangelnder Telefonie-Integration und unklarer Migrationskosten im normalen Büroalltag noch Defizite aufweise. Die IT-affinen Cyberspezialisten der Armee betrifft das aber kaum. Sie betreiben die Software autark in eigenen Rechenzentren und können selbst Anpassungen vornehmen.

Zudem engagiert sich die Armee als „Swiss Defense Forces“ auf Entwicklerplattformen wie Gitlab, reicht Verbesserungen zur Kryptografie ein und hat mit Loom bereits eine eigene Open-Source-Dokumentensuchmaschine veröffentlicht. Es geht laut den Verantwortlichen darum, nicht nur Konsument der digitalen Allmende zu sein, sondern auch aktiv etwas an die Community zurückgeben.

(nen)