In den letzten Wochen passierte in kurzer Zeit wieder enorm viel in der Welt der großen Sprachmodelle. Neben der neu eingeführten TurboQuant-Methode hat Google mit Gemma 4 eine weitere Serie von Sprachmodellen mit offenen Gewichten veröffentlicht. Deutlich später kam das lang erwartete DeepSeek v4 zumindest in einer Vorabversion auf den Markt.

Derweil macht Anthropic ein großes Geheimnis um sein Sprachmodell Mythos, und Qwen veröffentlicht ein inkrementelles Update zu seiner erfolgreichen Qwen3.5-Serie.

Neuer Algorithmus TurboQuant

Viele feierten das Folgende als Revolution, mit der große Modelle endlich auch auf kleineren und erschwinglichen Grafikkarten laufen können: Google hat mit TurboQuant eine neue Quantisierungsmethode erfunden, die fast keine Qualitätseinbußen mit sich bringt.

Was man dabei leicht übersehen kann: Google hat den Algorithmus auf den Key-Value-Cache ausgerichtet, der in der Inferenzphase der LLMs sehr viel Speicher erfordert, denn die dazu notwendigen Daten wachsen quadratisch mit der Kontextlänge. Und der Algorithmus selbst ist auch nicht ganz neu.

Den Key-Value-Cache kann TurboQuant nahezu verlustfrei komprimieren: Wo man vorher sechzehn Bit brauchte, sind nur noch vier Bit – oder in Ausnahmefällen sogar nur drei Bit – notwendig. Das spart viel Platz und erlaubt größere Kontextlängen. Der Algorithmus nutzt dafür eine trickreiche Rotation der Vektoren, um sie verlustärmer zu komprimieren.

Google zeigt in dem Blogbeitrag zu TurboQuant, dass die Quantisierung des KV-Cache die Perplexität, also die Unsicherheit des Modells, kaum erhöht. Damit sollten auch im täglichen Gebrauch der Sprachmodelle kaum Unterschiede auftreten. Tatsächlich erschien die erste Abhandlung zu TurboQuant bereits im April 2025, aber es gab bisher keine brauchbaren Implementierungen, und es fehlten vor allem die Testfälle.

Inzwischen unterstützen viele Softwarepakete wie llama.cpp oder transformers von Hugging Face den TurboQuant-Cache. Teilweise muss man noch etwas basteln und zusätzliche Pakete installieren, aber die Speichereinsparungen sind deutlich messbar. Auch für das MLX-Framework von Apple gibt es die ersten Implementierungen.

Spannend wird, wofür sich TurboQuant jenseits des KV-Cache eignet. Google spricht von Vektordatenbanken, aber dafür gibt es bereits andere effektive Quantisierungsmethoden. Ob sich die Gewichte der Sprachmodelle mit TurboQuant so quantisieren lassen, dass sie auch in der Inferenz effektiv funktionieren, muss sich zeigen.

Neue Gemma-Modelle mit offenen Gewichten

Google war nicht nur methodisch aktiv, sondern hat auch neue Modelle mit offenen Gewichten veröffentlicht. Die lang erwartete Gemma-4-Serie enthält viele Neuerungen und steht in Größen von effektiv 2, 4 und echten 31 Milliarden Parametern zur Verfügung, dazu kommt noch ein MoE-Modell (Mixture of Experts) mit 26 Milliarden Parametern, von denen jeweils 4 Milliarden aktiv sind. Google trickst hier etwas, denn die Zahl der effektiven Parameter ist deutlich geringer als die der tatsächlich im Speicher benötigten. So hat das kleinere Modell nicht zwei, sondern etwa fünf Milliarden Parameter, das größere statt vier in Wahrheit acht Milliarden.

Alle Gemma-4-Modelle sind multimodal und für agentische Aufgaben optimiert, außerdem können sie Bilder interpretieren. Was man heute fast schon als Standard annimmt, ist bei Weitem nicht immer so, wie der Blick auf DeepSeek v4 gleich zeigen wird. Auch Reasoning beherrschen die Gemma-4-Modelle. Um zu viele Token in der Antwort zu vermeiden, lässt sich die Reasoning-Intensität einstellen.

Wie viele andere Anbieter dreht auch Google an der Attention, um Speicherplatz und Rechenzeit zu sparen. Der hybride Attention-Mechanismus in Gemma 4 nutzt abwechselnd Layer mit voller Attention und solche mit Sliding Window Attention, bei der das Modell immer nur ein bestimmtes Fenster von Token verwendet.

Mit Gemma 4 ist Google zweifellos ein großer Wurf gelungen. Besonders bei den offenen Modellen in der Größenordnung von 30 bis 40 Milliarden Parametern war bisher Alibabas Qwen3.5 der unangefochtene Platzhirsch. So eindeutig ist die Lage nun nicht mehr, denn Gemma 4 kann hier definitiv punkten.

Lang erwartet: DeepSeek v4

Über ein Jahr ist seit der Veröffentlichung von DeepSeek-R1 im Januar 2025 vergangen. So lange hat die Community auf DeepSeek v4 gewartet. Nach einigen verfrühten Falschmeldungen über das Release ist das Modell endlich als Preview erschienen. Das Warten hat sich gelohnt, denn DeepSeek hat mit v4 gleich zwei Modelle veröffentlicht, die durch einen aufwendigen Trainingsprozess (Pre-Training mit 32 Billionen Token, aufwendiges mehrstufiges Post-Training) entstanden. Eines ist mit 1,6 Billionen Parametern sehr groß: Die Größe hat sich im Vergleich zum Vorgänger mehr als verdoppelt, auch wenn hier „nur“ 49 Milliarden aktiv sind. Flankiert wird dieses Pro-Modell von einem Flash-Modell mit lediglich 284 Milliarden Parametern, von denen 13 Milliarden aktiv sind. Das ist immer noch sehr groß, man kann es aber auf leistungsfähigen PCs mit genügend Arbeitsspeicher ausführen. Besonders eignen sich die (derzeit nicht erhältlichen) Mac-Studio-Rechner.

DeepSeek hat erneut an der Attention gebastelt. Nachdem das Vorgängermodell die Multi-Head Latent Attention brachte, kombiniert DeepSeek v4 gleich zwei neue Attention-Mechanismen. Die Details zu Compressed Sparse Attention (CSA) und Heavily Compressed Attention (HCA) bleiben aktuell noch etwas im Dunkeln, aber DeepSeek soll damit im Vergleich zum Vorgängermodell nur 27 Prozent der Gleitkommaoperationen bei der Single-Token-Inferenz benötigen. Der KV-Cache schrumpft sogar um 90 Prozent. Es wäre spannend zu untersuchen, ob sich das auch noch mit TurboQuant kombinieren lässt.

DeepSeek trickst noch weiter an der Architektur und führt die sogenannten Manifold-Constrained Hyper-Connections (mHC) ein, bei denen bestimmte Verbindungen zwischen den Layern stärker ausgeprägt sind, um die Stabilität in der Vorwärtspropagation zu erhöhen. Ähnlich wie Moonshot bei Kimi nutzt DeepSeek nun auch den Muon-Optimizer statt des sonst gebräuchlichen AdamW, um die Gewichte im Trainingsprozess noch schneller zu optimieren. Dass diese neuerdings gemischt als FP4 und FP8 abgespeichert sind, spart zusätzlich viel Speicher. Das große Modell benötigt nur wenige Byte mehr als das v3.2-Modell, und das Flash-Modell kommt sogar mit 158 GByte aus, was für ein Modell mit 284 Milliarden Parametern sonst nur über starke Post-Training-Quantisierung möglich ist.

Erstaunlicherweise ist DeepSeek v4 kein multimodales Modell, sondern kann ausschließlich mit Text umgehen. Vielleicht legt DeepSeek bis zum endgültigen Release hier noch nach, es gibt aber leider bisher auch keine Prognosen, wann es so weit sein könnte. DeepSeek hält sich mit weiteren Informationen ohnehin ungewohnt bedeckt, Details über Training und Architektur stehen noch nicht öffentlich bereit.

Spannend ist der Vergleich zwischen dem kleinen und großen (oder besser zwischen dem riesigen und dem gigantischen) Modell. Das kleinere Flash-Modell erzeugt wohl ähnlich gute Resultate, wenn man ihm mehr Reasoning zugesteht. Man tauscht somit die Zahl der Parameter gegen die Länge der Antwort bei Logikfragen. Wie gut das funktioniert, muss ein ausführlicher Test noch zeigen. Bei Wissensfragen ist das kleinere Modell erwartungsgemäß unterlegen.

DeepSeek v4 unterstützt drei unterschiedliche Thinking-Modi, von abgeschaltetem Reasoning bis zu sehr intensivem. Im Performance-Vergleich zu v3.2 sind die Fortschritte moderat. Erstaunlich ist allerdings, dass das Flash-Modell fast so gut funktioniert wie v3.2 mit immerhin doppelt so vielen Parametern (in früher deutlich höherer Genauigkeit, DeepSeek v3 hat noch überall FP8 benutzt).

DeepSeek v4 ist ein interessantes Modell, aber enttäuschend ist, dass der Hersteller entgegen seiner sonstigen Gepflogenheiten deutlich weniger technische Details veröffentlicht hat. Hoffentlich erscheint ein Artikel dazu zum endgültigen Release.

Was sonst noch war

Anthropic findet sich ebenfalls in den Schlagzeilen, allerdings nicht nur positiv. Im März geriet dem Unternehmen der Sourcecode zu Claude aus den Händen. Unabhängig davon forscht Anthropic an immer leistungsfähigeren Modellen – so leistungsfähig, dass die damit (automatisch) zu entdeckenden Sicherheitslücken gefährlich werden können. Daher wurde Mythos nicht öffentlich zur Verfügung gestellt, war aber wohl doch für Unbefugte zugänglich. Wie leistungsfähig das Modell tatsächlich ist, zeigt sich unter anderem darin, dass es über 270 Lücken in Firefox aufgedeckt hat. Gut möglich, dass sich daraus eine völlig neue Richtung in der Cybersecurity entwickelt.

Auch die chinesischen Anbieter jenseits von DeepSeek schlafen nicht. Qwen hat ein kleineres Update für einige der Qwen3.5-Modelle veröffentlicht. Qwen3.6 steht als Max Preview nur via API zur Verfügung, kleinere Modelle wie das MoE mit 35 Milliarden Parametern, von denen drei Milliarden aktiv sind, und das dichte mit 27 Milliarden Parametern stehen ebenfalls offen zur Verfügung. Besonders letzteres Modell zeigt sich als extrem leistungsfähig und schlägt deutlich größere Modelle. Wie gut das funktioniert, müssen genauere Analysen zeigen.

Qwen3.5 nutzt bei der Hybrid-Attention sogenannte Mamba-Layer. Für die State-Space-Modelle gibt es nun mit Mamba-3 eine neue Architektur. Möglicherweise lassen sich dadurch in den entsprechenden Layern weitere Verbesserungen erzielen, so dass sich längere Kontexte abbilden lassen. Leistungsfähige Modelle mit dieser Architektur gibt es allerdings noch nicht.

Die Firma Tesslate hat basierend auf Qwen3.5-9B ein Modell mit von Claude Opus generierten Daten auf Coding-Aufgaben feingetuned. Daraus entstand das OmniCoder-Modell, das sich äußerst gut für Coding-Aufgaben eignet und dabei das Basismodell in allen Dimensionen schlägt. Dabei ist es klein genug, um in einer quantisierten Version lokal zu laufen.

Moonshot hat mit Kimi K2.6 nachgelegt. Das Modell fokussiert sich besonders auf Coding- und agentische Aufgaben, die es in Schwärmen aus bis zu 300 Agenten erledigen kann. Wie gewohnt ist das Modell mit einer Billion Parametern sehr groß und lässt sich nur mit Mühe auf bezahlbarer Hardware ausführen.

Von MiniMax gibt es eine neue Version 2.7 des MoE-Modells. Bemerkenswert daran ist, dass das Modell für sein eigenes Update zum Einsatz kam. Dabei hat es seinen Speicher aktualisiert, mehrere Dutzend Skills für Reinforcement Learning „erfunden“ und autonom seinen eigenen Optimierungsprozess verbessert. Dabei behauptet MiniMax AI, dass es bis zu 30 Prozent Performanceverbesserung erreicht hat. Es wird spannend zu beobachten, ob andere Anbieter einen ähnlichen Weg gehen und allein dadurch ihre Modelle verbessern können.

Da die Modelle immer größer werden, erforschen Anbieter neben dem allgegenwärtigen Attention-Mechanismus auch neue Quantisierungsverfahren. Ein interessanter Kandidat ist die JANG-Quantisierung, die dynamisch die optimale Quantisierungsstufe auswählt und dadurch enorm Platz spart. Aktuell ist die Software allerdings nur auf Macs verfügbar. Dort ist es dann möglich, ein Modell mit 397 Milliarden Parametern mit 128 GB RAM zu betreiben. Meine eigenen Tests haben gezeigt, dass das erstaunlich gut funktioniert und mit MLX Studio auch relativ einfach zu installieren ist. Die dazu passenden Python-Tools sind allerdings nicht immer ganz up to date.

Open AI hat GPT-5.5 öffentlich bereitgestellt. Es glänzt insbesondere beim Coding mit neuen Bestwerten und kann auch mehrstufige Aufgaben gut erledigen. Im Gegensatz zu GPT 5.4 kommt es auch mit Fremdsprachen offenbar besser zurecht, denn der erste Satz des vorherigen Blogartikels klang auf Deutsch zumindest merkwürdig: „Heute veröffentlichen wir GPT‑5.4 in ChatGPT (als GPT‑5.4 Thinking), der API und Codex.“

Auch wenn bei den Sprachmodellen das meiste in China und den USA passiert, gibt es Neuigkeiten aus dem Rest der Welt, darunter aus Europa. So planen Cohere aus Kanada und das deutsche Unternehmen Aleph Alpha einen Zusammenschluss. Gemeinsam wollen sie einen Sprachmodell-Champion schaffen. Vor einer ganzen Weile waren die Cohere-Modelle ganz vorn mit dabei, sind aber in der Zwischenzeit fast unbedeutend. Vielleicht braucht es einen Restart, der möglicherweise durch die Fusion gelingt.

Clevere Mechanismen und Optimierungen

Was für ein Frühling! Bei den Sprachmodellen kann man große Fortschritte beobachten. Wenn man die Ideen der letzten Wochen wie clevere Attention-Mechanismen, verbesserte Quantisierung und optimiertes Training zusammennimmt, kann man davon ausgehen, dass in der nächsten Zeit deutlich bessere Modelle und weitere Neuerungen auf uns warten.

Besonders spannend dabei ist, dass die Wachstumskurve beim Speicherbedarf abflacht. Das lässt darauf hoffen, dass sich zumindest einige dieser Modelle künftig auf leistungsfähiger eigener Hardware souverän nutzen lassen.

(rme)

In dieser Episode sprechen Richard Seidl und Jan Jürjens über Sicherheitstests in KI‑Systemen. Die beiden beleuchten Herausforderungen rund um selbstlernende Software, diskutieren typische Angriffsflächen und wie sich manipulierte Trainingsdaten oft schwer erkennen lassen. Jan Jürjens gibt Einblicke in praktische Schutzmechanismen und betont die Wichtigkeit intensiver Tests, etwa durch Penetrationstests und Filter für sensible Anfragen.

Jan Jürjens verfügt über mehr als 25 Jahre praktische Erfahrung mit Softwaresicherheit. Erstes Buch (2005) ins Chinesische übersetzt. Aktuell: Director Research Projects (Fraunhofer ISST); Professor & Leiter, Institut Softwaretechnik (Uni Koblenz). Vorher: Professor für Software Engineering (TU Dortmund), Senior Member/Research Fellow (Robinson College, Uni Cambridge), Royal Society Industrial Fellow (Microsoft Research Cambridge), Postdoc (TU München), PhD Informatik (Uni Oxford) in Softwaresicherheit, Dipl.-Math. (Uni Bremen).

Software-Testing im Gespräch

Bei diesem Format dreht sich alles um Softwarequalität: Ob Testautomatisierung, Qualität in agilen Projekten, Testdaten oder Testteams – Richard Seidl und seine Gäste schauen sich Dinge an, die mehr Qualität in die Softwareentwicklung bringen.

Die aktuelle Ausgabe ist auch auf Richard Seidls Blog verfügbar: „Sicherheitstests für KI-Systeme – Jan Jürjens“.

(mdo)

Die Hackergruppe TeamPCP hat am 29. April offenbar Schadcode in mehrere npm-Pakete des deutschen Softwareunternehmens SAP eingeschleust. Die Payload der manipulierten Paketversionen stiehlt unter anderem SSH‑Schlüssel, Cloud‑Credentials, Kubernetes‑Konfigurationen und GitHub‑Token. Entwicklerinnen und Entwickler sollten umgehend handeln, empfehlen die Sicherheitsforscher von Socket.

Socket führt in seinem Blog vier bösartige npm-Pakete auf, die anscheinend von der berüchtigten Hackergruppe TeamPCP in Umlauf gebracht wurden: mbt@1.2.48, @cap-js/db-service@2.10.1, @cap-js/postgres@2.2.2 und @cap-js/sqlite@2.2.2. Die Pakete gehören zum JavaScript- und Cloud-Anwendungsentwicklungs-Ökosystem von SAP und bringen es laut den Sicherheitsforschern zusammen auf mehr als 550.000 Downloads pro Woche. Verfügbar waren die vier Pakete auf npmjs.com, der von GitHub betriebenen zentralen Paket‑Registry für JavaScript/Node.js‑Pakete.

Angriff über modifiziertes package.json

Die kompromittierten Pakete enthalten jeweils ein modifiziertes package.json mit dem preinstall‑Hook "preinstall" : "node setup.mjs". Das Skript setup.mjs wird automatisch ausgeführt, sobald jemand das Paket installiert, egal ob lokal oder in einer CI‑Pipeline. Dann stößt der Hook den Download einer Bun-Binary von GitHub an, entpackt sie und startet den Download der Payload, der 11,7 MB großen Datei execution.js.

Auf Entwicklersystemen hat es die Infostealer-Malware auf zahlreiche Datentypen abgesehen, darunter zum Beispiel auf SSH-Schlüssel und Cloud-Zugangsdaten für Amazon Web Services (AWS), Google Cloud Platform (GCP), Kubernetes und Microsoft Azure. Im Fokus stehen außerdem GitHub CLI- und npm-Token, Konfigurationsdateien und Krypto-Wallets. Die gestohlenen Daten landen anschließend verschlüsselt in einem GitHub‑Repository. Findet die Malware keine GitHub-Credentials, erstellt sie ein neues GitHub-Konto und nutzt dieses für die Exfiltration der Daten.

Shai-Hulud im Kleinformat

Die Schadversionen waren laut den Sicherheitsforschern von Onapsis insgesamt nur etwa zwei bis vier Stunden lang im Umlauf. Entwicklerinnen und Entwicklern, die die genannten Paketversionen verwenden, empfiehlt Socket dennoch eine umgehende Aktualisierung und rät außerdem dazu, sämtliche mit den Paketen genutzte Zugangsdaten zu erneuern. Bereinigte Nachfolgeversionen der Pakete stehen auf npmjs.com bereit. SAP hat den Vorfall in der Security Note 3747787 dokumentiert.

Für die Sicherheitsforscher von Socket hat die aktuelle Malware-Attacke technisch und operativ viel mit den Shai-Hulud-Angriffen gemeinsam, die letztes Jahr in großem Umfang liefen. Weil der TeamPCP-Angriff jedoch auf ein kleineres und spezifisches Ökosystem abzielt, bezeichnen sie ihn als Mini Shai‑Hulud.

(mro)