Mit verhältnismäßig geringem Echo ist am 10.9.2025 ein neues Qwen3-Modell erschienen. Die Randdaten klingen unspektakulär: Es hat 80 Milliarden Parameter, von denen jeweils immer drei Milliarden aktiv sind. Doch die Änderungen haben es in sich und könnten eine mögliche Richtung vorgeben, in die sich Sprachmodelle weiterentwickeln.

Neue Modellarchitektur

Das Qwen-Team identifiziert die Gesamtzahl der Parameter und die Kontextlänge als größte Engpässe sowohl im Training als auch in der Inferenz. Im Vergleich zu den schon länger verfügbaren Qwen3-Modellen gibt es beim neuen Modell vor allem folgende Innovationen:

• Hybrider Attention-Mechanismus
• Schlanke Mixture-of-Experts-Struktur
• Trainingsoptimierungen
• Vorhersage mehrerer Token

Hybrider Attention-Mechanismus: Das neue Modell wendet in 75 Prozent der Layer eine Form der sogenannten linearen Attention (Gated DeltaNet) an, die wesentlich weniger Speicher und Rechenzeit benötigt. Die übrigen Layer arbeiten nach dem Standard-Attention-Mechanismus. Im Blog kann man nachlesen, dass diese hybride Architektur bessere Ergebnisse erzielt, als in allen Layern den gleichen Attention-Mechanismus zu verwenden. Diese Änderung führt dazu, dass man das Modell nicht mehr als reine Transformer-Architektur bezeichnen kann.

Schlanke Mixture-of-Experts-Struktur: Mixture-of-Experts-Modelle (MoE) verwenden immer nur einen Teil der Parameter und können damit Token schneller vorhersagen. MoE-Modelle gibt es schon einige Jahre, und Innovationen setzte vor allem DeepSeek mit seiner V3-Architektur um. Sie bietet deutlich mehr Experten: 256 statt der üblichen acht, jedoch sind immer nur acht gleichzeitig aktiv. Von den 671 Milliarden Parametern sind damit bei jeder Vorhersage nur 37 Milliarden erforderlich. Qwen3-Next geht hier noch weiter und arbeitet bei „lediglich“ 80 Milliarden Parametern mit ganzen 512 Experten, von denen immer zehn befragt werden. So benötigt jede Vorhersage nur drei Milliarden Parameter.

Trainingsoptimierungen: Das Training großer Sprachmodelle ist enorm aufwendig und dauert Hunderte GPU-Jahre. Daher legen Data Scientists großes Augenmerk darauf, diesen Prozess möglichst gut zu optimieren. Während etwa Moonshot.ai den Muon-Optimizer verwendet, nutzt das Schweizer Apertus-Modell Goldfish Loss, um das Training effizienter zu gestalten. Qwen3-Next hat dafür gleich mehrere, andere Optimierungen parat. Zunächst hilft auch hier der hybride Attention-Mechanismus, aber die Entwickler nutzen darüber hinaus eine nullzentrierte RMS-Norm (Root Mean Square) für die Layer-Gewichte, weil die bisher verwendete QK-Norm (Query-Key) explodierte. Zusätzlich implementieren sie ein nicht näher definiertes Verfahren, das alle MoE-Experten unvoreingenommen mit Trainingsdaten versorgt. Möglicherweise kommt hier das von DeepSeek veröffentlichte Verfahren Auxiliary-Loss-Free zum Einsatz, aber die Qwen-Autoren schweigen sich zu Details aus.

Vorhersage mehrerer Token: Mit der Mehrfachvorhersage haben schon einige Modelle experimentiert, bisher aber vor allem als Optimierung im Trainingsprozess. Auch hier geht Qwen3-Next einen Schritt weiter und lässt die Vorhersage im Inferenzmodus zu. Da die vorhergesagten Token nicht immer richtig sind, heißt das Verfahren auch Speculative Decoding. Was bisher nur mit Tricks und der Kombination kleiner und großer Modelle möglich war, bietet Qwen3-Next direkt.

Das Qwen-Team behauptet, dass es das Modell durch diese Optimierungen mit lediglich 80 Prozent des Aufwands für das deutlich kleinere Qwen3-30B-A3B trainieren konnte. Im Vergleich zum dichten Qwen3-32B bedeutet das demnach weniger als zehn Prozent des Aufwands. Die Optimierungen helfen auch in der Inferenzphase: Besonders bei langen Kontexten ist das Modell deutlich schneller als vergleichbar große Modelle.

Qwen3-Next in der Praxis

Das neue Modell auszuprobieren, ist nicht so einfach, denn die stark veränderte Architektur führt zu Problemen mit dem beliebten Tool llama.cpp, das wohl bis auf Weiteres nicht damit zusammenarbeitet. Besser sieht es mit der Transformers-Bibliothek aus, und auch vLLM arbeitet mit Qwen3-Next und überraschenderweise auch für das von Apple bereitgestellte MLX-Framework.

Die Ausführung funktioniert am zuverlässigsten mit Quantisierung, also reduzierter Genauigkeit zugunsten des Speicherbedarfs, weil die Modelle sonst mehr als 160 GByte RAM benötigen. Auf runpod.io kann man sich beispielsweise eine RTX 6000 Pro mit 96 GByte VRAM für knapp zwei Euro pro Stunde mieten und zumindest mit dem AWQ-Modell (Activation-aware Weight Quantization for LLM Compression and Acceleration) herumspielen. Gleiches gilt für Apple-Hardware, auf der es mindestens 64 GByte RAM sein sollten. Alternativ kann man OpenRouter nutzen, wo das Modell bei unterschiedlichen Providern zur Verfügung steht.

Die Antwort von Qwen3-Next-Instruct ist ähnlich. Das Reasoning bringt dabei also kaum Verbesserungen. Insgesamt ist das Instruct-Modell auf lmarena.ai und livebench.ai etwas besser bewertet. Die deutsche Variante der Strawberry-Challenge mit der Frage nach der Anzahl der „e“ in Erdbeere kann das Instruct-Modell nach anfänglich falschem Raten richtig beantworten:

Qwen3-Next ist bei politischen Fragen äußerst restriktiv. Nur mit Mühe kann man ihm (vor allem in quantisierten Modellen) etwas dazu entlocken. Bei der Ausgabe ist der wiederholte Hinweis spannend, dass das Modell zu dem Thema nichts sagen darf. Das sieht fast danach aus, als ob sich das Modell verplappert hätte, sich dann aber wieder auf die indoktrinierten Texte einstellt:

Das Modell arbeitet äußerst schnell. Mit dem (wenig effizienten) AWQ kann man auf einer RTX 6000 Pro etwa 20 Token pro Sekunde erreichen, das 4-Bit-quantisierte Modell schafft auf einem M2 Ultra fast 50 Token pro Sekunde, bei OpenRouter ist es mit knapp 150 Token pro Sekunde gelistet. Das ist für ein solches Modell beachtlich.

„Saros“ mach da weiter, wo „Returnal“ aufgehört hat: Das Studio Housemarque hat sein neues Spiel angekündigt. Es wird erneut ein Action-Spiel aus der Third-Person-Perspektive, das auf einem fremdartigen Planeten spielt. Wie „Returnal“ hat „Saros“ Rogue-ähnliche Elemente: Geht ein Spieldurchlauf schief, darf man einfach wieder von vorn anfangen – und bis man zum Ende kommt, sind wohl einige Versuche nötig. Das regelmäßige Scheitern ist eingepreist.

„Saros“ soll 2026 für die Playstation 5 erscheinen, einen genaueren Release-Termin gibt es noch nicht. Eine PC-Fassung ist bislang nicht angekündigt, wie der Vorgänger könnte „Saros“ aber mit etwas Verzögerung auf den Rechner kommen. „Returnal“ wurde Anfang 2024 auf den PC portiert. In der Regel dauerte es zuletzt etwa ein bis zwei Jahre, bis Playstation-Spiele ihren Weg auf den PC fanden.

Das neue Spiel von Housemarque spielt auf einem Planeten namens Carcosa, der sich mit jedem Ableben der Spielfigur Arjun Devraj ändert. Bei „Saros“ soll es im Vergleich zu „Returnal“ mehr permanenten Fortschritt zwischen den einzelnen Spieldurchläufen geben. Im ersten Trailer ist unter anderem zu sehen, wie Devraj nach dem ersten Ableben eine zweite Chance bekommt – ein freischaltbarer Bonus, der für alle künftigen Runs gilt.

„Returnal“ überzeugte Sony vom Kauf

Housemarque ist ein finnisches Unternehmen mit Sitz in Helsinki. Der große Durchbruch gelang dem Team mit „Returnal“, das 2021 exklusiv für die Playstation auf den Markt kam. Schon davor hatte Housemarque sieben Titel exklusiv auf die Sony-Konsole gebracht.

Wenige Monate nach dem Release von „Returnal“ entschied sich Sony dazu, die langjährige Partnerschaft zu festigen und Housemarque zu kaufen. Die Summe für die Übernahme wurde nicht bekannt. „Saros“ ist der erste Titel von Housemarque, seit das Team zu Sony gehört.

(dahe)

Ende 2024 brachten die Raspi-Macher den Raspberry Pi 500 im Tastaturgehäuse auf den Markt, nun folgt die aufgebrezelte Variante 500+. Auch darin steckt die Technik des Raspberry Pi 5, aber jetzt kombiniert mit einer beleuchteten Tastatur und mechanischen Switches. Außerdem sind 16 GByte Arbeitsspeicher eingebaut sowie eine SSD mit 256 GByte und vorinstalliertem Raspberry Pi OS. Der Raspi 500+ kommt wie der 500 ohne Lüfter aus, arbeitet also geräuschlos, solange man nicht tippt.

Der Luxus-Raspi kostet 200 US-Dollar, hierzulande dürften es etwa 220 Euro werden. Ein Set inklusive Netzteil und Maus ist 20 Euro teurer. Die Tastatur hat ungefähr die Größe typischer 75-Prozent-Keyboards. Die Switches vom Typ Gateron KS-33 Blue klicken deutlich hörbar und haben drei Millimeter Hub. Unser Testmuster kam mit englischer Tastaturbelegung; Geräte mit deutscher Beschriftung sollen in den kommenden Wochen folgen. Alternativ können Interessierte eigene Keycaps verwenden.

Die RGB-LEDs in den Tasten leuchten ab Werk in fünf verschiedenen Modi, sind aber auch individuell programmierbar. Die quelloffene QMK-Firmware der Tastatur läuft auf dem Raspi-Mikrocontroller RP2040 – QMK ist insbesondere bei Custom-Tastaturen weitverbreitet und erlaubt umfassende Anpassungen, etwa an der Tastenbelegung oder Beleuchtung. Die dafür notwendigen JSON-Dateien will der Hersteller bereitstellen. Die SSD im Raspi 500+ ist auswechselbar. Wir haben dem neuen Tastenraspi im c’t-Labor auf den Zahn gefühlt.

Das war die Leseprobe unseres heise-Plus-Artikels „Raspberry Pi 500+ mit beleuchteter mechanischer Tastatur und SSD im Test“.
Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.