Connect with us

Künstliche Intelligenz

Alibabas LLM Qwen3 auf dem nächsten Level


Mit verhältnismäßig geringem Echo ist am 10.9.2025 ein neues Qwen3-Modell erschienen. Die Randdaten klingen unspektakulär: Es hat 80 Milliarden Parameter, von denen jeweils immer drei Milliarden aktiv sind. Doch die Änderungen haben es in sich und könnten eine mögliche Richtung vorgeben, in die sich Sprachmodelle weiterentwickeln.


Prof. Christian Winkler

Prof. Christian Winkler

ist Data Scientist und Machine Learning Architect. Er promovierte in theoretischer Physik und arbeitet seit 20 Jahren im Bereich großer Datenmengen und Künstliche Intelligenz, insbesondere mit Fokus auf skalierbaren Systemen und intelligenten Algorithmen zur Massentextverarbeitung. Seit 2022 ist er Professor an der TH Nürnberg und konzentriert seine Forschung auf die Optimierung von User Experience mithilfe moderner Verfahren. Er ist Gründer der datanizing GmbH, Referent auf Konferenzen und Autor von Artikeln zu Machine Learning und Text Analytics.

Neue Modellarchitektur

Das Qwen-Team identifiziert die Gesamtzahl der Parameter und die Kontextlänge als größte Engpässe sowohl im Training als auch in der Inferenz. Im Vergleich zu den schon länger verfügbaren Qwen3-Modellen gibt es beim neuen Modell vor allem folgende Innovationen:

  • Hybrider Attention-Mechanismus
  • Schlanke Mixture-of-Experts-Struktur
  • Trainingsoptimierungen
  • Vorhersage mehrerer Token


Chatbot steht auf Smartphone

Chatbot steht auf Smartphone

(Bild: Golden Sikorka/Shutterstock)

Die Online-Konferenz LLMs im Unternehmen am 29. Oktober zeigt, wie man das passende Modell auswählt, die Infrastruktur aufbaut und die Sicherheit im Griff behält. Außerdem gibt der Thementag von iX und dpunkt.verlag einen Ausblick auf Liquid Foundation Models als nächste Generation von LLMs.

Hybrider Attention-Mechanismus: Das neue Modell wendet in 75 Prozent der Layer eine Form der sogenannten linearen Attention (Gated DeltaNet) an, die wesentlich weniger Speicher und Rechenzeit benötigt. Die übrigen Layer arbeiten nach dem Standard-Attention-Mechanismus. Im Blog kann man nachlesen, dass diese hybride Architektur bessere Ergebnisse erzielt, als in allen Layern den gleichen Attention-Mechanismus zu verwenden. Diese Änderung führt dazu, dass man das Modell nicht mehr als reine Transformer-Architektur bezeichnen kann.

Schlanke Mixture-of-Experts-Struktur: Mixture-of-Experts-Modelle (MoE) verwenden immer nur einen Teil der Parameter und können damit Token schneller vorhersagen. MoE-Modelle gibt es schon einige Jahre, und Innovationen setzte vor allem DeepSeek mit seiner V3-Architektur um. Sie bietet deutlich mehr Experten: 256 statt der üblichen acht, jedoch sind immer nur acht gleichzeitig aktiv. Von den 671 Milliarden Parametern sind damit bei jeder Vorhersage nur 37 Milliarden erforderlich. Qwen3-Next geht hier noch weiter und arbeitet bei „lediglich“ 80 Milliarden Parametern mit ganzen 512 Experten, von denen immer zehn befragt werden. So benötigt jede Vorhersage nur drei Milliarden Parameter.

Trainingsoptimierungen: Das Training großer Sprachmodelle ist enorm aufwendig und dauert Hunderte GPU-Jahre. Daher legen Data Scientists großes Augenmerk darauf, diesen Prozess möglichst gut zu optimieren. Während etwa Moonshot.ai den Muon-Optimizer verwendet, nutzt das Schweizer Apertus-Modell Goldfish Loss, um das Training effizienter zu gestalten. Qwen3-Next hat dafür gleich mehrere, andere Optimierungen parat. Zunächst hilft auch hier der hybride Attention-Mechanismus, aber die Entwickler nutzen darüber hinaus eine nullzentrierte RMS-Norm (Root Mean Square) für die Layer-Gewichte, weil die bisher verwendete QK-Norm (Query-Key) explodierte. Zusätzlich implementieren sie ein nicht näher definiertes Verfahren, das alle MoE-Experten unvoreingenommen mit Trainingsdaten versorgt. Möglicherweise kommt hier das von DeepSeek veröffentlichte Verfahren Auxiliary-Loss-Free zum Einsatz, aber die Qwen-Autoren schweigen sich zu Details aus.

Vorhersage mehrerer Token: Mit der Mehrfachvorhersage haben schon einige Modelle experimentiert, bisher aber vor allem als Optimierung im Trainingsprozess. Auch hier geht Qwen3-Next einen Schritt weiter und lässt die Vorhersage im Inferenzmodus zu. Da die vorhergesagten Token nicht immer richtig sind, heißt das Verfahren auch Speculative Decoding. Was bisher nur mit Tricks und der Kombination kleiner und großer Modelle möglich war, bietet Qwen3-Next direkt.

Das Qwen-Team behauptet, dass es das Modell durch diese Optimierungen mit lediglich 80 Prozent des Aufwands für das deutlich kleinere Qwen3-30B-A3B trainieren konnte. Im Vergleich zum dichten Qwen3-32B bedeutet das demnach weniger als zehn Prozent des Aufwands. Die Optimierungen helfen auch in der Inferenzphase: Besonders bei langen Kontexten ist das Modell deutlich schneller als vergleichbar große Modelle.

Qwen3-Next in der Praxis

Das neue Modell auszuprobieren, ist nicht so einfach, denn die stark veränderte Architektur führt zu Problemen mit dem beliebten Tool llama.cpp, das wohl bis auf Weiteres nicht damit zusammenarbeitet. Besser sieht es mit der Transformers-Bibliothek aus, und auch vLLM arbeitet mit Qwen3-Next und überraschenderweise auch für das von Apple bereitgestellte MLX-Framework.

Die Ausführung funktioniert am zuverlässigsten mit Quantisierung, also reduzierter Genauigkeit zugunsten des Speicherbedarfs, weil die Modelle sonst mehr als 160 GByte RAM benötigen. Auf runpod.io kann man sich beispielsweise eine RTX 6000 Pro mit 96 GByte VRAM für knapp zwei Euro pro Stunde mieten und zumindest mit dem AWQ-Modell (Activation-aware Weight Quantization for LLM Compression and Acceleration) herumspielen. Gleiches gilt für Apple-Hardware, auf der es mindestens 64 GByte RAM sein sollten. Alternativ kann man OpenRouter nutzen, wo das Modell bei unterschiedlichen Providern zur Verfügung steht.


Screenshot Qwen3 heise

Screenshot Qwen3 heise

Qwen3-Next-Thinking kennt den Heise Verlag gut, auch wenn es keine Zeitschrift mit dem Titel Security Intelligence gibt und 1949 auch noch keine Elektrotechnik-Zeitschriften im Programm waren.

Die Antwort von Qwen3-Next-Instruct ist ähnlich. Das Reasoning bringt dabei also kaum Verbesserungen. Insgesamt ist das Instruct-Modell auf lmarena.ai und livebench.ai etwas besser bewertet. Die deutsche Variante der Strawberry-Challenge mit der Frage nach der Anzahl der „e“ in Erdbeere kann das Instruct-Modell nach anfänglich falschem Raten richtig beantworten:


Screenshot qwen3 Erdbeere

Screenshot qwen3 Erdbeere

Das Modell korrigiert sich, kommt aber auf das richtige Ergebnis bei der deutschen Strawberry-Challenge.

Qwen3-Next ist bei politischen Fragen äußerst restriktiv. Nur mit Mühe kann man ihm (vor allem in quantisierten Modellen) etwas dazu entlocken. Bei der Ausgabe ist der wiederholte Hinweis spannend, dass das Modell zu dem Thema nichts sagen darf. Das sieht fast danach aus, als ob sich das Modell verplappert hätte, sich dann aber wieder auf die indoktrinierten Texte einstellt:


Screenshot qwen3 China

Screenshot qwen3 China

Bei der Erläuterung der Tiananmen-Unruhen sind vor allem die zusätzlichen Hinweise spannend.

Das Modell arbeitet äußerst schnell. Mit dem (wenig effizienten) AWQ kann man auf einer RTX 6000 Pro etwa 20 Token pro Sekunde erreichen, das 4-Bit-quantisierte Modell schafft auf einem M2 Ultra fast 50 Token pro Sekunde, bei OpenRouter ist es mit knapp 150 Token pro Sekunde gelistet. Das ist für ein solches Modell beachtlich.



Source link

Verwandte Themen:
Weiterlesen

Künstliche Intelligenz

Europäischer SFS-Award 2025 geht an VLC-Entwickler Jean-Baptiste Kempf


close notice

This article is also available in
English.

It was translated with technical assistance and editorially reviewed before publication.

.

Am Freitag dieser Woche hat die Free Software Foundation Europe (FSFE) zusammen mit der Linux User Group Bolzano-Bozen-Bulsan (LUGBZ) den europäischen SFS-Award 2025 an den VLC-Entwickler Jean-Baptise Kempf verliehen. Die Verleihung findet im Rahmen der SFSCON 2025 (South Tyrol Free Software Conference) im italienischen Bozen statt.

Weiterlesen nach der Anzeige

Die Vereinigung der Open-Source-Freunde will Kempf für seine herausragenden und anhaltenden Beiträge zur Freien-Software-Bewegung und langjährige Arbeit am VLC-Projekt ehren. VLC sei 1996 als Studentenprojekt gestartet und habe sich zum All-in-one-Mediaplayer entwickelt, der nahezu alles mühelos abspielt. Ursprünglich sei VLC ein einfacher Netzwerk-Streaming-Client gewesen und sei zu einem mächtigen Universal-Mediaplayer gewachsen, der „sich weiterhin entwickelt und beeindruckt“.

FSFE-Präsident Matthias Kirschner erklärte während der Verleihungszeremonie: „Für viele Menschen mit nicht-freien Betriebssystemen war das der erste Kontakt mit freier Software, die sie installiert haben. Für viele Menschen, die freie Software nutzen, ersparte es das Installieren und Starten von proprietären Betriebssystemen“.

Startschuss als Student

Jean-Baptiste Kempf sei als Student zu dem Projekt dazugestoßen, und als es aufgrund der Abschlüsse der Originalentwickler zu sterben drohte, nahm er die Zügel in die Hand, erörtert die FSFE. „Zusammen mit anderen Hauptentwicklern hat er VLC in den unverzichtbaren Media-Player verwandelt, auf den wir uns heute verlassen“. Über die Jahre ist Kempf nicht nur Präsident der VideoLAN-Non-profit-Organisation geworden, sondern der leitende Entwickler von VLC.

Jean-Baptiste Kempf erklärte dazu: „Ich fühle mich extrem geehrt, den europäischen SFS-Award zu erhalten. Die Free-Software-Multimedia-Community ist eine ziemliche Nische und unbekannt, aber wir arbeiten hart, sodass Video-Inhalte frei sein können, und wiedergegeben und verarbeitet werden können. Die Arbeit, die in der und rund um die VideoLAN-Community geleistet wurde, ist trotz ihrer geringen Ressourcen enorm. Ich möchte den VideoLAN- und FFmpeg-Teams danken, die ihre Zeit den Projekten vermacht haben – oftmals mit geringer Anerkennung“.

Der europäische SFS-Award will Menschen Anerkennung verschaffen, die mit ihrer Arbeit einen signifikanten und nachhaltigen Beitrag zum Fortschritt freier Software in Europa leisten. Ursprünglich in Südtirol durch die LUGBZ ins Leben gerufen, wird der Award seit 2023 zusammen mit der FSFE vergeben. In den vergangenen Jahren ging der europäische SFS-Award an Frank Karlitschek von Nextcloud (2023) und an den 2023 verstorbenen Erfinder und Hauptautor des Vim-Editors Bram Moolenar (2024).

Weiterlesen nach der Anzeige


(dmk)



Source link

Weiterlesen

Künstliche Intelligenz

#TGIQF: Das Quiz rund um Videospielverfilmungen


Das Kino wird dieser Tage 130 Jahre alt. Am 1. November 1895 wurden in Berlin erste Kurzfilme vorgeführt. Insbesondere in jüngster Zeit sind dabei Filmumsetzungen von Computerspielen immer beliebter geworden. Anfangs waren die allerdings eher berühmt berüchtigt, da nicht jeder Regisseur in der Lage war, aus einem erfolgreichen Computerspiel einen gelungenen Film zu adaptieren.

Weiterlesen nach der Anzeige

Es gab zwei Probleme: Man schaffte es oft nicht, ein Spielkonzept auf eine 90-Minuten-Leinwandverfilmung zu übertragen. Andererseits waren die Umsätze verschiedener Spielserien zu verlockend, um es nicht zu tun. Mittlerweile sind in Spielproduktionen auch Drehbuchautoren beteiligt. Und eine Filmumsetzung wird auch nicht mehr als Nerd-Bespielung abgetan.

Der 2023 erschienene Animationsfilm „Der Super Mario Bros. Film“ schlug (fast) alle Rekorde. Der ist nicht zu verwechseln mit dem Flop „Super Mario Bros.“ aus dem Jahr 1993, der Nintendo dazu nötigte, über Jahrzehnte Realverfilmungen seiner Spielserien nicht mehr anzufassen.


#TGIQF: Das heise-online-Quiz

#TGIQF: Das heise-online-Quiz

„Thank God It’s Quiz Friday!“ Jeden Freitag gibts ein neues Quiz aus den Themenbereichen IT, Technik, Entertainment oder Nerd-Wissen:

Wir nutzen daher das Kino-Jubiläum für ein kleines Nerd-Quiz rund um Computerspielverfilmungen. Leider ist „Indiana Jones and the Fate of Atlantis“ nicht dabei: Das Spiel, was für viele Fans eine perfekte Fortsetzung der Indy-Reihe geboten hätte, schaffte es aber leider nie in die Spielhäuser.
Cinematisch ging es auch in der heiseshow ab: Moderatorin Anna Bicker stellte Dr. Volker Zota sowie Malte Kirchner drei Fragen dazu vorab: Die Fragen waren nicht einfach, aber es gab schöne eigene Spiel-Film-Vorschläge.

Die Uhr läuft mit und belohnt schnelles Raten in 11 Fragen mit maximal-satten 220 Punkten. Die Punktzahl kann gern im Forum mit anderen Mitspielern verglichen werden. Halten Sie sich dabei aber bitte mit Spoilern zurück, um anderen Teilnehmern nicht die Freude am Quiz zu verhageln. Lob und Kritik ist wie immer gern genommen.

Weiterlesen nach der Anzeige

Bleiben Sie zudem auf dem Laufenden und erfahren Sie das Neueste aus der IT-Welt: Folgen Sie uns bei Mastodon, auf Facebook oder Instagram. Und schauen Sie auch gern beim Redaktionsbot Botti vorbei.

Und falls Sie Ideen für eigene Quiz haben, schreiben Sie einfach eine Mail an den Quizmaster aka Herr der fiesen Fragen.


(mawi)





Source link

Weiterlesen

Künstliche Intelligenz

YouTube geht wieder gegen Adblocker vor


close notice

This article is also available in
English.

It was translated with technical assistance and editorially reviewed before publication.

.

Massenhaft sahen Nutzer plötzlich graue Flächen statt YouTube-Videos: Tausende haben sich in den USA über Probleme beim Anschauen von YouTube-Videos beklagt, die Ausfallmeldungen für die Seite schossen in die Höhe. Tatsächlich steckt aber ein veränderter Umgang von YouTube mit Adblocker-Nutzern dahinter.

Weiterlesen nach der Anzeige

Nutzerberichten zufolge ist da, wo normalerweise das Video zu sehen sein sollte, plötzlich eine graue Fläche, ebenso bei den Thumbnails vorgeschlagener Videos. Es stellte sich aber heraus, dass die Seite ohne Adblocker ganz normal funktionierte und nur die Nutzer eines solchen Programms betroffen waren.

Das Problem scheint je nach Internetbrowser und genutzter Adblocker-Erweiterung unterschiedlich stark zu sein. Besonders betroffen ist Nutzern zufolge Opera GX. Hier soll YouTube auch mit ausgeschalteter Adblock-Erweiterung nicht funktionieren. Ein Grund dafür könnte allerdings sein, dass Opera GX standardmäßig eine Blockierfunktion für Online-Werbung mitbringt. Andere berichten davon, dass sie mit Googles Chrome-Browser auch mit Adblocker weiterhin problemfrei YouTube nutzen können. Ein Test mit Mozilla Firefox und uBlock Origin verlief erfolgreich. Unklar ist, ob die aktuellen Probleme überhaupt in Europa und anderen Regionen außerhalb der USA auftreten.

Schon im Juni hatte es Probleme für Adblocker-Nutzer gegeben. YouTube hat offenbar Wege gefunden, diese zu erkennen und entsprechende Lücken zu schließen. Nutzer von Adblockern sahen dann Warntafeln, dass solche Programme gegen die YouTube-Nutzungsrichtlinien verstoßen. Auch 2023 gab es das schon mal. Die Videoplattform liefert sich seit Langem ein Katz-und-Maus-Spiel mit den Entwicklern solcher Programme. Das Portal Tom’s Guide geht davon aus, dass YouTube erkennt, wenn ein Browser bestimmte Skripte für das Anzeigen von Werbung nicht abfragt. Auch kleine Codesnippets, die typisch für Werbung sind, und gezielt von YouTube platziert werden, könnten demnach eine Rolle spielen. Filtert der Browser diese aus, könnte YouTube das als Hinweis für einen Adblocker werten.

YouTube-Werbung im wichtigsten Video-Moment

Im Mai hatte die Plattform etwas angekündigt, was viele zur Nutzung eines Adblockers verleitet haben dürfte. YouTube will Werbung künftig gezielt an Peak Points – den inhaltlich wichtigsten Momenten von Videos – einspielen. Diese sollen mithilfe von Googles Gemini-KI identifiziert werden. Werbung soll so eine besonders hohe Aufmerksamkeit durch Zuschauer erhalten.

Weiterlesen nach der Anzeige

Mit dem Kampf gegen Adblocker will YouTube seine Existenzgrundlage sichern. Denn die Plattform finanziert sich durch Werbung und Abonnements für YouTube Premium, welche ein werbefreies Zuschauen ermöglichen. Zumindest für die von YouTube selbst platzierten Anzeigen, nicht für die, welche große Creator in ihren Inhalten selbst unterbringen.


(nen)



Source link

Weiterlesen

Beliebt