Connect with us

Künstliche Intelligenz

Alibabas LLM Qwen3 auf dem nächsten Level


Mit verhältnismäßig geringem Echo ist am 10.9.2025 ein neues Qwen3-Modell erschienen. Die Randdaten klingen unspektakulär: Es hat 80 Milliarden Parameter, von denen jeweils immer drei Milliarden aktiv sind. Doch die Änderungen haben es in sich und könnten eine mögliche Richtung vorgeben, in die sich Sprachmodelle weiterentwickeln.


Prof. Christian Winkler

Prof. Christian Winkler

ist Data Scientist und Machine Learning Architect. Er promovierte in theoretischer Physik und arbeitet seit 20 Jahren im Bereich großer Datenmengen und Künstliche Intelligenz, insbesondere mit Fokus auf skalierbaren Systemen und intelligenten Algorithmen zur Massentextverarbeitung. Seit 2022 ist er Professor an der TH Nürnberg und konzentriert seine Forschung auf die Optimierung von User Experience mithilfe moderner Verfahren. Er ist Gründer der datanizing GmbH, Referent auf Konferenzen und Autor von Artikeln zu Machine Learning und Text Analytics.

Neue Modellarchitektur

Das Qwen-Team identifiziert die Gesamtzahl der Parameter und die Kontextlänge als größte Engpässe sowohl im Training als auch in der Inferenz. Im Vergleich zu den schon länger verfügbaren Qwen3-Modellen gibt es beim neuen Modell vor allem folgende Innovationen:

  • Hybrider Attention-Mechanismus
  • Schlanke Mixture-of-Experts-Struktur
  • Trainingsoptimierungen
  • Vorhersage mehrerer Token


Chatbot steht auf Smartphone

Chatbot steht auf Smartphone

(Bild: Golden Sikorka/Shutterstock)

Die Online-Konferenz LLMs im Unternehmen am 29. Oktober zeigt, wie man das passende Modell auswählt, die Infrastruktur aufbaut und die Sicherheit im Griff behält. Außerdem gibt der Thementag von iX und dpunkt.verlag einen Ausblick auf Liquid Foundation Models als nächste Generation von LLMs.

Hybrider Attention-Mechanismus: Das neue Modell wendet in 75 Prozent der Layer eine Form der sogenannten linearen Attention (Gated DeltaNet) an, die wesentlich weniger Speicher und Rechenzeit benötigt. Die übrigen Layer arbeiten nach dem Standard-Attention-Mechanismus. Im Blog kann man nachlesen, dass diese hybride Architektur bessere Ergebnisse erzielt, als in allen Layern den gleichen Attention-Mechanismus zu verwenden. Diese Änderung führt dazu, dass man das Modell nicht mehr als reine Transformer-Architektur bezeichnen kann.

Schlanke Mixture-of-Experts-Struktur: Mixture-of-Experts-Modelle (MoE) verwenden immer nur einen Teil der Parameter und können damit Token schneller vorhersagen. MoE-Modelle gibt es schon einige Jahre, und Innovationen setzte vor allem DeepSeek mit seiner V3-Architektur um. Sie bietet deutlich mehr Experten: 256 statt der üblichen acht, jedoch sind immer nur acht gleichzeitig aktiv. Von den 671 Milliarden Parametern sind damit bei jeder Vorhersage nur 37 Milliarden erforderlich. Qwen3-Next geht hier noch weiter und arbeitet bei „lediglich“ 80 Milliarden Parametern mit ganzen 512 Experten, von denen immer zehn befragt werden. So benötigt jede Vorhersage nur drei Milliarden Parameter.

Trainingsoptimierungen: Das Training großer Sprachmodelle ist enorm aufwendig und dauert Hunderte GPU-Jahre. Daher legen Data Scientists großes Augenmerk darauf, diesen Prozess möglichst gut zu optimieren. Während etwa Moonshot.ai den Muon-Optimizer verwendet, nutzt das Schweizer Apertus-Modell Goldfish Loss, um das Training effizienter zu gestalten. Qwen3-Next hat dafür gleich mehrere, andere Optimierungen parat. Zunächst hilft auch hier der hybride Attention-Mechanismus, aber die Entwickler nutzen darüber hinaus eine nullzentrierte RMS-Norm (Root Mean Square) für die Layer-Gewichte, weil die bisher verwendete QK-Norm (Query-Key) explodierte. Zusätzlich implementieren sie ein nicht näher definiertes Verfahren, das alle MoE-Experten unvoreingenommen mit Trainingsdaten versorgt. Möglicherweise kommt hier das von DeepSeek veröffentlichte Verfahren Auxiliary-Loss-Free zum Einsatz, aber die Qwen-Autoren schweigen sich zu Details aus.

Vorhersage mehrerer Token: Mit der Mehrfachvorhersage haben schon einige Modelle experimentiert, bisher aber vor allem als Optimierung im Trainingsprozess. Auch hier geht Qwen3-Next einen Schritt weiter und lässt die Vorhersage im Inferenzmodus zu. Da die vorhergesagten Token nicht immer richtig sind, heißt das Verfahren auch Speculative Decoding. Was bisher nur mit Tricks und der Kombination kleiner und großer Modelle möglich war, bietet Qwen3-Next direkt.

Das Qwen-Team behauptet, dass es das Modell durch diese Optimierungen mit lediglich 80 Prozent des Aufwands für das deutlich kleinere Qwen3-30B-A3B trainieren konnte. Im Vergleich zum dichten Qwen3-32B bedeutet das demnach weniger als zehn Prozent des Aufwands. Die Optimierungen helfen auch in der Inferenzphase: Besonders bei langen Kontexten ist das Modell deutlich schneller als vergleichbar große Modelle.

Qwen3-Next in der Praxis

Das neue Modell auszuprobieren, ist nicht so einfach, denn die stark veränderte Architektur führt zu Problemen mit dem beliebten Tool llama.cpp, das wohl bis auf Weiteres nicht damit zusammenarbeitet. Besser sieht es mit der Transformers-Bibliothek aus, und auch vLLM arbeitet mit Qwen3-Next und überraschenderweise auch für das von Apple bereitgestellte MLX-Framework.

Die Ausführung funktioniert am zuverlässigsten mit Quantisierung, also reduzierter Genauigkeit zugunsten des Speicherbedarfs, weil die Modelle sonst mehr als 160 GByte RAM benötigen. Auf runpod.io kann man sich beispielsweise eine RTX 6000 Pro mit 96 GByte VRAM für knapp zwei Euro pro Stunde mieten und zumindest mit dem AWQ-Modell (Activation-aware Weight Quantization for LLM Compression and Acceleration) herumspielen. Gleiches gilt für Apple-Hardware, auf der es mindestens 64 GByte RAM sein sollten. Alternativ kann man OpenRouter nutzen, wo das Modell bei unterschiedlichen Providern zur Verfügung steht.


Screenshot Qwen3 heise

Screenshot Qwen3 heise

Qwen3-Next-Thinking kennt den Heise Verlag gut, auch wenn es keine Zeitschrift mit dem Titel Security Intelligence gibt und 1949 auch noch keine Elektrotechnik-Zeitschriften im Programm waren.

Die Antwort von Qwen3-Next-Instruct ist ähnlich. Das Reasoning bringt dabei also kaum Verbesserungen. Insgesamt ist das Instruct-Modell auf lmarena.ai und livebench.ai etwas besser bewertet. Die deutsche Variante der Strawberry-Challenge mit der Frage nach der Anzahl der „e“ in Erdbeere kann das Instruct-Modell nach anfänglich falschem Raten richtig beantworten:


Screenshot qwen3 Erdbeere

Screenshot qwen3 Erdbeere

Das Modell korrigiert sich, kommt aber auf das richtige Ergebnis bei der deutschen Strawberry-Challenge.

Qwen3-Next ist bei politischen Fragen äußerst restriktiv. Nur mit Mühe kann man ihm (vor allem in quantisierten Modellen) etwas dazu entlocken. Bei der Ausgabe ist der wiederholte Hinweis spannend, dass das Modell zu dem Thema nichts sagen darf. Das sieht fast danach aus, als ob sich das Modell verplappert hätte, sich dann aber wieder auf die indoktrinierten Texte einstellt:


Screenshot qwen3 China

Screenshot qwen3 China

Bei der Erläuterung der Tiananmen-Unruhen sind vor allem die zusätzlichen Hinweise spannend.

Das Modell arbeitet äußerst schnell. Mit dem (wenig effizienten) AWQ kann man auf einer RTX 6000 Pro etwa 20 Token pro Sekunde erreichen, das 4-Bit-quantisierte Modell schafft auf einem M2 Ultra fast 50 Token pro Sekunde, bei OpenRouter ist es mit knapp 150 Token pro Sekunde gelistet. Das ist für ein solches Modell beachtlich.



Source link

Verwandte Themen:
Weiterlesen

Künstliche Intelligenz

Nick Clegg und Yann LeCun: Start-up für Advanced Machine Intelligence


close notice

This article is also available in
English.

It was translated with technical assistance and editorially reviewed before publication.

.

AMI Labs ist der Name und sogleich Ausrichtung des Start-ups, das der ehemalige Chefwissenschaftler von Meta, Yann LeCun, gegründet hat. AMI steht für Advanced Machine Intelligence. Dahinter steckt die Auffassung, dass Große Sprachmodelle durch Sprache stark limitiert sind. Statt eine Superintelligenz anzustreben, wie es Meta nennt, sollen intelligente Systeme geschaffen werden, die Aufgaben verstehen können und Menschen das Leben erleichtern sollen. Es sollen Weltmodelle entwickelt werden, ein nicht wirklich weniger hehres Ziel.

Weiterlesen nach der Anzeige

Eingestiegen in AMI Labs ist auch Nick Clegg, ebenfalls ehemaliger Leitender bei Meta. Clegg war lange President Global Affairs, musste seinen Posten jedoch Anfang des Jahres aufgeben – Nachfolger wurde der Republikaner Joel Kaplan. Eine durchaus politisch zu verstehende Personalie.

Nun wurde bekannt, dass AMI Labs von Alex LeBrun als CEO geleitet werden soll, der zugleich jedoch Chefwissenschaftler und Chairman bei Nabla bleibt. LeBrun war bisher auch CEO von Nabla, einem KI-Unternehmen aus dem Bereich Medizin. Deren System soll bei der Verschriftlichung helfen und dabei klinische Hinweise geben. Nabla und AMI Labs gehen eine strategische Partnerschaft ein, wie LeCun bei LinkedIn bestätigt. Wie die genau aussehen wird, ist unklar.

AMI Labs – Europäisches Weltmodell

Die Financial Times berichtet zudem, dass AMI Labs bereits von Beginn an mit 3 Milliarden Euro bewertet werden soll, bei einem Startkapital von 500 Millionen Euro. Das Start-up wird offenbar seinen Sitz in Frankreich haben. Dort leben und arbeiten LeCun und LeBrun bisher. Clegg kommt aus Großbritannien.

Auch Google DeepMind und Fei Fei Li, renommierte KI-Forscherin, arbeiten an Weltmodellen. Mit Marble hat Lis World Labs ein Modell auf den Markt gebracht, das aus Text-Prompts 3D-Umgebungen erstellen kann, die sich weiter bearbeiten lassen.

Lesen Sie auch


(emw)



Source link

Weiterlesen

Künstliche Intelligenz

Hue-Lampen mit Matter direkt in Apple Home einbindbar – aber nicht alle


close notice

This article is also available in
English.

It was translated with technical assistance and editorially reviewed before publication.

.

Die bekannten Hue-Lampen von Philips gibt es in zahlreichen Varianten und Größen. Ihnen gemeinsam ist, dass man zwecks Einbindung in Apples HomeKit-System stets eine Bridge benötigt – Kostenpunkt je nach Variante (2.0 oder Pro) zwischen knapp 45 und etwa 80 Euro. Denn Philips setzt standardmäßig auf das Zigbee-Protokoll, das die Apple-Technik nicht beherrscht und braucht daher Überbrückung. Zwar wechselte Philips zusätzlich später auch auf Bluetooth (BLE), doch hier ließen sich die Lampen dann auch nur mittels Hue-App steuern, nicht jedoch via HomeKit, wenn die Bridge fehlte. Doch mittlerweile gibt es die ersten Hue-Birnen auch mit Matter: Das erlaubt erstmals die direkte Einbindung in HomeKit ohne Umwege. Wie sich bei einem Versuch der Mac & i-Redaktion zeigte, läuft dies allerdings nicht immer unproblematisch. So umgehen Sie Fallstricke.

Weiterlesen nach der Anzeige

Erster Schritt: Korrekte Leuchte aussuchen

Um Bridge-los unter HomeKit Hue-Lampen zu nutzen, benötigen Sie zunächst das korrekte Modell. Diese sind daran erkennbar, dass sie sowohl das Matter-Logo als auch das HomeKit-Logo (“Works with Apple Home“) ziert. Die volle Hue-Palette ist das leider nicht, doch Standardleuchtmittel mit E27-Sockel sind beispielsweise zu haben – auch mit sehr hellen 1600 Lumen, die man bei „normalen“ HomeKit-Lampen eher selten findet. Diese Modelle gibt es als Warmweiß, Kaltweiß oder in Bunt, die Preise sind allerdings (siehe Preisvergleich) recht gesalzen.

Die Birne wird in der Verpackung mit einem Matter-Code ausgeliefert. Er befindet sich leider nicht auf der Birne selbst, sondern auf einem kleinen Stück Papier, das man unbedingt aufbewahren oder abfotografieren sollte, denn es ist zur Einrichtung unumgänglich. Eigentlich müsste der Code ausreichen, um das Leuchtmittel in HomeKit einzubinden – wie üblich über die Home-App und das Hinzufügen eines neuen Geräts. Bei unseren Versuchen scheiterte der Prozess allerdings mehrfach.

Zweiter Schritt: Debugging

Warum das so ist, wissen nur Apple und Philips allein – das verwendete iPhone war korrekt ins WLAN, das auch der Home Hub (Steuerzentrale) benutzt, eingebucht. Apropos HomeHub: Da Matter Thread verwendet, muss im Haus mindestens ein Apple TV mit Thread oder ein HomePod (2 oder mini) mit Thread vorhanden sein.

Hilfreich war letztlich, die Lampe zunächst in der Philips-Hue-App anzumelden, um sie dann über die Geräteeinstellungen wieder zurückzusetzen. Hierbei setzt sich das Leuchtmittel via Bluetooth (BLE) mit dem iPhone in Verbindung. Nach der Rücksetzung ließ sich die Lampe in der Home-App dann endlich hinterlegen. Der Prozess lief nicht nur – wie zuvor – bis zum Schritt „Zum Home hinzufügen“ durch, sondern beendete sich dann auch. Danach fühlt sich die Hue-Lampe mit Matter genauso an wie jede andere HomeKit-Birne auch: Man kann sie ein- und ausschalten, Helligkeit und Farbton festlegen, in Szenen und Automatisierungen einbauen und mehr. Was bei unserem Testmodell allerdings nicht funktionierte, war Apples adaptives Licht, das die Farbtemperatur je nach Tageszeit reguliert. Eine Nanoleaf Smart Bulb konnte dies hingegen ab Werk.

Weiterlesen nach der Anzeige


(bsc)



Source link

Weiterlesen

Künstliche Intelligenz

NASA und Boeing: Längere und schmalere Tragflächen sollen Flugeffizienz steigern


close notice

This article is also available in
English.

It was translated with technical assistance and editorially reviewed before publication.

.

Die US-Raumfahrtbehörde NASA und der Flugzeugkonzern Boeing suchen gemeinsam nach einer Lösung, um das Fliegen mit Passagierflugzeugen effizienter und komfortabler zu gestalten. Im Rahmen des Projektes „Integrated Adaptive Wing Technology Maturation” testen sie längere, schlankere Tragflächen. Die sollen dafür sorgen, dass künftige Passagiermaschinen weniger Treibstoff verbrauchen und zugleich ruhiger fliegen.

Weiterlesen nach der Anzeige

Im Rahmen der Zusammenarbeit haben die NASA und Boeing Windkanaltests an Tragflächen durchgeführt, die eine höhere Streckung aufweisen und schmaler sind. Längere und dünnere Flügel haben einen geringeren Luftwiderstand bei in etwa gleichem Auftrieb, sodass sie im Flug insgesamt effizienter sind.

Flügelflattern verhindern

Zugleich können die schmaleren Tragflächen jedoch neue Probleme verursachen: Durch die hohe Streckung werden sie flexibler. Dadurch kann es im Flug zu größeren Bewegungen innerhalb der Tragflächenstruktur kommen. Die Tragflächen können sich etwa verformen und neigen zum berüchtigten Flügelflattern. Das Flugzeug kann so bei böigem Wind anfangen, zu vibrieren und sich zu schütteln, was zu einem unruhigeren Flug und zu Belastungen der Flugzeugzelle führt.

„Flattern ist eine sehr heftige Wechselwirkung“, sagt Jennifer Pinkerton, Luft- und Raumfahrtingenieurin bei der NASA im Langley Research Center in Hampton, Virginia. „Wenn die Strömung über einem Flügel mit der Flugzeugstruktur in Wechselwirkung tritt und die Eigenfrequenzen des Flügels angeregt werden, werden die Flügelschwingungen verstärkt und können exponentiell anwachsen, was zu einem potenziell katastrophalen Ausfall führen kann. Ein Teil unserer Tests besteht darin, aeroelastische Instabilitäten wie Flattern für Flugzeugkonzepte zu charakterisieren, damit diese Instabilitäten im tatsächlichen Flug sicher vermieden werden können.“

Um Flügelflattern zu minimieren, arbeiten NASA und Boeing daran, die Auswirkungen von Windböen auf Flugzeuge zu mindern, indem sie die Tragflächenbelastungen durch Flugzeugbewegungen verringern. Die Ingenieure nutzten für ihre Untersuchungen den Windkanal Transonic Tunnel der NASA Langley, der mit 4,87 m Höhe und gleicher Breite groß genug ist, um ein halbiertes großformatiges Passagierflugzeugmodell darin zu testen.

Empfohlener redaktioneller Inhalt

Mit Ihrer Zustimmung wird hier ein externes YouTube-Video (Google Ireland Limited) geladen.

Die NASA zeigt, wie zusätzliche Steuerflächen Flügeflattern verhindern können.

Zum Einsatz kommt ein Modell mit einer etwa 3,96 m langen Tragfläche, das die NASA zusammen mit Boeing und NextGen Aeronautics entwickelt hat. Das Modell ist mit insgesamt zehn beweglichen Steuerflächen an der Hinterkante der Tragfläche ausgestattet. Damit können der Luftstrom kontrolliert und die Kräfte reduziert werden, die auf die Flügel einwirken und sie zum Vibrieren bringen.

Weiterlesen nach der Anzeige

Die Ingenieure überwachten dabei mit Sensorik und Messinstrumenten sowohl die auf das Flugzeugmodell einwirkenden Kräfte als auch die Reaktionen des Flugzeugs. Die neue Tragfläche mit seinen zehn Steuerflächen sei nochmals ein Fortschritt gegenüber der Tragfläche, die die NASA und Boeing bereits in einer früheren Kooperation mit der Bezeichnung Subsonic Ultra Green Aircraft Research (SUGAR) entwickelt hatten. Die dabei entstandene SUGAR-Tragfläche hatte lediglich zwei aktive Steuerflächen. Die neue Konstruktion mit zehn Steuerflächen sei komplexer, würde die Steuerungsziele jedoch noch besser erreichen.

Die Ergebnisse aus Testreihen von 2024 und 2025 sowie daraus erwachsenen Computersimulationen flossen in die Entwicklung der neuen Tragfläche mit den erweiterten Steuerungskonfigurationen ein. Die Tests zeigen, dass die Kräfte bei böigem Wind durch die zusätzlichen Steuerungsflächen verringert werden konnten und das Flattern spürbar abnahm.

Die NASA und Boeing wollen die ermittelten Daten weiter analysieren und die Ergebnisse veröffentlichen. Diese könnten dann dazu verwendet werden, um sie in der Entwicklung der nächsten Generation von Passagierflugzeugen einzusetzen, um so deren Treibstoffverbrauch zu reduzieren und ruhiger fliegen zu lassen.


(olb)



Source link

Weiterlesen

Beliebt