Künstliche Intelligenz
Ubuntu 25.10 läuft nicht auf vorhandenen RISC-V-Rechnern
Die Entwickler von Ubuntu programmieren zwar eifrig auch für Computer, in denen Prozessorkerne mit der quelloffenen Befehlssatzarchitektur RISC-V stecken. Doch die im Oktober erwartete neue Version Ubuntu 25.10 Questing Quokka schneidet alte RISC-V-Zöpfe radikal ab. Falls sie wie bisher geplant tatsächlich einen Prozessor mit dem Profil RVA23 erzwingt, wird sie auf keinem bisher verfügbaren RISC-V-Rechner mehr laufen.
Für vorhandene RISC-V-Systeme steht zwar weiterhin Ubuntu bereit, aber nur in den Versionen 22.04 (Jammy), 24.04 (Noble, verlangt RVA20) und 25.04 (Plucky). Dabei handelt es sich zudem stets nur um Ubuntu Server ohne grafischen Desktop.
Ob Ubuntu 25.10 dann endlich auch GPU-Support für RISC-V-Prozessoren bringt, ist unklar. In mehreren RISC-V-Chips steckt GPU-Technik von Imagination Technologies, die schon seit Jahren an offenen Treibern arbeiten.
Zum Vergleich: Die Fedora-Entwickler wollen erst dann für RVA23-Builds bauen, wenn RVA23-Hardware erhältlich ist. Auch das kürzlich für RISC-V erschienene Debian 13 „Trixie“ verlangt nur RV64GC.
RVA23-Mangelware
Das Profil RVA23 wurde erst im Herbst 2024 ratifiziert, doch schon vorher hatten einige Entwicklerfirmen dazu kompatible RISC-V-Kerne angekündigt, beispielsweise SiFive den P870 in mehreren Varianten.
Es dauert allerdings üblicherweise mehrere Jahre, bis ein als Software-Makro (IP-Core) lieferbarer CPU-Kern in einem fertigen Halbleiterchip auftaucht, der dann zusammen mit weiteren Komponenten etwa auf einem Einplatinencomputer sitzen kann. Bisher ist heise online keine Ankündigung eines System-on-Chip (SoC) mit SiFive P870 bekannt.
Die Marke XuanTie, die über die DAMO Academy zum großen chinesischen Tech-Konzern Alibaba gehört, hat ihren XuanTie C930 mit RVA23 angekündigt. Ein konkreter C930-Chip wurde allerdings noch nicht in Aussicht gestellt. Das ebenfalls chinesische Unternehmen Zhihe Computing baut jedoch nicht näher bezeichnete XuanTie-Kerne in ein SoC namens Archimedes A210 für Edge-Server. Dessen Starttermin ist unklar.

SpacemiT kündigte 2022 den RISC-V-Kern X100 mit RVA22 an, nun kann er RVA23. Er baut auf dem OpenC910 von Alibaba/XuanTie auf.
(Bild: SpacemiT)
Die chinesische Firma SpacemiT (alias Jindie Space-Time/进迭时空) verkauft bereits RISC-V-Chips wie den SpacemiT K1 (alias Ky X1). Darin stecken X60-Kerne, die an den XuanTie C908 erinnern. SpacemiT hat mehrere neue Kerne und Chips angekündigt, nämlich die Kerne X100 (zunächst mit RVA22, jetzt mit RVA23) und X200 (mit RVA23) sowie das Server-SoC VitalStone V100 mit X100-Kernen. Angeblich arbeitet SpacemiT auch an einem K3 mit X100-Kernen, auf der Website des Unternehmens findet sich dazu aber nichts.
Auf der Konferenz Hot Chips wird Condor Computing, ein Ableger der taiwanischen Firma Andes Computing, den RVA23-tauglichen Cuszo vorstellen. Andes selbst offeriert den AndesCore X66.
Insgesamt gibt es derzeit also nur einen einzigen konkret angekündigten RVA23-Chip. Immerhin lassen AndesCore X66, Condor Cuzco, SiFive P870, SpacemiT X100/X200 und XuanTie C930 hoffen.

Der UltraRISC UR-DP1000 auf dem Milk-V Titan soll RVA22 beherrschen.
(Bild: Milk-V)
Als weiteres chinesisches Unternehmen arbeitet UltraRISC an einem neuen RISC-V-SoC namens UR-DP1000, das die Firma Milk-V auf das Mini-ITX-Board Milk-V Titan löten will. Darin stecken UR-CP100-Kerne mit RVA22 und Hypervisor, aber eben ohne RVA23 und Vektoreinheiten. Der UR-DP1000 verzichtet zudem auf eine GPU und bietet nur USB 2.0, allerdings Gigabit-Ethernet und mehrere PCI-Express-Lanes sowie einen Speicher-Controller für wechselbare DDR4-Speichermodule. Ein UEFI-BIOS könnte das Booten unterschiedlicher Linux-Distributionen ohne spezifische Anpassungen erleichtern. Bloß wohl nicht von Ubuntu 25.10.
RVA23-Vorteile
Bisherige Linux-Distributionen für RISC-V nutzen seit mehreren Jahren üblicherweise nur jene Funktionen, die RV64GC beschreibt. SoCs mit dieser Technik entpuppten sich in Benchmarks allerdings meistens als sehr rechenschwach.
RVA23 beschreibt unter anderem Vektor-Rechenwerke (V) sowie eine Hypervisor-Erweiterung (H) für die Virtualisierung. Außerdem müssen RVA23-Kerne auch eine Reihe von Befehlen verarbeiten, die kryptografische Algorithmen beschleunigen.
Die bisher angekündigten RVA23-Designs wirken unabhängig von RVA23 aber auch sonst stärker als ihre Vorgänger. Meistens geht es um Out-of-Order-Architektur mit längeren Rechen-Pipelines und es sollen feinere Fertigungsverfahren zum Einsatz kommen, die größere Caches sowie Taktfrequenzen deutlich über 2 GHz bringen könnten.
(ciw)
Künstliche Intelligenz
Cybergang cl0p will Daten von Carglass, Fluke und NHS erbeutet haben
Die Cybergang cl0p bleibt umtriebig und stiehlt weiter Daten bei vielen Unternehmen und Einrichtungen. Jetzt sind die namhafteren Carglass.de, Fluke.com und die britische Gesundheitsverwaltung NHS dazugekommen.
Weiterlesen nach der Anzeige
Die Bande cl0p ist dafür bekannt, durch Schwachstellen etwa in Datenübertragungssoftware Daten bei Unternehmen abzuzweigen und sie im Anschluss damit um Geld zu erpressen. Wer nicht zahlt, dessen Daten landen dann im Darknet. Es ist unklar, auf welchem Wege cl0p nun an die Daten gekommen sein will. Zuletzt scheint jedoch öfter eine Sicherheitslücke in Oracles E-Business-Suite (EBS) als Einfallstor gedient zu haben.
Datenabfluss bislang unbestätigt
Auf den Webseiten der nun betroffenen Einrichtungen finden sich keine Hinweise zu den Datenabflüssen. Carglass ist eine bekannte deutsche Werkstatt-Kette mit Spezialisierung auf Reparaturen von Steinschlägen in Autoscheiben. Sie war am Freitagnachmittag telefonisch nicht erreichbar, und auf die diesbezügliche E-Mail-Anfrage haben alle drei betroffenen Organisationen noch nicht umgehend reagiert.
Fluke ist einer der größten und renommiertesten Messegerätehersteller aus den USA. Der NHS England ist der dortige nationale Gesundheitsdienst. Gegenüber The Register wollte der NHS weder bestätigen noch abstreiten, dass es zu einem solchen IT-Vorfall gekommen ist. Ein Sprecher des NHS sagte dem Medium jedoch: „Wir sind uns bewusst, dass der NHS auf einer Website für Cyberkriminalität als von einem Cyberangriff betroffen aufgeführt wurde, aber es wurden keine Daten veröffentlicht. Unser Cybersicherheitsteam arbeitet eng mit dem National Cyber Security Centre zusammen, um dies zu untersuchen.“ Das steht jedoch im Widerspruch zu einem BitTorrent-Link, den cl0p inzwischen veröffentlicht hat, der zum Download der gestohlenen Daten führen soll.
Derzeit ist unklar, ob tatsächlich sensible Daten abgeflossen sind und wer alles davon betroffen ist. Ende Februar hatte die kriminelle Vereinigung cl0p insgesamt 230 neue Einträge zu Datendiebstählen bei Unternehmen aufgelistet, darunter auch bekanntere Unternehmen wie HP und HPE.
(dmk)
Künstliche Intelligenz
Neue PC-Spiele im Dezember 2025: „Terminator 2D: No Fate“
Das Gaming-Jahr 2025 geht im Dezember mit Highlights wie „Terminator 2D: No Fate“ und „Octopath Traveler 0“ zu Ende. Außerdem erscheint mit „Yakuza 0 Director’s Cut“ eine Neuauflage des beliebten Action-Adventures aus dem Jahr 2015.
Weiterlesen nach der Anzeige

Dotemu
)
Octopath Traveler 0
Mit „Octopath Traveler 0“ erscheint am 04. Dezember 2025 der dritte Teil der beliebten „Octopath Traveler“-Spielreihe, die sich weltweit bis heute mehr als fünf Millionen Mal verkaufte. Die Handlung von „Octopath Traveler 0“ ist zeitlich vor der Geschichte des ersten Teils angesiedelt und findet auf dem bekannten Kontinent Orsterra statt. Spieler starten in ihrer Heimatstadt Wishvale, die in Flammen aufgeht und mithilfe des neuen Stadtbausystems wiederaufgebaut werden kann. Eine weitere große Neuerung in „Octopath Traveler 0“ ist, dass Spieler die Spielwelt nicht mit einem vorgefertigten Protagonisten erkunden, sondern einen ganz eigenen Charakter mittels Charakter-Editor erstellen können.
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmung wird hier ein externes YouTube-Video (Google Ireland Limited) geladen.
Trailer zu „Octopath Traveler 0“
Die Gefährten, die Spieler entlang ihrer Reise durch die mitreißende Story des Spiels treffen, sind jedoch auch in „Octopath Traveler 0“ wieder mit von der Partie. Sie lassen sich je nach persönlicher Präferenz der Gruppe hinzufügen, nachdem sie freigeschaltet wurden. Stilistisch bleibt „Octopath Traveler 0“ der Reihe treu und setzt erneut auf die atmosphärische Mischung aus 2D-Grafik, Pixelart und modernen 3D-Effekten. Da „Octopath Traveler 0“ ein Prequel ist, sind keinerlei Vorkenntnisse der Story aus den anderen Spielen notwendig, sodass Fans der Spielereihe ebenso wie Neulinge voll auf ihre Kosten kommen.
Terminator 2D: No Fate
Nachdem das Releasedatum mehrfach verschoben wurde, sollen sich nun ab dem 12. Dezember 2025 in „Terminator 2D: No Fate“ endlich die Maschinen gegen ihre Schöpfer erheben. Erzählerisch nah an der Filmvorlage „Terminator 2: Judgment Day“, kommt „Terminator 2D: No Fate“ grafisch in charmanter, pixeliger Retro-Optik daher. Soundtechnisch erinnert das 2D-Sidescroller-Actionspiel an alte Arcade-Automaten, was gemeinsam mit der Grafik im 16-Bit-Look für ein nostalgisches Spielerlebnis sorgen soll. Im Storymodus schlüpft man in die Rolle verschiedener Figuren aus dem Film, darunter Sarah Connor, ihr Sohn John Connor sowie der ikonische T800.
Weiterlesen nach der Anzeige
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmung wird hier ein externes YouTube-Video (Google Ireland Limited) geladen.
Trailer zu „Terminator 2D: No Fate“
In 15 Missionen der Hauptstory sowie einigen anderen Modi (u.a. Arcade, Infinite, Boss Rush) steuert man die Protagonisten durch viele der bekannten, actionreichen Film-Momente sowie neue, von den Entwicklern (Bitmap Bureau) kreierte Szenarien. Mehrere mögliche Enden, ein Ranking-System für den Levelabschluss, vier Schwierigkeitsgrade sowie eine Highscore-Liste sorgen für einen hohen Wiederspielwert. Das Spiel erscheint für den PC und die gängigen Konsolen in unterschiedlichen digitalen und physischen Varianten, darunter auch eine Collector’s-Edition für Liebhaber des „Terminator“-Universums.
Yakuza 0 Director’s Cut
Am 08. Dezember 2025 geht mit „Yakuza 0 Director’s Cut“ eine überarbeitete und um einige Inhalte erweiterte Neuauflage des ursprünglich im Jahr 2015 veröffentlichten kultigen Action-Adventures „Yakuza 0“ an den Start. Das Original erschien zunächst für die Playstation 3 und 4, später dann auch für die Xbox One sowie den PC. „Yakuza 0“ ist ein Prequel und erzählt die Vorgeschichte des ersten „Yakuza“-Spiels aus dem Jahr 2005. In „Yakuza 0 Director’s Cut“ übernehmen Spieler im Japan der späten 1980er-Jahre die Kontrolle über die beiden Hauptakteure, Kazuma Kiryu und Goro Majima, deren Schicksale durch die berüchtigte japanische Verbrecherorganisation „Yakuza“ miteinander verbunden sind.
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmung wird hier ein externes YouTube-Video (Google Ireland Limited) geladen.
Trailer zu „Yakuza 0 Director’s Cut“
Kazuma und Goro prügeln sich mithilfe unterschiedlicher Kampfstile durch die Rotlichtviertel von Kamurocho und Sotenbori, die Nachbildungen der Vergnügungsviertel von Tokio und Osaka darstellen. Die Protagonisten verfügen jeweils über drei Kampfstile, zwischen denen Spieler dynamisch wechseln können. Die überarbeitete Fassung von „Yakuza 0“ hat neben technischen und optischen Verbesserungen unter anderem neue Zwischensequenzen sowie einen kooperativen Online-Mehrspielermodus für bis zu vier Spieler im Gepäck. „Yakuza 0 Director’s Cut“ wurde im Juni bereits für die Switch 2 veröffentlicht, im Dezember folgt nun der PC-Release.
Diese und weitere PC-Spiele-Neuerscheinungen im Dezember haben wir in der folgenden Tabelle zusammengefasst:
Tabelle: Alle Neuerscheinungen im Überblick
| Titel | Genre | Plattform | Datum |
| Marvel Cosmic Invasion | Beat ‚em up | Windows, Linux, PS5, Xbox Series, Switch | 01.12. |
| iRacing Arcade | Rennspiel | Windows | 02.12. |
| Sleep Awake | Horror | Windows, PS5, Xbox Series | 02.12. |
| Effulgence RPG | Retro-RPG | Windows | 02.12. |
| Kingdom of Night | Action-RPG | Windows | 02.12. |
| Scrabdackle | Action-Adventure | Windows, Mac, Linux | 02.12. |
| Routine | Horror | Windows, Xbox Series | 04.12. |
| Octopath Traveler 0 | JRPG | Windows, PS5, Xbox Series, Switch | 04.12. |
| Cloudheim | Action-RPG | Windows | 04.12. |
| Let It Die: Inferno | Action-Roguelike | Windows, PS5 | 04.12. |
| Angst: A Tail Of Survival | Survival-Abenteuer | Windows | 05.12. |
| Paralives | Simulation | Windows, Mac | 08.12. |
| Skate Story | Indie-Action | Windows, Mac | 08.12. |
| Yakuza 0 Director’s Cut | Action-RPG | Windows, PS5, Xbox Series, Switch | 08.12. |
| Keep the Heroes Out | Strategie | Windows, Mac, Linux | 09.12. |
| The End of History | Strategie-RPG | Windows | 10.12. |
| Shatterland | Koop-Survival | Windows | 11.12. |
| Anomalous Coffee Machine 2 | Visual Novel | Windows | 12.12. |
| Terminator 2D: No Fate | 2D-Sidescroller | Windows, Mac, Linux | 12.12. |
| Outhold | Strategie | Windows, Mac | 12.12. |
| Dreadway | Koop-Horror | Windows | 15.12. |
| The Last Ninja Collection | Retro-Games | Windows, Switch | 18.12. |
| Rhythia | Rhythmus-Spiel | Windows, Mac | 19.12. |
| Voice of Belldona | Roguelite | Windows | 31.12. |
| Metal Hunter | JRPG | Windows | 31.12. |
Die folgende Galerie zeigt die Spiele-Highlights für den PC aus dem November 2025:
Bilderstrecke: Die Highlights im November
Auch im laufenden Monat stehen noch einige Spielveröffentlichungen aus. Eine Übersicht der November-Releases zeigt die folgende Galerie:

Sega
)
Siehe dazu auch:
(sem)
Künstliche Intelligenz
Nvidia DGX Spark: Ist das wirklich der KI-„Supercomputer“?
Er wird als „KI-Supercomputer auf dem Schreibtisch“ beworben; aber kann Nvidias DGX Spark halten, was er verspricht? Wir haben die OEM-Variante Gigabyte AI Top Atom auf Herz und Nieren getestet und sie gegen die AMD-Strix-Halo-Konkurrenz (AI Max+ 395) antreten lassen.
Der Video-Test folgt unten, die Textvariante ist hier (heise+).
Weiterlesen nach der Anzeige
Transkript des Videos
(Hinweis: Dieses Transkript ist für Menschen gedacht, die das Video oben nicht schauen können oder wollen. Der Text gibt nicht alle Informationen der Bildspur wieder.)
Guckt mal hier, ich habe ihn endlich, den KI-Supercomputer für den Schreibtisch. Also zumindest bezeichnet Nvidia den DGX Spark so. Mein Testgerät kommt von Gigabyte und heißt AI Top Atom. Kostenpunkt: 4.300 Euro. Naja, das ist ja quasi nichts für so einen richtigen Supercomputer, oder?
Wir haben das Ding auf jeden Fall mit der Konkurrenz von AMD verglichen, also der Strix Halo Plattform, die ja in Vollausstattung AMD Ryzen AI Max+ 395 heißt. Konkret ist das der Framework Desktop. Darüber haben wir schon mal ein Video gemacht. Beide Rechner haben 128 Gigabyte schnellen Speicher. Und ich sage euch, ich fand die Ergebnisse richtig interessant. Und kleiner Spoiler: In vielen Benchmarks ist die AMD-Plattform tatsächlich schneller, obwohl die Geräte deutlich günstiger sind als die mit Nvidia-Technik. Und ja, meinen Gaming-PC haben wir auch mit in den Vergleich genommen. Bleibt dran.
Liebe Hackerinnen, liebe Internetsurfer, herzlich willkommen hier bei…
Also, da ist er nun, der Nvidia DGX Spark, beziehungsweise in meinem Fall der Gigabyte AI Top Atom. Und das kann man auf jeden Fall schon mal sagen: Das ist ein sehr ungewöhnliches Gerät. Angekündigt von Nvidia im Januar 2025 als KI-Supercomputer für den Schreibtisch, gibt es das Teil eben nicht nur von Nvidia im Goldgehäuse, sondern auch leicht modifiziert von Acer, Asus, Dell, HP, Lenovo und MSI. Und eben wie gesagt von Gigabyte, die uns als Erste ein Testgerät geschickt haben. Vielen Dank dafür.
Hätte man mich allerdings gefragt, hätte ich vielleicht den Begriff Atom vermieden, weil das ja nun der Markenname von Intels Billig-Prozessoren ist, die ich eher mit wenig Rechenpower assoziiere. Aber okay, der Gigabyte AI Top Atom kostet auf jeden Fall 4.300 Euro und hat wie alle DGX Spark-Varianten zwei wesentliche Besonderheiten. Einmal den Nvidia-Kombiprozessor GB10. GB steht für Grace Blackwell mit eingebauter Nvidia-GPU als CUDA-kompatiblen KI-Beschleuniger und zweitens viel, viel, viel schnellen Speicher, nämlich 128 Gigabyte LPDDR5X-RAM.
Weiterlesen nach der Anzeige
Aber wenn man sich diese Tabelle ja mal anguckt, ist die Geschwindigkeit zwar deutlich schneller als normales DDR5-RAM, aber eben auch bei Weitem nicht so schnell wie das Video-RAM auf aktuellen Grafikkarten. Und das sehen wir auch bei unseren Geschwindigkeitsmessungen, aber dazu später mehr.
Erst mal noch mal kurz, was die sonst noch so mitbringen, die Hardware. Am auffälligsten ist wohl der ziemlich exotische 200-Gigabit-Netzwerkadapter ConnectX-7, mit dem man mehrere dieser Rechner verkoppeln kann. Aber es gibt auch noch einen normalen RJ45-Port mit 10-Gigabit-Ethernet. Ansonsten halt einfach nur einen HDMI-2.1a-Port und vier USB-C-Ports, einer davon für die Stromversorgung. Ja, die läuft tatsächlich über USB Power Delivery und das Teil zieht unter Volllast auch maximal nur 216 Watt.
Hier seht ihr auch noch unsere anderen Messwerte, die meine Kollegen aus dem Hardwareressort der c’t ermittelt haben. Interessant dabei ist, dass der GPU-Teil des GB10-Kombiprozessors genauso viele Shader-Einheiten respektive CUDA-Kerne hat wie die GPU der Gaming-Grafikkarte RTX 5070, nämlich 6.144 Stück. Aber die sind bei der DGX Spark anders strukturiert, nämlich für KI-Algorithmen optimiert. Beispielsweise hat die GB10-GPU doppelt so viele Tensorkerne wie die 5070, nämlich 384 statt 192, aber weniger Render Output Units, 49 statt 80.
Kann man also genauso gut eine Grafikkarte nehmen, vor allem wenn da ja, wie gesagt, auch noch viel schnellerer Speicher drin ist? Ja, nee, denn Consumer-Grafikkarten haben zurzeit maximal 32 Gigabyte Speicher. Die 5070 hat sogar nur 16 und unser Testgerät halt 128 Gigabyte. Aber so Geräte mit 128 Gigabyte schnellem Unified Speicher gibt es ja auch noch mit anderen Architekturen, zum Beispiel von Apple oder von AMD.
Praktischerweise habe ich direkt so einen AMD Ryzen AI Max+ 395 da, also die Strix-Halo-Plattform und zwar den Framework Desktop. Was tatsächlich ein bisschen lustig ist: Strix Halo sollte ja die Antwort auf Nvidias DGX Spark sein, weil da bei der CES im Januar diesen Jahres viele Leute darüber gesprochen haben, war dann aber am Ende tatsächlich deutlich früher im Handel als das, worauf eigentlich reagiert werden sollte.
Auf alle Fälle sind vergleichbare Geräte mit AMD-Technik deutlich preisgünstiger. Also den Framework Desktop gibt es mit gleicher Ausstattung wie der DGX Spark, also mit 4 Terabyte SSD, für 2.800 Euro, also 1.500 Euro günstiger als die Nvidia-Variante. Von zum Beispiel GMKtec gibt es sogar einen AI Max+ 395 mit 128 Gigabyte für 1.999 Euro. Der hat dann allerdings nur 2 Terabyte SSD. Und ja, dazu kann ich im Moment auch noch nichts sagen, weil ich den noch nicht getestet habe.
Aber jetzt wird es auf jeden Fall interessant. Wie schneiden die beiden Kontrahenten denn jetzt ab mit so lokalen KI-Anwendungen? Ja, da habe ich nun versucht, den Vergleich so gerecht wie möglich aufzubauen. Also der Nvidia-Rechner läuft ja mit dem selbst benannten Nvidia DGX OS. Das ist aber eigentlich nur ein Ubuntu Linux mit einem angepassten Kernel. Und zwar ist der Kernel auch noch alt. Er hat Version 6.11. Das Ding ist über ein Jahr alt. Aktuell ist 6.17. Naja, aber dieses DGX OS ist eben das offiziell empfohlene Betriebssystem für DGX Spark-Computer. Deshalb nehmen wir das natürlich.
Bei dem Framework Desktop hier nennt Framework zwei offiziell unterstützte Linux-Varianten, einmal Fedora und einmal Beside. Beside ist ja eher so Gaming-orientiert. Deshalb habe ich einfach Fedora Workstation 43 installiert. Bei meinem Vergleichs-Gaming-PC läuft CachyOS.
Ja, und der erste Benchmark war natürlich LLM-Abzapfen aka Inferenz. Da habe ich auf allen Rechnern LM Studio in der aktuellen Version 0.3.31 verwendet. Als Runtime natürlich CUDA für Nvidia und Vulkan für das AMD-System. ROCm kann LM Studio eigentlich auch, aber das lief bei uns nicht. Und ram tam tam tam – hier sind die Ergebnisse.
Ja, ich würde sagen, das nimmt sich nicht viel. Beziehungsweise bei dem wichtigen Modell GPT-OSS:120B ist der günstigere AMD-Rechner sogar 11 Prozent schneller. Generell kann man auf jeden Fall sagen: Wenn ihr nur LLM-Inferenz machen wollt, könnt ihr gut das AMD-Modell nehmen.
Fernab von den Vergleichen: Es ist auf jeden Fall beeindruckend, mit GPT-OSS ein 63 GB großes Modell mit 120 Milliarden Parametern mit fast 50 Token die Sekunde laufen zu lassen auf so einem kleinen Ding. Das ist tatsächlich besonders. Allerdings gibt es auch nicht so viele Open-Source-Modelle, die so groß sind.
Und da kommt jetzt mein Gaming-PC mit RTX 4090 ins Spiel. Guckt mal hier, der ist mit den meisten von mir getesteten aktuell populären Sprachmodellen ungefähr dreimal so schnell, weil die halt klein sind und in den 24-Gigabyte großen Speicher meiner 4090 passen. Nur halt GPT-OSS 120B nicht. Das muss ich in meinen langsamen, normalen DDR5-Arbeitsspeicher auslagern. Und deshalb schaffe ich damit dann nur 16,9 Token.
So, jetzt sind mir aber noch andere interessante Unterschiede aufgefallen. So lädt GPT-OSS:120B bei der Nvidia-Kiste viel länger, nämlich anderthalb Minuten. Gleichzeitig friert auch der Bildschirm jedes Mal für ein paar Sekunden ein. Also ich kann auch die Maus einige Sekunden lang nicht bewegen. Mit den anderen beiden Rechnern lädt das Modell deutlich schneller, in weniger als 20 Sekunden.
So, aber wir können jetzt auch RAG machen, also eigene Dateien mit dem Sprachmodell analysieren. Ich habe hier mal das Programm des sogenannten Entdeckertags der Region Hannover reingeschmissen und dann Fragen dazu gestellt. Damit das ganze PDF in den Kontext passt, muss man das Kontextfenster manuell hochziehen auf mindestens 20.000 Token.
Ja, das Ding ist jetzt, dass die Nvidia-Workstation nur 14 Sekunden braucht, um das alles zu verarbeiten. Die AMD-Konkurrenz braucht fast vier Minuten und mein Gaming-PC 46 Sekunden. Also der Teufel steckt bei solchen Sachen wirklich im Detail. Müsst ihr wirklich überlegen, was ihr machen wollt, was da die richtige Hardware für euch ist.
Übrigens habe ich auch alles mal testweise mit Ollama gemessen, und da kann ich euch sagen: LM Studio ist auf allen drei Systemen immer schneller gewesen. Hier die Zahlen dazu.
Ja, aber man will ja vielleicht mit so einer Workstation nicht nur LLMs anzapfen, sondern vielleicht auch Bilder, Videos oder Musik generieren. Und das machen inzwischen viele Leute mit ComfyUI. Das ist so eine Node-basierte GenAI-Umgebung. Und ja, die lässt sich bei Nvidia wunderbar einfach installieren. Es gibt da nämlich sogenannte Playbooks, und das sind so recht übersichtlich gemachte Tutorials, wie man bestimmte Dinge zum Laufen bringt. Und da gibt es ziemlich viele dieser Playbooks von Nvidia, also auch für so Feintuning-Sachen, zum Beispiel Anbindungen in VSCode und natürlich wie gesagt auch ComfyUI.
Das Playbook sagt, die Installation dauert 45 Minuten. Das ist aber wirklich sehr pessimistisch. Das hat in meinem Fall nicht mal 15 Minuten gedauert. Auf dem Framework Desktop sah die Sache dann schon wirklich anders aus. Da habe ich mich leider stundenlang festgefrickelt, weil ich es lange nicht hinbekommen habe, dass ComfyUI meine ROCm-Installation akzeptiert. Und da merkt man dann halt deutlich, dass viele Sachen eben mit Nvidia CUDA im Kopf entwickelt wurden. Also ROCm ist quasi die AMD-Variante von CUDA, aber eben ein bisschen weniger populär.
Ja, und am Ende habe ich es hinbekommen. Aber mein Benchmark hier, das ist einfach das Bildgenerierungsmodell FLUX.1-dev-fp8. Da habe ich einfach das Standard-Template mit einem eigenen Prompt genommen. Und da braucht das Generieren eines 1024×1024 Pixel großen Bildes mit dem Nvidia DGX Spark-System 38 Sekunden, bei dem AMD-System 89 Sekunden, also mehr als doppelt so lange. Mein Gaming-PC mit RTX 4090 schafft es in 12 Sekunden.
Wenn ihr jetzt aufgepasst habt, dann habt ihr vielleicht gemerkt, dass es eine einzige Sache gab bislang, die mein Gaming-PC nicht deutlich besser gemacht hat als die beiden speziellen KI-PCs. Und das ist tatsächlich das Abzapfen des einen großen LLMs GPT-OSS:120B, weil das eben nicht in die 24 Gigabyte Speicher meiner RTX 4090 passt. Aber der ganze andere Kram eben schon. Also gerade diese Bild- und Video-Generierungssachen, die sind halt auf kleinere RAM-Größen ausgelegt.
Okay, ja gut, man könnte natürlich von den offenen Sprachmodellen statt mit 4-Bit quantisierte Modelle irgendwie, keine Ahnung, 8-Bit quantisierte Modelle nutzen. Die würden auch nicht in den Speicher meiner Grafikkarte passen. Und natürlich schon in die AMD-Workstation, in die Nvidia-Workstation. Das würde schon gehen. Aber ob das so viel bringt, ist die Frage.
Aber generell kann man auf jeden Fall sagen: Es fehlen die Inferenz-KI-Killer-Applikationen für diese Speichergröße, weil dann am Ende 128 Gigabyte dann doch zu wenig sind, um zum Beispiel so etwas wie DeepSeek zu laden, was also wirklich ein ernsthafter Wettbewerber zu den großen kommerziellen Cloud-Modellen ist. Aber das braucht halt einfach mindestens das Fünffache an Speicher.
Und deshalb muss man sagen, dass die KI-Workstations wirklich für ordentliche normale KI-Anwender wahrscheinlich nichts sind und dass am Ende die Nützlichkeit sehr, sehr, sehr, sehr spezifisch ist. Also zum Beispiel, das ist für Leute, die irgendwelche KI-Software in Rechenzentren deployen wollen und die vorher auf der gleichen Architektur testen wollen. Also ein ganz spezielles Entwicklergerät für die Nvidia-Serverplattform DGX.
Wenn ich mir jetzt aber angucke, wie viele Hersteller diese sehr, sehr speziellen Rechner verkaufen, da denke ich schon, da scheint der KI-Hype dann doch schon mit reinzuspielen. Denn gibt es wirklich so viele Entwickler, die einen so speziellen Rechner brauchen? Weiß nicht.
Beim Framework ist es ja so, dass der Rechner primär als Gaming-PC vermarktet wird. Also zumindest steht hier auf der Website Gaming noch vor KI und auch die Produktfotos, die sehen mir sehr nach Gaming aus. Aber auch hier ist es so: Das Preis-Leistungs-Verhältnis ist, wenn man damit nur spielen will, ziemlich schlecht.
Ja, also wenn jemand von euch da draußen mit diesen Geräten liebäugelt: Ich hoffe, dieses Video hat euch ein bisschen geholfen, das Thema besser einzuschätzen. Ich jedenfalls, der sehr gerne mit lokalen KI-Sachen herumexperimentiert, kann für mich auf jeden Fall sagen, dass ich mit meinem PC mit RTX 4090 und 128 GB langsamem DDR5-RAM als Backup-Notlösungsspeicher Stand heute mehr anfangen kann als mit diesen beiden spezialisierten Geräten. Aber ich bin auch kein Entwickler, der irgendwelche Modelle fine-tuned – bisher jedenfalls nicht – oder Anwendungen für DGX-Systeme baut.
Ja, wie seht ihr das? Bin ich da total auf der falschen Spur? Gerne in die Kommentare schreiben und tschüss.
c’t 3003 ist der YouTube-Channel von c’t. Die Videos auf c’t 3003 sind eigenständige Inhalte und unabhängig von den Artikeln im c’t Magazin. Die Redakteure Jan-Keno Janssen, Lukas Rumpler, Sahin Erengil und Pascal Schewe veröffentlichen jede Woche ein Video.
(jkj)
-
UX/UI & Webdesignvor 3 MonatenDer ultimative Guide für eine unvergessliche Customer Experience
-
UX/UI & Webdesignvor 3 MonatenAdobe Firefly Boards › PAGE online
-
Apps & Mobile Entwicklungvor 3 MonatenGalaxy Tab S10 Lite: Günstiger Einstieg in Samsungs Premium-Tablets
-
Social Mediavor 3 MonatenRelatable, relevant, viral? Wer heute auf Social Media zum Vorbild wird – und warum das für Marken (k)eine gute Nachricht ist
-
Datenschutz & Sicherheitvor 2 MonatenHarte Zeiten für den demokratischen Rechtsstaat
-
UX/UI & Webdesignvor 4 WochenIllustrierte Reise nach New York City › PAGE online
-
Entwicklung & Codevor 3 MonatenPosit stellt Positron vor: Neue IDE für Data Science mit Python und R
-
Datenschutz & Sicherheitvor 2 MonatenJetzt patchen! Erneut Attacken auf SonicWall-Firewalls beobachtet
