Er wird als „KI-Supercomputer auf dem Schreibtisch“ beworben; aber kann Nvidias DGX Spark halten, was er verspricht? Wir haben die OEM-Variante Gigabyte AI Top Atom auf Herz und Nieren getestet und sie gegen die AMD-Strix-Halo-Konkurrenz (AI Max+ 395) antreten lassen.

Der Video-Test folgt unten, die Textvariante ist hier (heise+).

Transkript des Videos

(Hinweis: Dieses Transkript ist für Menschen gedacht, die das Video oben nicht schauen können oder wollen. Der Text gibt nicht alle Informationen der Bildspur wieder.)

Guckt mal hier, ich habe ihn endlich, den KI-Supercomputer für den Schreibtisch. Also zumindest bezeichnet Nvidia den DGX Spark so. Mein Testgerät kommt von Gigabyte und heißt AI Top Atom. Kostenpunkt: 4.300 Euro. Naja, das ist ja quasi nichts für so einen richtigen Supercomputer, oder?

Wir haben das Ding auf jeden Fall mit der Konkurrenz von AMD verglichen, also der Strix Halo Plattform, die ja in Vollausstattung AMD Ryzen AI Max+ 395 heißt. Konkret ist das der Framework Desktop. Darüber haben wir schon mal ein Video gemacht. Beide Rechner haben 128 Gigabyte schnellen Speicher. Und ich sage euch, ich fand die Ergebnisse richtig interessant. Und kleiner Spoiler: In vielen Benchmarks ist die AMD-Plattform tatsächlich schneller, obwohl die Geräte deutlich günstiger sind als die mit Nvidia-Technik. Und ja, meinen Gaming-PC haben wir auch mit in den Vergleich genommen. Bleibt dran.

Liebe Hackerinnen, liebe Internetsurfer, herzlich willkommen hier bei…

Also, da ist er nun, der Nvidia DGX Spark, beziehungsweise in meinem Fall der Gigabyte AI Top Atom. Und das kann man auf jeden Fall schon mal sagen: Das ist ein sehr ungewöhnliches Gerät. Angekündigt von Nvidia im Januar 2025 als KI-Supercomputer für den Schreibtisch, gibt es das Teil eben nicht nur von Nvidia im Goldgehäuse, sondern auch leicht modifiziert von Acer, Asus, Dell, HP, Lenovo und MSI. Und eben wie gesagt von Gigabyte, die uns als Erste ein Testgerät geschickt haben. Vielen Dank dafür.

Hätte man mich allerdings gefragt, hätte ich vielleicht den Begriff Atom vermieden, weil das ja nun der Markenname von Intels Billig-Prozessoren ist, die ich eher mit wenig Rechenpower assoziiere. Aber okay, der Gigabyte AI Top Atom kostet auf jeden Fall 4.300 Euro und hat wie alle DGX Spark-Varianten zwei wesentliche Besonderheiten. Einmal den Nvidia-Kombiprozessor GB10. GB steht für Grace Blackwell mit eingebauter Nvidia-GPU als CUDA-kompatiblen KI-Beschleuniger und zweitens viel, viel, viel schnellen Speicher, nämlich 128 Gigabyte LPDDR5X-RAM.

Aber wenn man sich diese Tabelle ja mal anguckt, ist die Geschwindigkeit zwar deutlich schneller als normales DDR5-RAM, aber eben auch bei Weitem nicht so schnell wie das Video-RAM auf aktuellen Grafikkarten. Und das sehen wir auch bei unseren Geschwindigkeitsmessungen, aber dazu später mehr.

Erst mal noch mal kurz, was die sonst noch so mitbringen, die Hardware. Am auffälligsten ist wohl der ziemlich exotische 200-Gigabit-Netzwerkadapter ConnectX-7, mit dem man mehrere dieser Rechner verkoppeln kann. Aber es gibt auch noch einen normalen RJ45-Port mit 10-Gigabit-Ethernet. Ansonsten halt einfach nur einen HDMI-2.1a-Port und vier USB-C-Ports, einer davon für die Stromversorgung. Ja, die läuft tatsächlich über USB Power Delivery und das Teil zieht unter Volllast auch maximal nur 216 Watt.

Hier seht ihr auch noch unsere anderen Messwerte, die meine Kollegen aus dem Hardwareressort der c’t ermittelt haben. Interessant dabei ist, dass der GPU-Teil des GB10-Kombiprozessors genauso viele Shader-Einheiten respektive CUDA-Kerne hat wie die GPU der Gaming-Grafikkarte RTX 5070, nämlich 6.144 Stück. Aber die sind bei der DGX Spark anders strukturiert, nämlich für KI-Algorithmen optimiert. Beispielsweise hat die GB10-GPU doppelt so viele Tensorkerne wie die 5070, nämlich 384 statt 192, aber weniger Render Output Units, 49 statt 80.

Kann man also genauso gut eine Grafikkarte nehmen, vor allem wenn da ja, wie gesagt, auch noch viel schnellerer Speicher drin ist? Ja, nee, denn Consumer-Grafikkarten haben zurzeit maximal 32 Gigabyte Speicher. Die 5070 hat sogar nur 16 und unser Testgerät halt 128 Gigabyte. Aber so Geräte mit 128 Gigabyte schnellem Unified Speicher gibt es ja auch noch mit anderen Architekturen, zum Beispiel von Apple oder von AMD.

Praktischerweise habe ich direkt so einen AMD Ryzen AI Max+ 395 da, also die Strix-Halo-Plattform und zwar den Framework Desktop. Was tatsächlich ein bisschen lustig ist: Strix Halo sollte ja die Antwort auf Nvidias DGX Spark sein, weil da bei der CES im Januar diesen Jahres viele Leute darüber gesprochen haben, war dann aber am Ende tatsächlich deutlich früher im Handel als das, worauf eigentlich reagiert werden sollte.

Auf alle Fälle sind vergleichbare Geräte mit AMD-Technik deutlich preisgünstiger. Also den Framework Desktop gibt es mit gleicher Ausstattung wie der DGX Spark, also mit 4 Terabyte SSD, für 2.800 Euro, also 1.500 Euro günstiger als die Nvidia-Variante. Von zum Beispiel GMKtec gibt es sogar einen AI Max+ 395 mit 128 Gigabyte für 1.999 Euro. Der hat dann allerdings nur 2 Terabyte SSD. Und ja, dazu kann ich im Moment auch noch nichts sagen, weil ich den noch nicht getestet habe.

Aber jetzt wird es auf jeden Fall interessant. Wie schneiden die beiden Kontrahenten denn jetzt ab mit so lokalen KI-Anwendungen? Ja, da habe ich nun versucht, den Vergleich so gerecht wie möglich aufzubauen. Also der Nvidia-Rechner läuft ja mit dem selbst benannten Nvidia DGX OS. Das ist aber eigentlich nur ein Ubuntu Linux mit einem angepassten Kernel. Und zwar ist der Kernel auch noch alt. Er hat Version 6.11. Das Ding ist über ein Jahr alt. Aktuell ist 6.17. Naja, aber dieses DGX OS ist eben das offiziell empfohlene Betriebssystem für DGX Spark-Computer. Deshalb nehmen wir das natürlich.

Bei dem Framework Desktop hier nennt Framework zwei offiziell unterstützte Linux-Varianten, einmal Fedora und einmal Beside. Beside ist ja eher so Gaming-orientiert. Deshalb habe ich einfach Fedora Workstation 43 installiert. Bei meinem Vergleichs-Gaming-PC läuft CachyOS.

Ja, und der erste Benchmark war natürlich LLM-Abzapfen aka Inferenz. Da habe ich auf allen Rechnern LM Studio in der aktuellen Version 0.3.31 verwendet. Als Runtime natürlich CUDA für Nvidia und Vulkan für das AMD-System. ROCm kann LM Studio eigentlich auch, aber das lief bei uns nicht. Und ram tam tam tam – hier sind die Ergebnisse.

Ja, ich würde sagen, das nimmt sich nicht viel. Beziehungsweise bei dem wichtigen Modell GPT-OSS:120B ist der günstigere AMD-Rechner sogar 11 Prozent schneller. Generell kann man auf jeden Fall sagen: Wenn ihr nur LLM-Inferenz machen wollt, könnt ihr gut das AMD-Modell nehmen.

Fernab von den Vergleichen: Es ist auf jeden Fall beeindruckend, mit GPT-OSS ein 63 GB großes Modell mit 120 Milliarden Parametern mit fast 50 Token die Sekunde laufen zu lassen auf so einem kleinen Ding. Das ist tatsächlich besonders. Allerdings gibt es auch nicht so viele Open-Source-Modelle, die so groß sind.

Und da kommt jetzt mein Gaming-PC mit RTX 4090 ins Spiel. Guckt mal hier, der ist mit den meisten von mir getesteten aktuell populären Sprachmodellen ungefähr dreimal so schnell, weil die halt klein sind und in den 24-Gigabyte großen Speicher meiner 4090 passen. Nur halt GPT-OSS 120B nicht. Das muss ich in meinen langsamen, normalen DDR5-Arbeitsspeicher auslagern. Und deshalb schaffe ich damit dann nur 16,9 Token.

So, jetzt sind mir aber noch andere interessante Unterschiede aufgefallen. So lädt GPT-OSS:120B bei der Nvidia-Kiste viel länger, nämlich anderthalb Minuten. Gleichzeitig friert auch der Bildschirm jedes Mal für ein paar Sekunden ein. Also ich kann auch die Maus einige Sekunden lang nicht bewegen. Mit den anderen beiden Rechnern lädt das Modell deutlich schneller, in weniger als 20 Sekunden.

So, aber wir können jetzt auch RAG machen, also eigene Dateien mit dem Sprachmodell analysieren. Ich habe hier mal das Programm des sogenannten Entdeckertags der Region Hannover reingeschmissen und dann Fragen dazu gestellt. Damit das ganze PDF in den Kontext passt, muss man das Kontextfenster manuell hochziehen auf mindestens 20.000 Token.

Ja, das Ding ist jetzt, dass die Nvidia-Workstation nur 14 Sekunden braucht, um das alles zu verarbeiten. Die AMD-Konkurrenz braucht fast vier Minuten und mein Gaming-PC 46 Sekunden. Also der Teufel steckt bei solchen Sachen wirklich im Detail. Müsst ihr wirklich überlegen, was ihr machen wollt, was da die richtige Hardware für euch ist.

Übrigens habe ich auch alles mal testweise mit Ollama gemessen, und da kann ich euch sagen: LM Studio ist auf allen drei Systemen immer schneller gewesen. Hier die Zahlen dazu.

Ja, aber man will ja vielleicht mit so einer Workstation nicht nur LLMs anzapfen, sondern vielleicht auch Bilder, Videos oder Musik generieren. Und das machen inzwischen viele Leute mit ComfyUI. Das ist so eine Node-basierte GenAI-Umgebung. Und ja, die lässt sich bei Nvidia wunderbar einfach installieren. Es gibt da nämlich sogenannte Playbooks, und das sind so recht übersichtlich gemachte Tutorials, wie man bestimmte Dinge zum Laufen bringt. Und da gibt es ziemlich viele dieser Playbooks von Nvidia, also auch für so Feintuning-Sachen, zum Beispiel Anbindungen in VSCode und natürlich wie gesagt auch ComfyUI.

Das Playbook sagt, die Installation dauert 45 Minuten. Das ist aber wirklich sehr pessimistisch. Das hat in meinem Fall nicht mal 15 Minuten gedauert. Auf dem Framework Desktop sah die Sache dann schon wirklich anders aus. Da habe ich mich leider stundenlang festgefrickelt, weil ich es lange nicht hinbekommen habe, dass ComfyUI meine ROCm-Installation akzeptiert. Und da merkt man dann halt deutlich, dass viele Sachen eben mit Nvidia CUDA im Kopf entwickelt wurden. Also ROCm ist quasi die AMD-Variante von CUDA, aber eben ein bisschen weniger populär.

Ja, und am Ende habe ich es hinbekommen. Aber mein Benchmark hier, das ist einfach das Bildgenerierungsmodell FLUX.1-dev-fp8. Da habe ich einfach das Standard-Template mit einem eigenen Prompt genommen. Und da braucht das Generieren eines 1024×1024 Pixel großen Bildes mit dem Nvidia DGX Spark-System 38 Sekunden, bei dem AMD-System 89 Sekunden, also mehr als doppelt so lange. Mein Gaming-PC mit RTX 4090 schafft es in 12 Sekunden.

Wenn ihr jetzt aufgepasst habt, dann habt ihr vielleicht gemerkt, dass es eine einzige Sache gab bislang, die mein Gaming-PC nicht deutlich besser gemacht hat als die beiden speziellen KI-PCs. Und das ist tatsächlich das Abzapfen des einen großen LLMs GPT-OSS:120B, weil das eben nicht in die 24 Gigabyte Speicher meiner RTX 4090 passt. Aber der ganze andere Kram eben schon. Also gerade diese Bild- und Video-Generierungssachen, die sind halt auf kleinere RAM-Größen ausgelegt.

Okay, ja gut, man könnte natürlich von den offenen Sprachmodellen statt mit 4-Bit quantisierte Modelle irgendwie, keine Ahnung, 8-Bit quantisierte Modelle nutzen. Die würden auch nicht in den Speicher meiner Grafikkarte passen. Und natürlich schon in die AMD-Workstation, in die Nvidia-Workstation. Das würde schon gehen. Aber ob das so viel bringt, ist die Frage.

Aber generell kann man auf jeden Fall sagen: Es fehlen die Inferenz-KI-Killer-Applikationen für diese Speichergröße, weil dann am Ende 128 Gigabyte dann doch zu wenig sind, um zum Beispiel so etwas wie DeepSeek zu laden, was also wirklich ein ernsthafter Wettbewerber zu den großen kommerziellen Cloud-Modellen ist. Aber das braucht halt einfach mindestens das Fünffache an Speicher.

Und deshalb muss man sagen, dass die KI-Workstations wirklich für ordentliche normale KI-Anwender wahrscheinlich nichts sind und dass am Ende die Nützlichkeit sehr, sehr, sehr, sehr spezifisch ist. Also zum Beispiel, das ist für Leute, die irgendwelche KI-Software in Rechenzentren deployen wollen und die vorher auf der gleichen Architektur testen wollen. Also ein ganz spezielles Entwicklergerät für die Nvidia-Serverplattform DGX.

Wenn ich mir jetzt aber angucke, wie viele Hersteller diese sehr, sehr speziellen Rechner verkaufen, da denke ich schon, da scheint der KI-Hype dann doch schon mit reinzuspielen. Denn gibt es wirklich so viele Entwickler, die einen so speziellen Rechner brauchen? Weiß nicht.

Beim Framework ist es ja so, dass der Rechner primär als Gaming-PC vermarktet wird. Also zumindest steht hier auf der Website Gaming noch vor KI und auch die Produktfotos, die sehen mir sehr nach Gaming aus. Aber auch hier ist es so: Das Preis-Leistungs-Verhältnis ist, wenn man damit nur spielen will, ziemlich schlecht.

Ja, also wenn jemand von euch da draußen mit diesen Geräten liebäugelt: Ich hoffe, dieses Video hat euch ein bisschen geholfen, das Thema besser einzuschätzen. Ich jedenfalls, der sehr gerne mit lokalen KI-Sachen herumexperimentiert, kann für mich auf jeden Fall sagen, dass ich mit meinem PC mit RTX 4090 und 128 GB langsamem DDR5-RAM als Backup-Notlösungsspeicher Stand heute mehr anfangen kann als mit diesen beiden spezialisierten Geräten. Aber ich bin auch kein Entwickler, der irgendwelche Modelle fine-tuned – bisher jedenfalls nicht – oder Anwendungen für DGX-Systeme baut.

Ja, wie seht ihr das? Bin ich da total auf der falschen Spur? Gerne in die Kommentare schreiben und tschüss.

c’t 3003 ist der YouTube-Channel von c’t. Die Videos auf c’t 3003 sind eigenständige Inhalte und unabhängig von den Artikeln im c’t Magazin. Die Redakteure Jan-Keno Janssen, Lukas Rumpler, Sahin Erengil und Pascal Schewe veröffentlichen jede Woche ein Video.

(jkj)