Klein, bunt, aber auch leistungsfähig? Der Framework Desktop kommt mit AMDs AI Max+ 395 und, ganz wichtig, 128 GByte schnellem, aufgelötetem Speicher. Die große Frage: Was kann man damit anfangen?

Transkript des Videos

(Hinweis: Dieses Transkript ist für Menschen gedacht, die das Video oben nicht schauen können oder wollen. Der Text gibt nicht alle Informationen der Bildspur wieder.)

Guckt mal hier, das ist der Framework-Desktop und der wird von Framework sowohl als Gaming-PC als auch als KI-Workstation vermarktet, und damit tickt das Ding direkt drei Häkchen auf meiner persönlichen finde-ich-gut-Liste. Ja, das dritte Häkchen ist das Design, weil mich persönlich nervt diese Gaming-PC-Aliensäure-Militär-irgendwas-Ästhetik echt schon lange, und dieses Framework-Ding hier, das sieht richtig contemporary aus. Die Marketingfotos wirken fast wie Modewerbung. Finde ich eigentlich ganz frisch im manchmal etwas muffigen PC-Sektor. Guck mal, man kann hier auch so kleine Plättchen kaufen für die Vorderseite und die da reinbauen. Guck mal, ein Linux-Pinguin und ein Arch-Linux-Logo. Da läuft ja auch Windows drauf. Gibt es auch ein Windows-Logo? Ach so, okay, ja, also Linux-Pinguin. Aber wir sind ja auch nicht bei Vogue und achten nur aufs Äußere, sondern wir sind bei c’t 3003, und deshalb geht es hier natürlich nur darum, was das Ding taugt. Spoiler: Es gibt ein paar größere Probleme. Bleibt dran.

Liebe Hackerinnen, liebe Internet-Surfer, herzlich willkommen hier bei…

Ja, genau, Framework. Den Hersteller habe ich persönlich auf dem Schirm, seit mein Tech-YouTube-Kollege Linus, ja, genau der mit den Tech-Tipps, angekündigt hat, dass er fast eine viertel Millionen Dollar in das Unternehmen investiert hat. Die Idee hinter Framework, die bislang nur Notebooks gemacht haben: Das meiste ist modular. Man kann also das eigene Notebook immer aufrüsten und reparieren, ohne das ganze Ding austauschen zu müssen. Gute Idee, kommt gut an, ist durchaus erfolgreich. Und jetzt haben mir die Framework-Leute ihren ersten stationären PC ausgeliehen, den Framework-Desktop. Also ganz stationär ist er natürlich auch nicht, weil er superklein ist, und man kann auch diesen neckischen Griff hier oben einbauen. Ja, und sowieso, Stichwort einbauen: Man kriegt das Teil zurzeit nur als Do-it-yourself-Edition. Also das ist dann quasi ein Barebone mit CPU und RAM schon drin, und man muss die SSD und den Lüfter einbauen. Aber das geht easy und ist wirklich in wenigen Minuten geregelt. Und das ist auch alles sehr schön dokumentiert. Also das hat sogar echt Spaß gemacht, das Ding zusammenzubauen.

Was drin steckt

Da drin steckt AMDs Halo-Strix-Technik, also in meinem Testgerät konkret der AMD Kombi-Prozessor AI Max+ 395. Das ist eine 16-kernige CPU mit einem Boost-Takt von 5,1 GHz, integrierter Radeon-8060S-Grafik und einem KI-Beschleuniger aka NPU. Speicher gibt es auch, nämlich unified LPDDR5X-8000, der über 256 Datenbahnen angebunden ist. In der Praxis bringt das eine drei- bis viermal so hohe Geschwindigkeit wie ein normaler DDR5-Speicher. Alles teilt sich den Speicher, deshalb heißt das Unified. Der ist in meinem Testgerät 128 Gigabyte groß. Und das ist wohl die größte Besonderheit im Vergleich zu normalen PCs, dass man sehr viel ziemlich schnellen Speicher hat. Zum Vergleich: Bei konventioneller Architektur hat man halt eine CPU mit vergleichsweise langsamem Speicher und eine GPU, die sehr schnellen Speicher hat. Allerdings, das muss man sagen, echte GPU-Speicher sind noch mal deutlich schneller als der hier meines AMD-Kombiprozessors hier. Also die teuersten Nvidia-Grafikkarten mit ihrem GDDR7 sind um mehrere Faktoren schneller. Allerdings, das muss man auch sagen, hat GDDR7 auch eine deutlich höhere Latenz als DDR5-Speicher. Das muss man auch bedenken, hat alles seine Vor- und Nachteile.

Aber man kann zusammenfassen: Man kriegt im Framework-Desktop ziemlich schnellen, latenzarmen Speicher. Das Konzept mit CPU und GPU in einem Chip und dem aufgelöteten Unified-Speicher, das erinnert stark an die Apple-Silicon-Architektur. Wenn ihr jetzt sagt, ja, aber so CPUs mit integrierter Grafik, das gibt es doch schon ewig: Ja, das ist richtig. Aber Apple hat mit dem M1 angefangen, da richtig Wumms in die GPU reinzustecken. Und die Windows-Linux-Welt, die zieht jetzt nach. Die AMD-Halo-Strix-Teile sind tatsächlich so schnell, dass Framework den Desktop als Gaming-PC verkaufen kann. Und die große Frage: Hält der das Versprechen? Ja, schon. Also man kann halt Cyberpunk 2077 mit ein bisschen Ray-Tracing, also dem Low-RT-Preset, mit WQHD-Auflösung mit durchschnittlich 61 FPS spielen, sogar ohne Zwischenbildberechnung. Das ist schon okay, aber halt kein High-End.

Aber der Preis, der geht schon so ziemlich in Richtung High-End. Mein Testsystem kostet nämlich 2698 Euro. Also ich habe ja hier eine ziemlich volle Ausstattung mit 128 GB Unified-RAM und 2-TB-SSD. Nimmt man jetzt den gleichen Chip mit nur 64 GB Speicher und nur eine 512er-SSD und ohne Netzkabel und ohne diese netten Teile hier vorne drauf, dann kommt man mit knapp unter 2000 Euro weg. Ist aber halt immer noch ziemlich viel Geld. Es gibt noch eine kleinere Version des Desktops, die fängt bei 1279 Euro an. Die hat aber auch nur den kleineren Kombi-Prozessor, den 385er, 32 GB RAM. Und der hat auch nur halb so viele Kerne. Das Ding wird also noch mal deutlich langsamer sein.

Ja, also nicht billig. Vor allem, wenn man bedenkt, dass die Spieleleistung von Nicht-Ray-Tracing-Spielen mit dem von c’t konzipierten Budget-Gaming-PC mit einer AMD-RX-7600-Grafikkarte, der kostet zurzeit ohne Zusammenbau 645 Euro. Naja, und der schafft im Cyberpunk-Ultra-Preset in WQHD ähnlich viele Frames wie der Framework hier. Und auch die 3DMark-Steel-Nomad-Punktzahl ist ähnlich hoch. Ach so, noch ein Nachtrag: Ray-Tracing kann der Framework tatsächlich etwas besser als der Budget-Gamer mit RX 7600. Hier haben wir durchschnittlich 61 Frames in WQHD beim Framework gemessen, beim Budget-PC waren es nur 39. Und Cinebench performt auch deutlich besser wegen der vielen Kerne. Also immerhin, Gaming geht auf jeden Fall, nur nicht High-End-mäßig in 4K.

Ja, wenn man nur spielen will, dann kriegt man auf jeden Fall für weniger Geld mehr Leistung. Also schon, wenn man 770 Euro ausgibt. Das wäre der gerade erwähnte c’t-Budget-Gaming-PC mit einer 7700 XT statt einer 7600. Dann kriegt man schon mehr Leistung. Das sind weniger als ein Drittel dessen, was der Framework-Desktop aus dem Test hier kostet.

KI-Messungen

Aber wir haben ja noch das große KI-Thema, und da wird es nun natürlich interessant. Für lokale KI-Anwendungen braucht man bekanntlich schnellen Speicher, also gerne eher auf der Grafikkarte. Aber die schnellste Consumer-Grafikkarte, die Nvidia RTX 5090, die übrigens alleine schon 2000 Euro kostet, die hat nur 32 GB Speicher. Mit dem Framework kriegt man aber in der größten Ausbaustufe 128 GB recht schnellen Speicher. Aber es ist ein AMD-Chip. Also das in der KI-Welt sehr etablierte CUDA-Framework, das kann man nicht verwenden. Das ist ja von Nvidia. Die Konkurrenz von AMD heißt ROCm und ja, die etabliert sich immer ein bisschen mehr, aber die ist definitiv noch nicht so etabliert wie CUDA. Aber es läuft schon irgendwie.

Die besten Benchmark-Werte habe ich unter Windows mit dem 2 GB kleinen Sprachmodell Llama 3.2 unter LM Studio erzielt, nämlich 77,2 Token pro Sekunde. Allerdings nur mit einem Beta-Grafikkartentreiber, mit dem normalen aktuellen Adrenalin-AMD-Treiber waren es nur 25,1 Token. Ja, und der Mac Mini M4 Pro, den es ab 1700 Euro gibt, der schafft 74,5 Token die Sekunde. Und mein Schnittrechner mit RTX 4090, der macht sogar 232 Token pro Sekunde. Also da reißt Framework schon mal keine Bäume aus. Aber, und jetzt kommt’s: Das Besondere sind eben diese 128 GB. Damit kann man dann nämlich Sprachmodelle nutzen, die bei den ganzen anderen genannten Rechnern nicht in den Speicher passen. So zum Beispiel das brandneue Open-Source-Modell von OpenAI namens GPT-OSS mit 120 Milliarden Parametern, was 65 GB groß ist. Das läuft auf der Framework-Kiste mit 12,3 Token pro Sekunde. Auf meinem erwähnten Schnittrechner kriege ich das auch mit Ach und Krach zum Laufen, da muss das aber auf SSD auslagern, und das ergibt dann so maximal 5 Token, aber mit ordentlicher Ladeverzögerung. Also da ist der Framework deutlich besser geeignet.

Ich habe natürlich auch Linux auf dem Framework installiert. Das ist übrigens ein großer Pluspunkt. Das wird vom Hersteller offiziell unterstützt, also konkret Fedora, Ubuntu und Beside. Ich habe CachyOS installiert, einfach weil ich mich nicht an Regeln halte. Ne, im Ernst, das ist halt gerade mein Go-to-Linux, und ja, hat perfekt funktioniert. Ich konnte unter CachyOS mit Ollama die ganzen offenen KI-Sprachmodelle laufen lassen. Tatsächlich sogar schneller als mit dem Windows-Standard-Grafiktreiber, aber nicht ganz so schnell wie mit dem vorläufigen Windows-Treiber, der offenbar besser ROCm unterstützt. Andere KI-Anwendungen wie ComfyUI zum Bilder- und Videogenerieren habe ich allerdings nicht zum Laufen bekommen, aber das kann A an mir liegen und B ist wahrscheinlich auch eh nur eine Frage der Zeit. Also nur, um das mal deutlich zu machen: Sachen laufen wahrscheinlich irgendwie, aber nicht ganz so out of the box wie mit CUDA, das eben der Standard ist.

Ach so, ja, der Framework-Desktop entspricht dem Microsoft-Copilot-Plus-Standard. Das heißt, ihr könnt die in Windows 11 eingebauten KI-Funktionen damit nutzen. Sind die cool? Ne, leider zurzeit noch nicht der Rede wert. Einmal könnt ihr in Paint ein bisschen KI-Bilder generieren, also in Paint, dem bekannten Profi-Design-Programm, und ihr könnt Live-Untertitel live übersetzen lassen. Das ist eigentlich ganz cool, aber A geht das zurzeit nicht in Richtung Deutsch, und B klappt das auf beliebiger Hardware, zum Beispiel mit diesem Open-Source-Tool hier. Also dafür braucht man nicht unbedingt einen Copilot-Plus-PC. Das umstrittene Recall-Feature, da hatten wir auch schon Videos zu gemacht, das hat Windows 11 übrigens immer noch nicht offiziell eingebaut. Das heißt, das hat man mit dem Framework-Desktop zurzeit auch noch nicht.

Fazit

Mein Fazit: Schwierig. Also das Ding sieht auf jeden Fall nice aus. Also der Formfaktor ist schön, auch mit diesem Tragegriff. Der Lüfter ist angenehm wenig nervig. Ich hatte übrigens die Option mit Noctua-Lüfter genommen. Das ist 20 Euro Aufpreis und natürlich auch super mit der Modularität. Aber ganz ehrlich: Desktop-PCs sind immer modular. Da ist also das Framework-Alleinstellungsmerkmal, was sie bei den Notebooks haben, irgendwie nicht mehr so richtig vorhanden. Ja, und der Elefant im Raum, das ist einfach der Preis. Das Teil ist mit 2000 Euro für die 64-GB-Version und 2700 Euro für meine voll ausgestattete Variante mit 128 GB einfach sehr teuer für das, was es leistet.

Also als Mittelklasse-Gaming-PC ist der Rechner auf jeden Fall tauglich, aber man kriegt halt für die Hälfte schon oft mehr Gaming-Leistung. Ja, als KI-Workstation, das ist schon interessant wegen des vielen Unified-RAM, aber halt mit dem Problem, dass es wegen der AMD-ROCm-Technik alles ein bisschen fummeliger ist als mit Nvidia-CUDA. Generell ist das aber auf jeden Fall sehr gut, dass sich da was tut bei der Nvidia-Konkurrenz. Ich hatte ja über meine großen Probleme mit Nvidia schon gesprochen und da schon mal ein eigenes Video drüber gemacht, also nicht falsch verstehen. Aber es klappt halt in der Praxis noch nicht so smooth mit AMD. Aber trotzdem: Braucht man 128 GB schnellen Speicher für KI-Sachen und weiß man, dass die Sachen mit AMD-ROCm irgendwie zum Laufen zu kriegen sind, das ist dann der große Auftritt des Framework-Desktops.

Also zum Vergleich: Mein noch deutlich teurerer Schnitt-PC hat 32 GB RAM und 24 GB Grafikspeicher. Ich kriege also zum Beispiel das brandneue GPT-OSS-Modell mit 120 Milliarden Parametern nicht in den Speicher, das braucht halt 65 GB. Ich kann es laufen lassen, dann lagere ich aber auf SSD aus und kriege nur maximal 5,0 Token pro Sekunde. Auf dem Framework-Desktop rennt es mit 12,3 Token. Also das ist schon ganz interessant, auch wenn man so schnellen Unified-Speicher natürlich auch in der Apple-Welt bekommt. Aber das ist natürlich auch nicht ganz billig da. Ein weiterer Framework-Vorteil: die Leistungsaufnahme. Im Idle zieht das Ding 11 Watt und bei Volldampf 141 Watt. Das ist schon gut.

Ja, ihr merkt, ich struggle etwas damit, das Teil einzuordnen. Ich hoffe aber, dass ich euch hier in diesem Video genug Infos mitgegeben habe, dass ihr das für euch selbst entscheiden könnt, ob der Framework-Desktop für euch interessant ist. Ja, ist der für euch interessant oder völlig an der Realität vorbei? Gerne in die Kommentare schreiben, interessiert mich wirklich. Tschüss.

c’t 3003 ist der YouTube-Channel von c’t. Die Videos auf c’t 3003 sind eigenständige Inhalte und unabhängig von den Artikeln im c’t Magazin. Die Redakteure Jan-Keno Janssen, Lukas Rumpler, Sahin Erengil und Pascal Schewe veröffentlichen jede Woche ein Video.

(jkj)