Neue MLC-Inference-Benchmarks: Nvidia GB300 vaporisiert Rekorde, AMDs MI355X debütiert

Inferenz ist das große Thema bei AI, neben Nvidias GB300 ist hier auch AMD mit Instinct MI355X erstmals bei MLCommons vertreten. Während Nvidia seine eigenen Rekorde, die erst im letzten halben Jahr von GB200 aufgestellt wurden, vaporisiert, zeigt auch AMDs Wachstumskurve deutlich nach oben. Auch Intel liefert Ergebnisse.

Intel mit Arc Pro und Xeon 6

Die neue Intel Arc Pro B60 48GB Turbo hat es nämlich auch in die Liste geschafft. Sie soll eine Alternative für kleinere Projekte sein, dafür aber eben auch über den Preis punkten. Vier dieser Karten bieten 192 GByte VRAM für ein Workstation-System, damit lassen sich laut Intel Llama2-70b-Modelle bei verschiedenen Nutzern ausführen. Das soll laut Intels Pressemeldung dazu führen, dass im Bereich Performance pro Dollar gegenüber der RTX Pro 6000 oder L40S ein viel besseres Gesamtpaket verkauft wird.

Parallel dazu verweist Intel erneut darauf, dass man das einzige Unternehmen ist, welches auch Inference-Benchmarks von CPUs einreicht. Die neuen Xeon 6 sind hierbei im Schnitt von fünf Anwendungen 1,9 Mal schneller als die fünfte Generation.

AMD nun mit drei Generationen Instinct vertreten

Von AMD werden keine Epyc-Ergebnisse übermittelt, hier liegt der Fokus auf Instinct MI325X und den neuen 355X mit 1.400 Watt, aber auch der weiteren Optimierung auf MI300X. Nach viel Kritik in der Vergangenheit hat es AMD nun auch geschafft, Partner wie Asus, Dell, GigaComputing, MangoBoost, MiTAC, Quanta Cloud Technology, Supermicro und Vultr zu Einreichungen von Ergebnissen mit AMD-Hardware zu bewegen.

Dies soll gleichzeitig Vertrauen schaffen und der Kundschaft zeigen, dass man sich auf AMD verlassen kann. Denn Benchmarks bei MLCommons einzureichen, ist kein Selbstläufer, jede der teilnehmenden Parteien kann sich die Ergebnisse vor der Veröffentlichung ansehen und Fragen dazu stellen, erst wenn Probleme ausgeräumt sind, werden die Ergebnisse auch veröffentlicht.

Nvidia spielt noch in einer anderen Liga

In der Oberklasse ist auch Nvidia mit seiner 1.400-Watt-Lösung GB300 erstmals am Start. Das ist nur wenige Monate nach den ersten Tests mit GB200 und zeigt, wie schnell sich der Markt doch zu Blackwell Ultra hin entwickelt hat. Der neue Datentyp FP4 ist die neue Nvidia-Bastion, nur MI355X kann dies auch, AMD vermarktet dort aber lieber FP6.

Nvidias Stärke ist weiterhin, dass auch 16 Partner mit ihrer Hardware Ergebnisse zeigen, die nahezu stets auf gleicher Höhe zu Nvidias Werten liegen. Da die Serversysteme bei neuen Nvidia-Lösungen aber die gleiche Basis haben und mitunter sogar aus den gleichen Fabs kommen, liegt dies schnell auf der Hand. Vor allem die Möglichkeiten, die Blackwell-Systeme bieten, sollen nun weiter ausgeschöpft werden, erklärt Nvidia in einem Blog-Beitrag.

Wie sich die Kontrahenten in ML Commons schlagen, gibt die Pressemeldung preis.