Nvidia Blackwell Ultra: Microsoft nimmt GB300-Cluster mit 4.608 GPUs in Betrieb

Nach Nvidia Hopper und ersten Blackwell-Beschleunigern rückt jetzt die Ausbaustufe Blackwell Ultra in den Markt vor. Bei Microsoft Azure ist jetzt das weltweit erste Supercomputing-Cluster auf Basis von Nvidias GB300 NVL72 mit 4.608 GPUs in Betrieb genommen worden. Die Racks sind dicht gepackt und setzen auf Flüssigkeitskühlung.

Erstes Supercomputing-Cluster mit Blackwell Ultra

Immer dann, wenn eine neue Generation von Nvidia die Serienreife erlangt hat, in größeren Stückzahlen produziert wird und schließlich zu den ersten wichtigen Abnehmern gelangt ist, kommt es zu entsprechenden Partnerankündigungen von beiden Seiten. Wie Microsoft auf dem Azure-Blog und Nvidia selbst im einem weiteren Beitrag nun bekannt gegeben haben, ist bei Microsoft Azure jetzt das weltweit erste Supercomputing-Cluster auf Basis von Nvidias GB300 NVL72 mit insgesamt 4.608 GPUs in Betrieb genommen worden. Die neu hinzugekommene Rechenleistung wird exklusiv OpenAI zur Verfügung gestellt.

Entwickelt für anspruchsvolles Inferencing

Den Mid-Cycle-Refresh auf Blackwell Ultra hatte Nvidia zur GTC im März angekündigt und für die zweite Jahreshälfte in Aussicht gestellt. Entwickelt wurde Blackwell Ultra unter anderem für die höheren Anforderungen beim Inferencing von AI-Reasoning-Modellen, die schnell mehrere Hunderttausend Tokens pro Anfrage verarbeiten und ausgeben müssen. Bei OpenAI soll Blackwell Ultra für besonders anspruchsvolle Inferencing zum Einsatz kommen, wie Nvidia auf dem Firmenblog erklärt.

50 Prozent mehr HBM3e

Um diesen Anforderungen gerecht zu werden, erweitert Nvidia den Speicher von Blackwell Ultra für jede B300-GPU auf 288 GB HBM3e, ausgehend von 192 GB HBM3e bei Blackwell mit der B200-GPU. Blackwell Ultra soll laut Nvidia die 1,5-fache FP4-Inferencing-Leistung im Vergleich zu Blackwell liefern, das Unternehmen spricht von 15 PetaFLOPS für FP4 Dense, also ohne die Sparsity-Beschleunigung, mit der 30 PetaFLOPS möglich sind.

Dicht gepackte Racks mit Flüssigkeitskühlung

Die neue Generation gibt es in zwei Ausführungen: GB300 NVL72 und HGX B300 NVL16. Bei GB300 NVL72 handelt es sich um eine Weiterentwicklung des bekannten Racks von GB200 NVL72, das 72 Blackwell-GPUs mit 36 Grace-CPUs mit Arm-Architektur in einem dicht gepackten Serverschrank mit Flüssigkeitskühlung vereint. HGX B300 NVL16 ist die Variante im 8U-Chassis mit luftgekühlten GPUs und x86-Prozessoren, die sich einfacher in bestehende Rechenzentren und Serverschränke integrieren lässt, die noch nicht komplett auf Flüssigkeitskühlung ausgelegt sind.

Bei Microsoft Azure stehen jetzt 64 Racks des Typs GB300 NVL72. Das bedeutet pro Rack: 72 GPUs, 21 TB HBM3e, 130 TB/s NVLink-Bandbreite, 36 CPUs, 40 TB LPDDR5X und 800 Gbit/s Scale-out-Bandbreite mit Quantum-X800 InfiniBand. Pro Rack kommen 18 Compute-Trays mit jeweils vier GPUs und zwei CPUs zum Einsatz, außerdem sind neun NVLink-Switches pro Rack verbaut. Das resultiert zusammengefasst in einer Leistung von 1,44 ExaFLOPS für FP4 Tensor Core pro VM. Bei Azure werden die neuen VMs als ND GB300 v6 bezeichnet und folgen auf die im März dieses Jahres angekündigten ND GB200 v6 mit GB200 NVL72.