Nvidia-Mining-GPU: 80 GB statt 8 GB VRAM und 80 % mehr Kerne per Hack

Eine Mining-Grafikkarte von Nvidia hat weit mehr HBM2e-Speicher an Bord, als ihr Datenblatt vermuten lässt. Bei neun von zehn untersuchten CMP 170HX schaltete eine Entwicklerin die vollen 80 statt 8 GB frei. Auch zusätzliche Recheneinheiten konnte sie aktivieren – mit bemerkenswerten Folgen für die Leistung.

Neun von zehn Karten liefern die vollen 80 GB

Im Inneren der CMP 170HX steckt der GA100-Grafikprozessor, den Nvidia ursprünglich für seine professionelle A100 entwickelt hatte. Die 8-GB-Variante der Mining-Karte besitzt fünf HBM2e-Speicherstapel mit einer Gesamtkapazität von 80 GB. Ab Werk ist davon lediglich ein Zehntel nutzbar. Der übrige Speicher befindet sich auf demselben Chip-Package, bleibt für Anwendungen aber unzugänglich.

Dass sich diese Beschränkung umgehen lässt, ist bereits seit dem Sommer bekannt. Mit dem Open-Source-Werkzeug cmpunlocker konnten Nutzer bislang bis zu 64 GB freischalten. Die Entwicklerin Kate geht mit einem am 10. November veröffentlichten Hardware-Hack noch einen Schritt weiter und erschließt die vollständigen 80 GB.

Von zehn untersuchten Exemplaren funktionierte bei neun der gesamte Speicher. Nur bei einer Karte erwiesen sich lediglich 64 GB als nutzbar. Kate überprüfte das Ergebnis mit umfangreichen Speicherzugriffen und realen KI-Anwendungen wie vLLM und SGLang. Dass fast alle getesteten Karten die vollständige Kapazität bereitstellen konnten, bedeutet allerdings nicht, dass dies für sämtliche CMP 170HX gilt.

Die ursprünglich 2021 für das Mining von Ethereum vorgestellte Karte gewinnt dadurch einen neuen Einsatzzweck. Mit 80 GB HBM2e lassen sich große KI-Sprachmodelle lokal ausführen, die auf einer gewöhnlichen Gaming-Grafikkarte nicht vollständig in den Grafikspeicher passen. Eine GeForce RTX 5090 bietet zum Vergleich lediglich 32 GB GDDR7. Die ältere GA100-Architektur kann bei der Rechenleistung und Effizienz allerdings nicht mit jeder modernen KI-GPU mithalten.

Warum Nvidia so viel Speicher deaktiviert hat

Dass eine Grafikkarte wesentlich mehr Hardware besitzt, als sie tatsächlich nutzen darf, ist in der Halbleiterindustrie grundsätzlich nichts Ungewöhnliches. Dahinter steckt unter anderem das sogenannte Binning. Bei der Herstellung großer Grafikprozessoren fallen nicht alle Chips gleich gut aus. Manche besitzen fehlerhafte Recheneinheiten oder Speicheranbindungen, andere erreichen nicht die vorgesehenen Taktraten. Statt diese Chips wegzuwerfen, deaktivieren die Hersteller betroffene Bereiche und verkaufen sie als kleinere Modelle.

Die gleiche Technik dient allerdings auch dazu, verschiedene Produktklassen voneinander abzugrenzen. Selbst vollständig funktionsfähige Einheiten können dabei abgeschaltet werden, wenn sie für das jeweilige Modell nicht vorgesehen sind.

Wie weit Nvidia bei der CMP 170HX ging, zeigen auch die Recheneinheiten. Der GA100 besitzt physisch 128 Streaming-Multiprozessoren (SMs). Bei einer regulären A100 sind davon 108 aktiv, bei der Mining-Karte lediglich 70. Auch die Zahl der nutzbaren Speicherbereiche wurde massiv eingeschränkt.

Kates Untersuchungen zeigen, dass bei den getesteten Exemplaren erheblich mehr Hardware funktionsfähig war, als Nvidia freigegeben hatte. Ob die Beschränkungen bei einzelnen Karten auf Produktionsfehler, gezielte Produktsegmentierung oder eine Kombination aus beidem zurückgehen, lässt sich daraus nicht abschließend ableiten.

Mit manipulierten Spannungen gegen Nvidias Sperren

Für die Freischaltung nutzte Kate eine Schwachstelle im sogenannten eFuse-Controller des GA100. Über diese elektronischen Sicherungen legt Nvidia unter anderem fest, welche Teile des Grafikprozessors aktiviert werden dürfen. Normalerweise lassen sich die entsprechenden Einstellungen nach der Herstellung nicht mehr ohne Weiteres verändern.

Kate entwickelte dafür eine kleine Zusatzplatine mit einem STM32-Mikrocontroller, die gezielte Spannungseinbrüche erzeugt. Dadurch gelang es ihr, den Sicherungscontroller vorübergehend in einen Zustand zu versetzen, in dem eigentlich gesperrte Änderungen wieder möglich sind. Anschließend konnte sie die Beschränkungen für Speicher, Recheneinheiten und weitere Funktionen aufheben.

Ein gewöhnlicher BIOS- oder Treiber-Mod reicht hierfür nicht aus. Der Eingriff erfordert Lötarbeiten und kann laut Kate zwischen einer und 48 Stunden wiederholter Versuche benötigen. Die vorgenommenen Änderungen an den elektronischen Sicherungen sind dauerhaft. Wer dabei einen Fehler macht, riskiert eine unbrauchbare Grafikkarte.

Bis zu 80 Prozent mehr Recheneinheiten

Noch deutlicher als beim Speicher zeigt sich der Effekt bei der Rechenleistung. Statt der ursprünglich 70 aktiven SMs konnte Kate je nach Exemplar etwa 120 bis 126 freischalten. Im besten Fall stehen damit 80 Prozent mehr Recheneinheiten zur Verfügung als im Auslieferungszustand.

In einem FP16-Rechentest erreichte die umgebaute Mining-Karte 85,9 TFLOPS und übertraf damit sogar eine reguläre Nvidia A100 mit 72,5 TFLOPS um rund 18 Prozent. Die bislang nur per Software freigeschaltete CMP 170HX kam im selben Test auf 50,1 TFLOPS. Der Hardware-Hack steigert die gemessene Rechenleistung gegenüber dieser Variante somit um rund 71 Prozent.

Die Werte stammen aus einem speziellen OpenCL-Benchmark und lassen sich nicht unmittelbar auf die Leistung beim Betrieb von KI-Modellen übertragen.

Weitere ursprünglich deaktivierte Funktionen konnte Kate ebenfalls wieder zugänglich machen. Dazu gehören PCIe 4.0 mit 16 Lanes sowie NVLink, mit dem sich mehrere Beschleuniger direkt miteinander verbinden lassen. Beide Funktionen benötigen neben den Änderungen an den Sicherungen zusätzliche Anpassungen. Auch die Freischaltung von ECC, Multi-Instance GPU (MIG) und Video-Decodern ist grundsätzlich möglich, wurde von der Entwicklerin aber noch nicht praktisch überprüft.

Die CMP 170HX war zu ihrem Marktstart 2021 keineswegs billig. Für die auf Krypto-Mining spezialisierte Karte wurden damals Preise von über 5.000 Euro aufgerufen. Bildausgänge besitzt sie nicht, die passive Kühlung ist für gut belüftete Systeme ausgelegt. Dass die einstige Spezialkarte inzwischen für lokale KI-Projekte interessant geworden ist, liegt vor allem an ihrem großen HBM2e-Speicher und den Möglichkeiten, dessen werkseitige Beschränkungen zu umgehen.