Apple-KI-Framework MLX: Künftig Support für Nvidias CUDA

Wer mit Apples nützlichem Machine-Learning-Framework MLX arbeiten wollte, musste bislang zu einem Mac mit möglichst viel M-Chip-Power greifen. Fans von Werkzeugen wie LM Studio, mit dem sich lokale LLMs ausführen lassen, schwören unter macOS darauf und ziehen sich entsprechend MLX-optimierte Varianten von Llama, Qwen oder Mistral, die Apple-SoCs samt ihrem Unified Memory besser ausnutzen sollen. MLX könnte sich nun, wenn es nach einigen Entwicklern geht, auch auf anderen Plattformen verbreiten. Im Rahmen des hinter MLX stehenden GitHub-Projekts wird derzeit an einem CUDA-Backend gefeilt. Heißt: Nvidia-basierte Systeme könnten künftig MLX nutzen.

Auf dem Mac entwickeln, auf dem Cluster ausführen

Das Projekt steht allerdings noch am Anfang. Kommt es zur Produktreife, wäre es denkbar, dass für MLX-optimierte Modelle vergleichsweise einfach für die mächtigeren Nvidia-GPUs angepasst werden könnten, beispielsweise im Rahmen des Trainings. Hinzu kommt, dass sich MLX-Modelle so zumindest theoretisch schneller verbreiten könnten, da CUDA eine viel größere Community hinter sich hat.

MLX ist spezifisch für Apple Silicon und dessen GPU-Schnittstelle Metal optimiert. Im Falle von Nvidia-GPUs würde dann von Metal zu CUDA (steht für Compute Unified Device Architecture) gewechselt. MLX kommt mit Bindings für Swift, C und C++. Der hinter dem CUDA-Backend steckende Hauptentwickler mit dem Nutzernamen zcbenz stammt aus Japan. Seinen Angaben zufolge finanziert Apple Teile der Arbeit.

Developer: Apple an Projekt beteiligt

„Es gibt hauptsächlich zwei Gründe für ein CUDA-Backend“, sagt der Entwickler. „Erstens unterstützt CUDA Unified Memory. (…) Zweitens ist Nvidia-Hardware weit im wissenschaftlichen Bereich und auf großen Rechenclustern [„Massive Computations“, schreibt zcbenz im Original] verbreitet.“ Es sei daher nützlich, wenn man Code lokal auf seinem Mac schreiben und testen könnte, um ihn dann auf Supercomputern auszuüben. „Das wäre eine gute Entwicklererfahrung.“

Es bleibt abzuwarten, wie schnell das Projekt vorankommt. Es wurde im Frühjahr gestartet. In dieser Woche teilte zcbenz mit, dass das CUDA-Backend noch in Entwicklung und nicht offiziell veröffentlicht sei.“ Mehr Informationen werde es geben, „wenn die Dinge in besserer Form sind“.

(bsc)