Künstliche Intelligenz
Anleitung: Lokale KI mit Llama.cpp nutzen
Wer gelegentlich das Subreddit r/LocalLLaMA besucht, stößt auf Lobeshymnen zu Llama.cpp. Die Software dient dazu, KI-Sprachmodelle auf Consumer Hardware zu verwenden. Mit den richtigen Einstellungen soll Llama.cpp mehr Geschwindigkeit aus lokalen KI-Modellen herausholen, als es Programme wie LM Studio oder Ollama ermöglichen.
Diesem Versprechen kann man schwer widerstehen. Wir haben die Open-Source-Software ausprobiert und mit der Engine ein für unseren Grafikspeicher übertrieben großes Mixture-of-Experts-Modell gestartet. Direkt aus dem Stand hat Llama.cpp die Antwort-Token damit viermal schneller generiert als mit LM Studio. Ob da noch mehr geht, probieren Nutzer aus, sobald sie die Software in wenigen Schritten eingerichtet haben.
- Llama.cpp ist eine beliebte Engine, die auch unter der Haube von LM Studio und Ollama arbeitet. Nutzer lokaler KI können sie auch direkt verwenden.
- Die Open-Source-Software bietet Anwendern viele Konfigurationsmöglichkeiten, etwa damit Modelle optimal auf der eigenen Hardware laufen.
- Über ein Browser-Interface kann man mit den Modellen arbeiten, verschiedene Konfigurationen testen und erhält sofort Daten zur Verarbeitungs- und Antwortgeschwindigkeit des Modells.
Der Artikel erläutert einen einfachen Weg, Llama.cpp unter Windows 11 zu starten und gibt einige Tipps, etwa für den Fernzugriff auf das Browser-Interface. Wir zeigen auch, wie Nutzer KI-Modelle für die Engine so hinterlegen, dass sie verschiedene Konfigurationsmöglichkeiten der LLMs schnell über die Browser-UI testen können. Damit schaffen Sie eine Grundlage, um mit der Software komfortabel zu experimentieren: Vielleicht kitzeln Sie so ein paar Optimierungen aus Ihren bevorzugten LLMs. Für den Artikel haben wir einen etwas älteren Gaming-PC mit Nvidia-Grafikkarte (12 GByte VRAM), 32 GByte DDR4-RAM und der AMD-CPU Ryzen 7 5700G verwendet.
Das war die Leseprobe unseres heise-Plus-Artikels „Anleitung: Lokale KI mit Llama.cpp nutzen“.
Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.