Connect with us

Künstliche Intelligenz

Anleitung: Lokale KI mit Llama.cpp nutzen


Wer gelegentlich das Subreddit r/LocalLLaMA besucht, stößt auf Lobeshymnen zu Llama.cpp. Die Software dient dazu, KI-Sprachmodelle auf Consumer Hardware zu verwenden. Mit den richtigen Einstellungen soll Llama.cpp mehr Geschwindigkeit aus lokalen KI-Modellen herausholen, als es Programme wie LM Studio oder Ollama ermöglichen.

Diesem Versprechen kann man schwer widerstehen. Wir haben die Open-Source-Software ausprobiert und mit der Engine ein für unseren Grafikspeicher übertrieben großes Mixture-of-Experts-Modell gestartet. Direkt aus dem Stand hat Llama.cpp die Antwort-Token damit viermal schneller generiert als mit LM Studio. Ob da noch mehr geht, probieren Nutzer aus, sobald sie die Software in wenigen Schritten eingerichtet haben.

  • Llama.cpp ist eine beliebte Engine, die auch unter der Haube von LM Studio und Ollama arbeitet. Nutzer lokaler KI können sie auch direkt verwenden.
  • Die Open-Source-Software bietet Anwendern viele Konfigurationsmöglichkeiten, etwa damit Modelle optimal auf der eigenen Hardware laufen.
  • Über ein Browser-Interface kann man mit den Modellen arbeiten, verschiedene Konfigurationen testen und erhält sofort Daten zur Verarbeitungs- und Antwortgeschwindigkeit des Modells.

Der Artikel erläutert einen einfachen Weg, Llama.cpp unter Windows 11 zu starten und gibt einige Tipps, etwa für den Fernzugriff auf das Browser-Interface. Wir zeigen auch, wie Nutzer KI-Modelle für die Engine so hinterlegen, dass sie verschiedene Konfigurationsmöglichkeiten der LLMs schnell über die Browser-UI testen können. Damit schaffen Sie eine Grundlage, um mit der Software komfortabel zu experimentieren: Vielleicht kitzeln Sie so ein paar Optimierungen aus Ihren bevorzugten LLMs. Für den Artikel haben wir einen etwas älteren Gaming-PC mit Nvidia-Grafikkarte (12 GByte VRAM), 32 GByte DDR4-RAM und der AMD-CPU Ryzen 7 5700G verwendet.


Das war die Leseprobe unseres heise-Plus-Artikels „Anleitung: Lokale KI mit Llama.cpp nutzen“.
Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.



Source link

Künstliche Intelligenz

Consul für macOS im Test: Der Formatwandler


Wer häufig mit Fotos arbeitet oder an Webseiten bastelt, kennt das Problem: Nicht jedes Format eignet sich fürs Zielmedium. Der übliche Ansatz erfordert eine oder mehrere spezialisierte Apps, die Dateien per Drag & Drop ins gewünschte Format umwandeln.

Consul geht einen anderen, besonders intuitiven Weg: Man ändert im Finder einfach das Suffix einer Datei – etwa von „.tiff“ in „.jpg“ – und das Tool startet automatisch die Konvertierung.

Auch RAW-Formate wie „.cr2“, „.dng“ oder „.nef“ unterstützt die App. Sie beschränkt sich aber nicht auf Bilder, sondern konvertiert etwa Audiodateien von „.wav“ nach „.aac“ oder „.mp3“. Benötigt man nur die Tonspur eines Videos, benennt man es einfach in ein Audioformat um. Aus Textdateien wird im Handumdrehen ein Word-Dokument oder ein PDF.


Das war die Leseprobe unseres heise-Plus-Artikels „Consul für macOS im Test: Der Formatwandler“.
Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.



Source link

Weiterlesen

Künstliche Intelligenz

Cybercab: Tesla baut ein Auto, das aktuell nirgends fahren darf


Im April 2026 hatte Tesla die Serienproduktion seines im Oktober 2024 vorgestellten Cybercabs in der Gigafactory in Texas gestartet. Jetzt hat der E-Autokonzern die Produktion des lenkrad- und strompedallosen Robotaxis noch einmal hochgefahren.

Weiterlesen nach der Anzeige

Wie Electrek schreibt, sollen über 100 der zweisitzigen Fahrzeuge auf den Parkplätzen vor dem Fabrikgebäude herumstehen. Das Problem ist, dass Tesla das Cybercab noch gar nicht an private Interessenten verkaufen darf. Und auch der Einsatz in den Robotaxi-Testzonen in Texas und Florida ist nur begrenzt möglich.

Tesla zufolge sollen Ende Juni 2026 die ersten Cybercab-Testfahrten in Austin begonnen haben – allerdings wohl mit menschlicher Begleitung an Bord, wie in einem entsprechenden Video zu sehen ist. Wie diese Person angesichts des Fehlens von Lenkrad und Strompedal eingreifen können soll, ist aber unklar.

Apropos Austin: Hier hatte Tesla im Juni 2025 den Startschuss für seine Robotaxi-Flotte gegeben. Bisher dürften die Testfahrten aber noch nicht den großen Durchbruch gebracht haben. Von den aktuell rund 50 Fahrzeugen sollen Electrek zufolge nur 14 ohne Begleitperson unterwegs sein.

Auch in Dallas und Houston sowie in Miami, wo die Robotaxis seit Kurzem unterwegs sind, fährt Tesla mit angezogener Handbremse. Wie Tesla-Chef Elon Musk Investoren im Zusammenhang mit der Vorstellung der Quartalszahlen im April 2026 erklärte, liege das an Sicherheitsrisiken. Demnach warte Tesla, bis das aktuell in Entwicklung befindliche große Update der FSD-Software auf v15 vorliege.

Weiterlesen nach der Anzeige

Damit wird derzeit für Ende 2026 oder Anfang 2027 gerechnet. Auch erst für 2027 rechnet Musk mit nennenswerten Umsätzen aus dem Betrieb der Robotaxi-Flotte, wie er laut Electrek gegenüber den Investoren sagte.

Tesla setzt also offensichtlich darauf, dass mit FSD v15 zunächst ein sicherer Betrieb in den abgegrenzten Robotaxi-Testzonen in Texas und Florida möglich wird. Bis tatsächlich private Käufer sich in einem der Cybercabs durch die Gegend kutschieren lassen können, dürfte also noch viel Zeit vergehen.

Dieser Beitrag ist zuerst auf t3n.de erschienen.


(jle)



Source link

Weiterlesen

Künstliche Intelligenz

Atommüll: Sechster Castor-Transport erreicht Zwischenlager Ahaus


Ein weiterer Schwerlasttransport mit hochradioaktivem Atommüll aus dem ehemaligen Forschungsreaktor Jülich hat sein Ziel erreicht: In der Nacht ist der sechste von insgesamt 152 geplanten Castor-Behältern im Zwischenlager Ahaus angekommen, teilte die Polizei mit. Der Großteil der Transporte durch Nordrhein-Westfalen steht damit weiterhin bevor.

Weiterlesen nach der Anzeige

Wie die Polizei Münster mitteilte, verlief der Transport ohne Zwischenfälle. Die Fahrt wurde erneut von Einsatzkräften begleitet, Verkehrsmaßnahmen entlang der Transportstrecke führten kurzfristig zu Verkehrsbeeinträchtigungen. Seit Jahren werden die Castor-Transporte von Umweltverbänden und Anwohnern diskutiert und von Protesten begleitet.

Insgesamt sollen 152 Castor-Behälter vom Forschungszentrum Jülich in das Zwischenlager Ahaus verlagert werden. In den Spezialbehältern befinden sich rund 300.000 kugelförmige Brennelemente. Damit handelt es sich um einen der größten Atommüll-Transporte auf der Straße seit Jahrzehnten. Aus Sicherheitsgründen werden weder genaue Termine noch die exakten Fahrtrouten oder mögliche Alternativstrecken vorab bekannt gegeben.

Die Verlagerung geht auf eine behördliche Anordnung zurück. Nach Angaben der Jülicher Entsorgungsgesellschaft (JEN) musste das bisherige Zwischenlager am Standort Jülich geräumt werden, nachdem die ursprüngliche Aufbewahrungsgenehmigung ausgelaufen war und ein neuer Nachweis zur Erdbebensicherheit gefordert wurde. Als schnellste umsetzbare Option gilt der Transport in das bestehende Zwischenlager nach Ahaus. Die dafür erforderliche Transportgenehmigung wurde im August 2025 erteilt.


(mack)



Source link

Weiterlesen

Beliebt