Wer gelegentlich das Subreddit r/LocalLLaMA besucht, stößt auf Lobeshymnen zu Llama.cpp. Die Software dient dazu, KI-Sprachmodelle auf Consumer Hardware zu verwenden. Mit den richtigen Einstellungen soll Llama.cpp mehr Geschwindigkeit aus lokalen KI-Modellen herausholen, als es Programme wie LM Studio oder Ollama ermöglichen.

Diesem Versprechen kann man schwer widerstehen. Wir haben die Open-Source-Software ausprobiert und mit der Engine ein für unseren Grafikspeicher übertrieben großes Mixture-of-Experts-Modell gestartet. Direkt aus dem Stand hat Llama.cpp die Antwort-Token damit viermal schneller generiert als mit LM Studio. Ob da noch mehr geht, probieren Nutzer aus, sobald sie die Software in wenigen Schritten eingerichtet haben.

Der Artikel erläutert einen einfachen Weg, Llama.cpp unter Windows 11 zu starten und gibt einige Tipps, etwa für den Fernzugriff auf das Browser-Interface. Wir zeigen auch, wie Nutzer KI-Modelle für die Engine so hinterlegen, dass sie verschiedene Konfigurationsmöglichkeiten der LLMs schnell über die Browser-UI testen können. Damit schaffen Sie eine Grundlage, um mit der Software komfortabel zu experimentieren: Vielleicht kitzeln Sie so ein paar Optimierungen aus Ihren bevorzugten LLMs. Für den Artikel haben wir einen etwas älteren Gaming-PC mit Nvidia-Grafikkarte (12 GByte VRAM), 32 GByte DDR4-RAM und der AMD-CPU Ryzen 7 5700G verwendet.

Das war die Leseprobe unseres heise-Plus-Artikels „Anleitung: Lokale KI mit Llama.cpp nutzen“.
Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.

Cyberkriminelle haben Kundendaten des Kfz-Versicherers AssuranceAmerica erbeutet, darunter auch Führerscheinangaben. Die gestohlenen Daten könnten für Identitätsdiebstahl und Betrugsversuche genutzt werden. Betroffen sind 6,99 Millionen Kunden in über 12 US-Staaten. In Nigeria geraten Technologiekonzerne wie Meta, Alphabet und X aufgrund von Vorwürfen wettbewerbswidriger Praktiken ins Visier der dortigen Wettbewerbshüter. Denn die nigerianische Presse wirft den Unternehmen vor, redaktionelle Inhalte und sogar Rundfunkbeiträge unentgeltlich für das KI-Training verwendet zu haben. Derweil sind Firefox und der in den letzten Jahren populär gewordene walisische Fußballverein Wrexham AFC eine Kooperation eingegangen. Die prominenten Klub-Eigentümer und eine erfolgreiche TV-Dokumentation versprechen dem Mozilla-Browser als Trikotsponsor weltweite Aufmerksamkeit – die wichtigsten Meldungen im kurzen Überblick.

Der US-amerikanische Autoversicherer AssuranceAmerica hat ein massives Datenleck erlitten. Offenbar wurden persönliche Informationen und Führerscheindaten von 6,99 Millionen Kunden gestohlen. Kriminelle könnten diese Daten für Identitätsdiebstahl und Betrugsversuche verwenden. Zwar sollen keine finanziellen Informationen der Kunden entwendet worden sein, aber trotzdem sollen Betroffene ihre Konten und Kontoauszüge prüfen. Wie die Angreifer an die Daten gekommen sind, hat die Versicherungsgesellschaft bislang nicht dargelegt, aber sie erklärte, dass die Cyberkriminellen einen Mitarbeiter ins Visier genommen haben. Vermutlich konnten sie dessen Zugangsdaten zu den Systemen erbeuten: Massiver Datendiebstahl bei US-Autoversicherer betrifft fast 7 Millionen Kunden.

Eine andere Art des Datendiebstahls beschäftigt Nigerias Präsident Bola Tinubu. Dieser hat die Wettbewerbsbehörde des Landes angewiesen, große Tech-Unternehmen und KI-Plattformen wegen mutmaßlich wettbewerbswidriger Praktiken, der unrechtmäßigen Nutzung von Nachrichteninhalten und anderer potenziell unlauterer Marktpraktiken zu untersuchen. Der Präsident reagiert damit auf die Petition nigerianischer Pressevertreter und Medienhäuser zu den Praktiken von Konzernen wie Google und Meta. Diesen werden die unbefugte Extraktion, das Scraping sowie die kommerzielle Nutzung urheberrechtlich geschützter Nachrichtenartikel und Rundfunkbeiträgen zur Entwicklung und zum Training von generativen KI-Modellen vorgeworfen, ohne dafür zu bezahlen: Nigeria untersucht große Tech- und KI-Unternehmen wegen „rechtswidriger“ Mediennutzung.

Firefox wird ab der kommenden Saison 2026/27 offizieller Sponsor des walisischen Traditionsclubs Wrexham AFC. Das Logo des Browsers aus dem Hause Mozilla ziert damit in der neuen Spielzeit und in den nächsten Jahren die Trikots der Männer- und Frauenmannschaft von Wrexham. Wrexham und Firefox zelebrieren ihr Zusammengehen als Kampf zweier Davids gegen eine Menge Goliath. Schließlich war der Verein 15 Jahre lang in der Versenkung der unteren Ligen verschwunden und klopft nun an die Tür zur Premier League, nachdem die Schauspieler Ryan Reynolds und Rob McElhenney diesen Ende 2020 gekauft und zu drei Aufstiegen in Folge geführt haben. Zum finanziellen Wert des Sponsorenvertrags machten beide Seiten keine Angaben: Firefox wird neuer Trikotsponsor beim „Hollywood-Club“ Wrexham AFC.

Die Weltraumsonde New Horizons der NASA ist sicher aus einer fast einjährigen Ruhepause geweckt worden und befindet sich weiterhin in einem guten Zustand. Laut NASA soll die Sonde jetzt wissenschaftliche Daten zur Erde schicken, die sie weit draußen am Rand des Sonnensystems im sogenannten Kuipergürtel gesammelt hat. Die Raumsonde ist aktuell etwa 9,5 Milliarden Kilometer von der Erde entfernt, Signale von und zu der Sonde benötigen für die Strecke fast neun Stunden. Während der 321 Tage langen Ruhephase war die Sonde nicht völlig inaktiv, sie hat aber keine Befehle erhalten und keine Daten zur Erde geschickt. Ihre Instrumente haben aber Daten gesammelt, und sie hat wöchentlich ihren Status zur Erde gemeldet: Fast neun Lichtstunden entfernte NASA-Sonde New Horizons beendet lange Ruhepause.

In der heutigen Ausgabe der #heiseshow geht es unter anderem um die deutsche IT-Erfolgsgeschichte AVM/Fritz, die 1986 als kleines BTX-Bastelprojekt von vier Berliner Studenten begann. Was hat AVM über vier Jahrzehnte so erfolgreich gemacht? Zudem diskutieren wir die Gefährlichkeit von Sicherheitslücken in Hoymiles-Wechselrichtern. Wie realistisch ist ein Angriff auf Balkonkraftwerke im Vorbeifahren? Derweil werden Akkuwechselstationen für Elektrofahrzeuge in China weiter ausgebaut, obwohl sich der Zeitvorteil des Akkutauschs mit der Einführung von 800-Volt-Systemen relativiert. Ist das Wechselkonzept ein Modell, das auch in Europa funktionieren könnte, oder macht Schnellladen es überflüssig? Das sind die Themen heute um 17 Uhr live in der #heiseshow: 40 Jahre AVM/Fritz, Wechselrichter-Lücke, Akkuwechselstationen.

Auch noch wichtig:

(fds)

Der Bundestag steht vor einer Zäsur bei der inneren Sicherheit und den digitalen Bürgerrechten. Nach langer Debatte soll das überwiegend aus dem Jahr 1994 stammende Bundespolizeigesetz novelliert werden. Der Innenausschuss hat den Gesetzentwurf der Bundesregierung in geänderter Fassung bereits gebilligt. CDU/CSU und SPD setzten die Reform gegen die Stimmen von Grünen und Linken bei Enthaltung der AfD durch. Damit ist der Weg für die abschließende Beratung im Bundestag am Freitag frei.

Kurzfristige Änderung

Besonders umstritten ist ein kurzfristig eingebrachter Änderungsantrag der Koalition. Mit dem neuen Paragrafen 31b wird eine Rechtsgrundlage für die biometrische Detektion in Echtzeit geschaffen. Künftig darf die Bundespolizei an Bahnhöfen, Flughäfen und anderen Grenzbereichen Live-Kamerabilder automatisiert mithilfe Künstlicher Intelligenz mit den biometrischen Daten gesuchter Personen abgleichen.

Ergänzt wird dies durch einen weiteren Paragrafen zur automatisierten Gefahrenerkennung, der die digitale Analyse von Bewegungs- und Objektmustern sowie Aufenthaltsorten ermöglicht.

Bürgerrechtler sehen darin eine erhebliche Ausweitung staatlicher Überwachung und warnen vor dem Einstieg in eine Überwachungsinfrastruktur. Das Bundesinnenministerium verteidigt die von ihm auf den Weg gebrachte Novelle als nötige Anpassung an moderne Kriminalitätsformen.

Grünes Licht für Staatstrojaner

Auch die digitalen Ermittlungsbefugnisse der Bundespolizei sollen erweitert werden. Künftig darf sie Staatstrojaner für die Quellen-Telekommunikationsüberwachung (TKÜ) einsetzen, was die Ampel-Koalition noch ausgeschlossen hatte. Dadurch können verschlüsselte Nachrichten direkt auf den Endgeräten der Betroffenen vor oder nach der Verschlüsselung ausgelesen werden.

Zugleich erhält die Behörde weitreichende Befugnisse zur Erhebung von Bestands-, Nutzungs- und Verkehrsdaten sowie zur Identifizierung und Lokalisierung von Mobilfunkkarten und Endgeräten. Die Regierung betont, die Regelungen seien an Vorgaben des Bundesverfassungsgerichts angepasst worden. Kritiker halten die Grundrechtseingriffe trotzdem für unverhältnismäßig.

Die Reform modernisiert zudem das physische Arsenal der Bundespolizei. Drohnen dürfen künftig als mobile Sensorträger für Bild- und Tonaufzeichnungen eingesetzt werden. Zugleich werden technische Mittel zur Abwehr solcher Flugobjekte erlaubt.

Ferner erhält die Bundespolizei neue Befugnisse im Bereich Migration und Alltagskontrollen. Sie kann künftig selbst Abschiebehaft beantragen, um das Untertauchen vollziehbar ausreisepflichtiger Personen ohne Duldung zu verhindern.

(vbr)