Künstliche Intelligenz
Anleitung: Lokale KI mit Llama.cpp nutzen
Wer gelegentlich das Subreddit r/LocalLLaMA besucht, stößt auf Lobeshymnen zu Llama.cpp. Die Software dient dazu, KI-Sprachmodelle auf Consumer Hardware zu verwenden. Mit den richtigen Einstellungen soll Llama.cpp mehr Geschwindigkeit aus lokalen KI-Modellen herausholen, als es Programme wie LM Studio oder Ollama ermöglichen.
Diesem Versprechen kann man schwer widerstehen. Wir haben die Open-Source-Software ausprobiert und mit der Engine ein für unseren Grafikspeicher übertrieben großes Mixture-of-Experts-Modell gestartet. Direkt aus dem Stand hat Llama.cpp die Antwort-Token damit viermal schneller generiert als mit LM Studio. Ob da noch mehr geht, probieren Nutzer aus, sobald sie die Software in wenigen Schritten eingerichtet haben.
- Llama.cpp ist eine beliebte Engine, die auch unter der Haube von LM Studio und Ollama arbeitet. Nutzer lokaler KI können sie auch direkt verwenden.
- Die Open-Source-Software bietet Anwendern viele Konfigurationsmöglichkeiten, etwa damit Modelle optimal auf der eigenen Hardware laufen.
- Über ein Browser-Interface kann man mit den Modellen arbeiten, verschiedene Konfigurationen testen und erhält sofort Daten zur Verarbeitungs- und Antwortgeschwindigkeit des Modells.
Der Artikel erläutert einen einfachen Weg, Llama.cpp unter Windows 11 zu starten und gibt einige Tipps, etwa für den Fernzugriff auf das Browser-Interface. Wir zeigen auch, wie Nutzer KI-Modelle für die Engine so hinterlegen, dass sie verschiedene Konfigurationsmöglichkeiten der LLMs schnell über die Browser-UI testen können. Damit schaffen Sie eine Grundlage, um mit der Software komfortabel zu experimentieren: Vielleicht kitzeln Sie so ein paar Optimierungen aus Ihren bevorzugten LLMs. Für den Artikel haben wir einen etwas älteren Gaming-PC mit Nvidia-Grafikkarte (12 GByte VRAM), 32 GByte DDR4-RAM und der AMD-CPU Ryzen 7 5700G verwendet.
Das war die Leseprobe unseres heise-Plus-Artikels „Anleitung: Lokale KI mit Llama.cpp nutzen“.
Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.
Künstliche Intelligenz
Atommüll: Sechster Castor-Transport erreicht Zwischenlager Ahaus
Ein weiterer Schwerlasttransport mit hochradioaktivem Atommüll aus dem ehemaligen Forschungsreaktor Jülich hat sein Ziel erreicht: In der Nacht ist der sechste von insgesamt 152 geplanten Castor-Behältern im Zwischenlager Ahaus angekommen, teilte die Polizei mit. Der Großteil der Transporte durch Nordrhein-Westfalen steht damit weiterhin bevor.
Weiterlesen nach der Anzeige
Wie die Polizei Münster mitteilte, verlief der Transport ohne Zwischenfälle. Die Fahrt wurde erneut von Einsatzkräften begleitet, Verkehrsmaßnahmen entlang der Transportstrecke führten kurzfristig zu Verkehrsbeeinträchtigungen. Seit Jahren werden die Castor-Transporte von Umweltverbänden und Anwohnern diskutiert und von Protesten begleitet.
Einer der größten Atommüll-Transporte seit Jahrzehnten
Insgesamt sollen 152 Castor-Behälter vom Forschungszentrum Jülich in das Zwischenlager Ahaus verlagert werden. In den Spezialbehältern befinden sich rund 300.000 kugelförmige Brennelemente. Damit handelt es sich um einen der größten Atommüll-Transporte auf der Straße seit Jahrzehnten. Aus Sicherheitsgründen werden weder genaue Termine noch die exakten Fahrtrouten oder mögliche Alternativstrecken vorab bekannt gegeben.
Die Verlagerung geht auf eine behördliche Anordnung zurück. Nach Angaben der Jülicher Entsorgungsgesellschaft (JEN) musste das bisherige Zwischenlager am Standort Jülich geräumt werden, nachdem die ursprüngliche Aufbewahrungsgenehmigung ausgelaufen war und ein neuer Nachweis zur Erdbebensicherheit gefordert wurde. Als schnellste umsetzbare Option gilt der Transport in das bestehende Zwischenlager nach Ahaus. Die dafür erforderliche Transportgenehmigung wurde im August 2025 erteilt.
(mack)
Künstliche Intelligenz
Donnerstag: Datenleck bei US-Autoversicherer, Nigerias Presse gegen KI-Training
Cyberkriminelle haben Kundendaten des Kfz-Versicherers AssuranceAmerica erbeutet, darunter auch Führerscheinangaben. Die gestohlenen Daten könnten für Identitätsdiebstahl und Betrugsversuche genutzt werden. Betroffen sind 6,99 Millionen Kunden in über 12 US-Staaten. In Nigeria geraten Technologiekonzerne wie Meta, Alphabet und X aufgrund von Vorwürfen wettbewerbswidriger Praktiken ins Visier der dortigen Wettbewerbshüter. Denn die nigerianische Presse wirft den Unternehmen vor, redaktionelle Inhalte und sogar Rundfunkbeiträge unentgeltlich für das KI-Training verwendet zu haben. Derweil sind Firefox und der in den letzten Jahren populär gewordene walisische Fußballverein Wrexham AFC eine Kooperation eingegangen. Die prominenten Klub-Eigentümer und eine erfolgreiche TV-Dokumentation versprechen dem Mozilla-Browser als Trikotsponsor weltweite Aufmerksamkeit – die wichtigsten Meldungen im kurzen Überblick.
Weiterlesen nach der Anzeige
Der US-amerikanische Autoversicherer AssuranceAmerica hat ein massives Datenleck erlitten. Offenbar wurden persönliche Informationen und Führerscheindaten von 6,99 Millionen Kunden gestohlen. Kriminelle könnten diese Daten für Identitätsdiebstahl und Betrugsversuche verwenden. Zwar sollen keine finanziellen Informationen der Kunden entwendet worden sein, aber trotzdem sollen Betroffene ihre Konten und Kontoauszüge prüfen. Wie die Angreifer an die Daten gekommen sind, hat die Versicherungsgesellschaft bislang nicht dargelegt, aber sie erklärte, dass die Cyberkriminellen einen Mitarbeiter ins Visier genommen haben. Vermutlich konnten sie dessen Zugangsdaten zu den Systemen erbeuten: Massiver Datendiebstahl bei US-Autoversicherer betrifft fast 7 Millionen Kunden.
Eine andere Art des Datendiebstahls beschäftigt Nigerias Präsident Bola Tinubu. Dieser hat die Wettbewerbsbehörde des Landes angewiesen, große Tech-Unternehmen und KI-Plattformen wegen mutmaßlich wettbewerbswidriger Praktiken, der unrechtmäßigen Nutzung von Nachrichteninhalten und anderer potenziell unlauterer Marktpraktiken zu untersuchen. Der Präsident reagiert damit auf die Petition nigerianischer Pressevertreter und Medienhäuser zu den Praktiken von Konzernen wie Google und Meta. Diesen werden die unbefugte Extraktion, das Scraping sowie die kommerzielle Nutzung urheberrechtlich geschützter Nachrichtenartikel und Rundfunkbeiträgen zur Entwicklung und zum Training von generativen KI-Modellen vorgeworfen, ohne dafür zu bezahlen: Nigeria untersucht große Tech- und KI-Unternehmen wegen „rechtswidriger“ Mediennutzung.
Firefox wird ab der kommenden Saison 2026/27 offizieller Sponsor des walisischen Traditionsclubs Wrexham AFC. Das Logo des Browsers aus dem Hause Mozilla ziert damit in der neuen Spielzeit und in den nächsten Jahren die Trikots der Männer- und Frauenmannschaft von Wrexham. Wrexham und Firefox zelebrieren ihr Zusammengehen als Kampf zweier Davids gegen eine Menge Goliath. Schließlich war der Verein 15 Jahre lang in der Versenkung der unteren Ligen verschwunden und klopft nun an die Tür zur Premier League, nachdem die Schauspieler Ryan Reynolds und Rob McElhenney diesen Ende 2020 gekauft und zu drei Aufstiegen in Folge geführt haben. Zum finanziellen Wert des Sponsorenvertrags machten beide Seiten keine Angaben: Firefox wird neuer Trikotsponsor beim „Hollywood-Club“ Wrexham AFC.
Die Weltraumsonde New Horizons der NASA ist sicher aus einer fast einjährigen Ruhepause geweckt worden und befindet sich weiterhin in einem guten Zustand. Laut NASA soll die Sonde jetzt wissenschaftliche Daten zur Erde schicken, die sie weit draußen am Rand des Sonnensystems im sogenannten Kuipergürtel gesammelt hat. Die Raumsonde ist aktuell etwa 9,5 Milliarden Kilometer von der Erde entfernt, Signale von und zu der Sonde benötigen für die Strecke fast neun Stunden. Während der 321 Tage langen Ruhephase war die Sonde nicht völlig inaktiv, sie hat aber keine Befehle erhalten und keine Daten zur Erde geschickt. Ihre Instrumente haben aber Daten gesammelt, und sie hat wöchentlich ihren Status zur Erde gemeldet: Fast neun Lichtstunden entfernte NASA-Sonde New Horizons beendet lange Ruhepause.
In der heutigen Ausgabe der #heiseshow geht es unter anderem um die deutsche IT-Erfolgsgeschichte AVM/Fritz, die 1986 als kleines BTX-Bastelprojekt von vier Berliner Studenten begann. Was hat AVM über vier Jahrzehnte so erfolgreich gemacht? Zudem diskutieren wir die Gefährlichkeit von Sicherheitslücken in Hoymiles-Wechselrichtern. Wie realistisch ist ein Angriff auf Balkonkraftwerke im Vorbeifahren? Derweil werden Akkuwechselstationen für Elektrofahrzeuge in China weiter ausgebaut, obwohl sich der Zeitvorteil des Akkutauschs mit der Einführung von 800-Volt-Systemen relativiert. Ist das Wechselkonzept ein Modell, das auch in Europa funktionieren könnte, oder macht Schnellladen es überflüssig? Das sind die Themen heute um 17 Uhr live in der #heiseshow: 40 Jahre AVM/Fritz, Wechselrichter-Lücke, Akkuwechselstationen.
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmung wird hier ein externes YouTube-Video (Google Ireland Limited) geladen.
Auch noch wichtig:
Weiterlesen nach der Anzeige
(fds)
Künstliche Intelligenz
Bundespolizei: Koalition bahnt Weg für KI-Echtzeitfahndung und Staatstrojaner
Der Bundestag steht vor einer Zäsur bei der inneren Sicherheit und den digitalen Bürgerrechten. Nach langer Debatte soll das überwiegend aus dem Jahr 1994 stammende Bundespolizeigesetz novelliert werden. Der Innenausschuss hat den Gesetzentwurf der Bundesregierung in geänderter Fassung bereits gebilligt. CDU/CSU und SPD setzten die Reform gegen die Stimmen von Grünen und Linken bei Enthaltung der AfD durch. Damit ist der Weg für die abschließende Beratung im Bundestag am Freitag frei.
Weiterlesen nach der Anzeige
Kurzfristige Änderung
Besonders umstritten ist ein kurzfristig eingebrachter Änderungsantrag der Koalition. Mit dem neuen Paragrafen 31b wird eine Rechtsgrundlage für die biometrische Detektion in Echtzeit geschaffen. Künftig darf die Bundespolizei an Bahnhöfen, Flughäfen und anderen Grenzbereichen Live-Kamerabilder automatisiert mithilfe Künstlicher Intelligenz mit den biometrischen Daten gesuchter Personen abgleichen.
Ergänzt wird dies durch einen weiteren Paragrafen zur automatisierten Gefahrenerkennung, der die digitale Analyse von Bewegungs- und Objektmustern sowie Aufenthaltsorten ermöglicht.
Bürgerrechtler sehen darin eine erhebliche Ausweitung staatlicher Überwachung und warnen vor dem Einstieg in eine Überwachungsinfrastruktur. Das Bundesinnenministerium verteidigt die von ihm auf den Weg gebrachte Novelle als nötige Anpassung an moderne Kriminalitätsformen.
Grünes Licht für Staatstrojaner
Auch die digitalen Ermittlungsbefugnisse der Bundespolizei sollen erweitert werden. Künftig darf sie Staatstrojaner für die Quellen-Telekommunikationsüberwachung (TKÜ) einsetzen, was die Ampel-Koalition noch ausgeschlossen hatte. Dadurch können verschlüsselte Nachrichten direkt auf den Endgeräten der Betroffenen vor oder nach der Verschlüsselung ausgelesen werden.
Weiterlesen nach der Anzeige
Zugleich erhält die Behörde weitreichende Befugnisse zur Erhebung von Bestands-, Nutzungs- und Verkehrsdaten sowie zur Identifizierung und Lokalisierung von Mobilfunkkarten und Endgeräten. Die Regierung betont, die Regelungen seien an Vorgaben des Bundesverfassungsgerichts angepasst worden. Kritiker halten die Grundrechtseingriffe trotzdem für unverhältnismäßig.
Die Reform modernisiert zudem das physische Arsenal der Bundespolizei. Drohnen dürfen künftig als mobile Sensorträger für Bild- und Tonaufzeichnungen eingesetzt werden. Zugleich werden technische Mittel zur Abwehr solcher Flugobjekte erlaubt.
Ferner erhält die Bundespolizei neue Befugnisse im Bereich Migration und Alltagskontrollen. Sie kann künftig selbst Abschiebehaft beantragen, um das Untertauchen vollziehbar ausreisepflichtiger Personen ohne Duldung zu verhindern.
(vbr)
-
Künstliche Intelligenzvor 3 Monaten„Don’t Starve Elsewhere“: Survival‑Hit kehrt nach zehn Jahren zurück
-
Künstliche Intelligenzvor 3 MonatenKine‑Exakta: Die erste Spiegelreflexkamera fürs Kleinbild
-
Künstliche Intelligenzvor 3 Monaten
xTool P3 im Test: CO₂-Laser mit 80 Watt schneidet und graviert auch Acryl
-
Künstliche Intelligenzvor 3 MonatenWeitere Entlassungswelle bei Disney: Bis zu 1000 Mitarbeiter betroffen
-
Apps & Mobile Entwicklungvor 3 MonatenMega-GPUs für Nvidia, AMD & Co: TSMC zeigt CoWoS-Package mit >11.600 mm² & 24 × HBM5E
-
Social Mediavor 2 MonatenMetas neuer Creative Setup Workflow: Was sich wirklich ändert – und warum das nicht nur eine UI-Frage ist!
-
UX/UI & Webdesignvor 3 TagenRegional & mit Gefühl: Identity für Klimafonds Baden-Württemberg › PAGE online
-
Künstliche Intelligenzvor 2 MonatenApple‑Geräte mit Microsoft Intune verwalten – zweiteiliges Live-Webinar
