Künstliche Intelligenz
Liebling, ich habe die Chatbots geschrumpft
Quantisierung, also das Reduzieren der Genauigkeit gespeicherter Gewichte von Large Language Models (LLMs) und anderen generativen KI-Modellen, ohne dass deren Ausgaben stark an Qualität verlieren, ist bei sehr großen LLMs Standard. Jüngste Ungetüme wie Kimi K3 mit 2,8 Billionen Parametern werden gar nicht erst mit mehr als 4 Bit ausgeliefert, und auch ein guter Teil des Trainings hat schon mit 4 Bit stattgefunden. Üblich waren früher 32-Bit-Gleitkommazahlen fürs Training, ausgeliefert wurden FP16-Gewichte. Übliche Quantisierungsziele sind FP8, also Gleitkommazahlen mit 8 Bit Genauigkeit und Q4, also 4-Bit-Formate, die entweder mit Integerwerten speichern oder neue Gleitkommaformate wie NVFP4 (Nvidia) oder MXFP4 (offener Standard) verwenden. Dankenswerterweise gilt die Faustregel: Je größer das Modell (in Anzahl Parameter) ist, desto weniger schadet die Quantisierung der Antwortqualität. Während bei Modellen mit 8 bis 12 Milliarden Parametern die Qualitätseinbußen noch deutlich spürbar sind, fallen sie in der 100B-Liga (B steht für das englische Billion, also Milliarden) schon sehr gering (meist <1%) aus. Spätestens bei Modellen mit 300B und darüber (z.B. DeepSeek v4 Flash oder Qwen 3.5 397B) reduziert Quantisierung bis hin zu 4 Bit die Antwortqualität nicht mehr.
Weiterlesen nach der Anzeige
Generell gilt aber, dass die Qualitätseinbußen durch Quantisierung meist geringer sind, als die Gewinne, die sich durch den Einsatz größerer Modelle ergeben. Bei gegebener Hardware ist es also sinnvoller, ein quantisiertes großes Modell zu betreiben, als ein kleineres mit FP16-Genauigkeit. Der Speicher ist der limitierende Faktor. Hat man beispielsweise 12 GByte VRAM in der Grafikkarte, so ist man auf Modelle mit weniger als 6B Parametern beschränkt (FP16 = 2 Byte pro Parameter). Zusätzlich braucht man noch Platz für den KV-Cache. Realistisch sind also eher 4B-Modelle. Nutzt man dagegen 4-Bit-Quantisierung, kann man größere Modelle bis zur 20B-Klasse betreiben, zum Beispiel ein GPT-OSS 20B oder das neue AMD Instella 16B A3B.
Unter vier Bit: BitNet und Bonsai
Aktuell sind jetzt wieder Quantisierungen im Gespräch, die noch weiter gehen und mit weniger als 4 Bit pro Parameter arbeiten. Das ist grundsätzlich nichts Neues. So sorgte Microsoft schon im April 2025 mit BitNet b1.58 für Aufsehen, das im Durchschnitt mit nur 1,58 Bit pro Parameter auskommt. Der schräge Wert ergibt sich aus der Mischkalkulation, wo viele Parameter tatsächlich nur mit 0 oder 1, also einem Bit gespeichert werden, manche andere aber mit bis zu 4 Bit.
Auch damals war von Zeitenwende die Rede. Anschließend flaute der Hype aber schnell wieder ab, und die 4-Bit-Quantisierung blieb der Standard (etwa wenn man sich über ollama oder LM Studio ein Modell aus dem Katalog lädt). Jetzt wirbt das Startup Prism ML damit, ein 27B-Modell wie Qwen 3.6, das in den gängigen Benchmarks fast die Qualität eines Nemotron 3 Ultra (550B) erreicht, durch Quantisierung auf Consumer-Geräte zu bringen. Bonsai heißt die Modellfamilie und soll mit minimal 4 GByte RAM auskommen. Damit wäre sie sogar auf Handys und Rechnern ohne GPU nutzbar. Dafür benötigt man eine angepasste Variante von llama.cpp, einer gängigen Laufzeitumgebung für LLM-Inferencing. In Tests unter Ubuntu konnte der Autor dieses Artikels mit der „Ternary“-Variante, die im Schnitt mit 1,7 Bit pro Gewicht auskommt und 7,2 GByte groß ist (statt 54 GByte in FP16), auf einer Nvidia RTX 4070 Super mit 12 GByte VRAM 50 Token pro Sekunde generieren. Das ist mehr als passabel. Ab 30 Token pro Sekunde (T/s) wirkt ein interaktiver Chat-Betrieb verzögerungsfrei, weil man nicht schneller lesen kann als generiert wird. Im „Reasoning“-Modus, wenn das Modell erst Token für den internen Gebrauch produziert, bevor die finale Antwort an den Benutzer geht, haben sich 60 T/s als akzeptabel etabliert. Das bedeutet also rund 17 Sekunden Wartezeit für den Nutzer, wenn das Modell 1000 Thinking-Token generiert.
Die Antwortqualität war dabei inhaltlich gut, allerdings von der sprachlichen Korrektheit im Deutschen sehr zweifelhaft. Während das Originalmodell trotz chinesischer Wurzeln keinerlei Probleme mit deutscher Rechtschreibung, Wortwahl und Grammatik hat, fiel Bonsai 27B durch kreative Wortneuschöpfungen und Rechtschreibfehler auf (z.B. Haustiherd statt Haustier).
Mobil und auf der CPU: noch ein Geduldsspiel
Weiterlesen nach der Anzeige
Für einen Test auf dem Smartphone kam ein Asus Zenfone 9 mit 8 GByte RAM und der App „LLM AI Server with llama.cpp“ zum Einsatz. Dort lassen sich komfortabel Modelle bei Hugging Face suchen, herunterladen und über ein Web-UI im Browser direkt verwenden. Die App misst die Geschwindigkeit nicht. Gefühlt waren es allerdings rund 2 T/s. Das änderte sich auch bei einem Wechsel von 27B- auf 8B- oder 4B-Varianten nicht grundlegend.
Ähnliches gilt für den CPU-Betrieb. Ein flotter Intel Core i7-14700K mit 20 Kernen / 28 Threads erreichte nur 2 bis 3 T/s, was nicht wirklich praktikabel ist. In die Schublade „netter Showcase ohne praktische Nutzbarkeit“ ist auch Colibri einzuordnen: Der Hersteller der eigenen LLM-Laufzeitumgebung verspricht ein stark quantisiertes GLM 5.2 mit 744B Parametern auf Consumer-Hardware ganz ohne GPU mit nur 32 GByte RAM lauffähig zu machen. Das scheint nach Berichten im Internet auch zu funktionieren. Allerdings mit 0,3 Token pro Sekunde, wenn man eine schnelle SSD hat. Für die 1000 Reasoning-Token aus dem vorigen Beispiel wartet man also fast eine Stunde.
(fo)
Künstliche Intelligenz
Microsoft-Ausfall: Woran es lag und wer besonders litt
Eine stundenlange Großstörung hat weltweit Unternehmen und Verbraucher von zentralen Cloud-Angeboten des Software-Konzerns Microsoft abgeschnitten. Betroffen waren nicht nur der E-Mail-Dienst Outlook, sondern generell Dienste aus dem Cloud-Paket Microsoft 365. Beim Bürokommunikations-Angebot Teams etwa funktionierten das Planen von Besprechungen und Kalender-Anbindungen nicht richtig. Zudem waren der KI-Assistent Copilot sowie Schnittstellen zu Drittanbietern zeitweise gestört, darunter KI-Dienste wie OpenAI und Anthropic.
Weiterlesen nach der Anzeige
Microsoft machte zum Freitagnachmittag nach und nach Fortschritte – bis die Systeme dann wieder stabil liefen. Die Dienste seien zur Sicherheit schrittweise hochgefahren worden, auch wenn es dadurch länger gedauert habe. Der Konzern betonte danach, die Störung sei auf ein hausgemachtes Problem und nicht auf eine Cyberattacke oder KI-Aktivität zurückgegangen.
Der Grund habe letztlich in einem zuvor durchgeführten Upgrade der Netzwerk-Kapazität gesteckt. Ein dabei eingeführtes Problem sei erst nach jüngsten Netzwerk-Änderungen in Erscheinung getreten, hieß es. Später werde es einen ausführlichen Bericht zu dem Zwischenfall geben.
Zug- und Flugverkehr weitgehend stabil
Die Deutsche Bahn meldete wegen der Störung kaum Probleme. „Züge fahren unabhängig von Microsoft-Systemen, deshalb läuft der bundesweite Bahnbetrieb stabil“, teilte ein Sprecher des bundeseigenen Konzerns mit. In ganz wenigen Fällen sei es zu Verzögerungen gekommen, „weil kurzfristige Fahrplananpassungen nicht per E-Mail versendet werden konnten“. Bei der Lufthansa gab es nach Angaben eines Sprechers keine Auswirkungen auf den Flugverkehr. Es seien andere Systeme im Einsatz. Auch die Flughäfen in Frankfurt und Berlin teilten mit, dass die Microsoft-Probleme sich nicht auf den Flugbetrieb auswirkten.
Bei Deutschlands größtem Strom-Verteilnetzbetreiber Eon war der Betrieb der Energienetze nach eigenen Angaben nicht betroffen. Grund dafür sei eine klare Trennung zwischen Systemen für Informations- und für Betriebstechnologie, erklärte eine Sprecherin. Letztere liefen auf speziell abgesicherten Infrastrukturen, die nicht von den betroffenen Microsoft-Diensten abhängig seien.
Im Frankfurter Finanzdistrikt war wie vielerorts die interne Kommunikation gestört. Bankfunktionen seien nicht betroffen und liefen alle ohne Störungen, erklärte ein Sprecher der Commerzbank. Bei der Deutschen Börse hieß es, der Wertpapierhandel laufe wie gewohnt.
Bundesregierung sieht Wirtschaft betroffen
Nach Angaben der Bundesregierung hatte die stundenlange Störung keine größeren Auswirkungen auf die Verwaltung. „Aus der Bundesverwaltung liegen uns keine Meldungen über größere Ausfälle vor“, sagte ein Sprecher des Digitalministeriums in Berlin. Man gehe jedoch von einer großen Betroffenheit in der deutschen Wirtschaft aus. Beim Bundesamt für Sicherheit in der Informationstechnik (BSI) hieß es, von vielen Unternehmen seien Meldungen zum Ausfall bei der Kommunikation eingegangen. Es gebe aber keine Hinweise auf einen Cyberangriff.
Ein Sprecher des Innenministeriums sagte, es gebe bisher keine Kenntnisse darüber, dass das Ministerium oder anhängige Behörden betroffen seien. Der Sprecher des Digitalministeriums erklärte, dass der Bundesclient als Standard-IT-Arbeitsplatz in der Bundesverwaltung stabil laufe. Dieser nutze Microsoft nicht in der Cloud, sondern werde auf eigener Infrastruktur betrieben. Jedoch nutzten noch nicht alle Behörden den Bundesclient, sondern dieser soll bis 2032 Standard in der gesamten Verwaltung werden. Der einheitliche E-Mail-Client in der Bundesverwaltung laufe stabil.
Weiterlesen nach der Anzeige
Internes Microsoft-Problem
Angaben der Microsoft-Ingenieure zufolge wurde auf betroffenen Servern ein Prozess überlastet, der für den Aufbau sicherer Verbindungen zuständig ist – woraufhin die Rechner keine Anfragen mehr verarbeiteten. Zudem machte der Konzern die jüngste Konfigurationsänderung rückgängig, die zeitlich mit dem Beginn der Störung zusammenfiel. Microsoft erklärte, man suche angesichts anhaltender Ungleichgewichte bei der Datenverkehrssteuerung nach Wegen, um die Kapazitäten zu erhöhen.
Ausfälle von Online-Diensten gehören zum Alltag – meist sind sie aber von kurzer Dauer. Manchmal sind die Probleme aber so gravierend, dass es zu stundenlangen Störungen kommt. Microsofts Cloud- und E-Mail-Dienste hatten erst Ende August einen stundenlangen großflächigen Ausfall durchlebt, bei dem sich Nutzer nicht einloggen oder Nachrichten senden und empfangen konnten.
Auswirkungen weltweit
In Australien fiel der Ausfall mitten in die Abschlussprüfungen. Schüler aus Melbourne berichteten dem Sender ABC, sie könnten sich nicht auf ausstehende Sprachprüfungen vorbereiten, weil sie weder auf Materialien noch auf die Website der Prüfungsbehörde zugreifen könnten. Auch Online-Unterricht an Berufsschulen über Microsoft Teams war betroffen. Arzttermine und Untersuchungen mussten verschoben werden. Der Ausfall führte zu Verzögerungen im Flugverkehr. In Sydney musste eine Maschine mit Ziel Papua-Neuguinea am Boden warten, weil der Kapitän seine für den Start erforderlichen Unterlagen nicht per Outlook erhalten hatte.
(nie)
Künstliche Intelligenz
Rust als perfekte Sprache für Agentic AI: Online-Konferenz betterCode() Rust
Am 26. November 2026 findet die sechste Auflage der betterCode() Rust statt. Dieses Jahr legt die Online-Konferenz den Fokus auf agentengetriebene Entwicklung für Rust-Anwendungen.
Weiterlesen nach der Anzeige
Die betterCode() Rust zeigt, welche Architekturen, Tools und Prozesse sich für die agentische Softwareentwicklung mit Rust eignen. Die Vorträge vermitteln Best Practices und Leitlinien, für welche Aufgaben man Agenten sinnvoll einsetzen kann und was man lieber noch selbst macht.
Von Systems Design bis Harness Engineering
Das Programm der Konferenz bietet unter anderem folgende Vorträge:
- Systems Design mit Rust und Agenten
- Sokrates und die Wartbarkeit deiner Rust-Codebasis
- Embedded Sensor mit Agentic Rust entwickeln
- Harness Engineering: Rust als perfekte Sprache für agentische Entwicklung
- Rust in the Age of Agents
Die Konferenztickets sind zum Preis von 299 Euro (alle Preise zzgl. 19 % MwSt.) erhältlich. Teams ab drei Personen erhalten im Online-Ticketshop automatisch einen Gruppenrabatt.
Zusätzlicher Workshop zu Harness Engineering
Am 2. Dezember findet zusätzlich der Workshop „Agent-Ready Rust: Harness Engineering für AI Coding Agents“ statt, der 549 Euro kostet.
Wer über den Verlauf der betterCode()-Konferenz auf dem Laufenden bleiben möchte, kann sich für den Newsletter eintragen.
(rme)
Künstliche Intelligenz
Polarlicht bis Porträt: Licht und Himmel in den Bildern der Woche 46
In dieser Woche steht bei der Bildauswahl aus der c’t-Foto-Galerie der Himmel im Mittelpunkt: Mal dient er als Bühne für die Polarlichter über Norwegen, mal erscheint er als nebliges Grau über den Wolkenkratzern Londons und mal erstrahlt er in goldenem Morgenlicht über den Dächern Berlins. Was alle Aufnahmen verbindet, ist der konsequente Blick auf das Licht und die so geschaffene Atmosphäre. Dabei verändern sich die Stimmungen von Bild zu Bild und entfalten immer eine starke emotionale Wirkung.
Weiterlesen nach der Anzeige
Dazu gesellen sich Motive, die auch die Vielfalt der fotografischen Genres in der Foto-Galerie zeigen: Ein Vogel, präzise aus seinem Umfeld herausgelöst, eine Möwe im Bruchteil einer Sekunde zwischen zwei Tauchgängen, ein gestrandetes Wrack, das durch Langzeitbelichtung und Schwarz-Weiß-Umsetzung zeitlos wirkt – und schließlich ein Porträt, in dem Licht und Schatten zur eigentlichen Aussage werden. Sieben Bilder, sieben Haltungen und eine große Sorgfalt im Blick.
Die Saison ist im vollen Gange von Wolzow1902

Die Saison ist im vollen Gange
(Bild: Wolzow1902)
Wie vertikale Pinselstriche steigen grüne und violette Lichtbänder der Aurora vom Horizont in den tiefblauen Nachthimmel über Norwegen. Die dunkle Silhouette der Hügelkette am unteren Bildrand bildet eine ruhige Grundlinie, vor der sich das Polarlicht umso dramatischer entfaltet. Herbstlich gefärbtes Laub an den Bildrändern rahmt die Szenerie ein und schafft eine spannungsvolle Verbindung zwischen Vordergrund und Himmel. Die Farbskala von tiefem Blau über leuchtendes Grün bis zu zartem Violett verleiht dem Bild eine orchestrale Dynamik.
City of London von M.Schröder

City of London
(Bild: M.Schröder)
Nebel verschluckt die Spitzen dieser Londoner Hochhäuser, er löst die Architektur nach oben hin in ein tonales Grau auf und erzeugt so eine atmosphärische Perspektive. Der zentrale Turm dominiert mit seinem Raster aus Glasflächen das Bild, während ein Baukran an der linken Flanke eine feine vertikale Linie setzt. Rechts schiebt sich ein zweites Gebäude mit markanter Stahlstruktur ins Bild und schafft so eine Staffelung der Bildebenen.
Eisvogel von Lightpix84

Eisvogel
(Bild: Lightpix84)
Ein Eisvogel sitzt auf einem Vorsprung am Wasser und blickt nach oben. Die Aufnahme entstand mit einem Teleobjektiv, das den Hintergrund in ein weiches Bokeh aus warmen Braun- und Grüntönen auflöst. Die geringe Schärfentiefe isoliert den Vogel präzise und lenkt die Aufmerksamkeit auf das leuchtende Türkisblau seines Gefieders, das im Komplementärkontrast zu den orangefarbenen Brustpartien steht. Der Bildaufbau platziert das Tier im unteren Drittel, sodass der weiche, fast malerische Hintergrund viel Raum erhält und eine ruhige Tiefenwirkung entsteht. Die nach oben gerichtete Kopfhaltung des Vogels führt den Blick entlang einer diagonalen Linie durch das Bild und verleiht der Szene eine gewisse Spannung.
Wenn Bäume mal richtig was hermachen von ulwp6

Wenn Bäume mal richtig was hermachen
(Bild: ulwp6)
Aus erhöhter Position blickt die Kamera über eine weite, von Nebelschwaden durchzogene Berliner Landschaft bei Sonnenaufgang. Dutzende Bäume ragen aus dem flachen Dunst hervor und werfen lange, klar gezeichnete Schatten auf den Boden. Im Hintergrund zeichnet sich die Silhouette der Hauptstadt ab: Hochhäuser und der Fernsehturm verschwimmen im goldenen Dunst. Am Horizont schiebt sich die Sonne durch eine Wolkenbank und färbt den Himmel in kräftigen Orange- und Gelbtönen, während darüber bereits kühles Blau durchscheint.
Das Wrack von Asfotografie

Das Wrack
(Bild: Asfotografie)
Gestrandet und verwittert, und doch zieht es den ganzen Blick auf sich. In einer walisischen Bucht liegt dieses alte Boot wie ein Monument der Vergänglichkeit. Es ist umgeben von seidig verwischtem Wasser und ziehenden Wolken. Durch die Langzeitbelichtung wird alles ringsum zur Nebensache, nur das raue Holz des Rumpfes bleibt greifbar und präsent. Die Schwarz-Weiß-Darstellung nimmt der Szene jede Ablenkung und rückt Struktur und Stimmung in den Vordergrund. Ein Bild, das man lange betrachtet – und das dabei immer ruhiger wird.
… und in den Angriff übergehen von Zika

… und in den Angriff übergehen
(Bild: Zika)
Rote Füße, nasses Gefieder und der Blick steil nach unten – diese Lachmöwe, die über dem Wasser kreist, zögert nicht. Gerade ist sie aus dem Wasser aufgestiegen und verharrt für einen Wimpernschlag in der Luft, die Flügel weit aufgespannt. Die feinen Spritzer unter ihr markieren den letzten Tauchgang, während der gesenkte Kopf bereits den nächsten ankündigt. Der ruhige, entsättigte Hintergrund isoliert den Vogel und verleiht dieser Vogelstudie eine fast grafische Klarheit.
Weiterlesen nach der Anzeige
Bernadette von Thomas Ruppel

Bernadette
(Bild: Thomas Ruppel)
Licht, das Streifen malt, und ein Blick, der alles einfängt. Die diagonalen Schattenlinien der Jalousie legen sich wie ein grafisches Raster über Haut, Haar und Hintergrund und erzeugen ein spannungsreiches Muster. Die Schwarz-Weiß-Umsetzung dreht den Kontrast auf und verleiht dem Porträt eine fast skulpturale Wirkung. Die voluminösen Locken des Models brechen das strenge Linienspiel auf organische Weise auf, während die lässig an die Schulter gelegte Hand den Blick zurück zum intensiven Ausdruck lenkt. Hier trifft geometrische Strenge auf natürliche Form.
(vat)
-
Apps & Mobile Entwicklungvor 2 Monatentado°: Smartes Wand-Thermostat ersetzt Batterien durch USB‑C‑Akku
-
Apps & Mobile Entwicklungvor 2 MonatenAqara Spatial Multi-Sensor FP400: Matter-Sensor erkennt bis zu 10 Personen mit mmWave‑Radar
-
Apps & Mobile Entwicklungvor 2 MonatenArm CSS for Mobile 2: C2-Ultra macht die CPU zum Orchestrator für KI‑Agenten
-
Künstliche Intelligenzvor 2 MonatenGesperrte Straße von Hormus: Laut Prognose werden CO₂-Emissionen 2026 sinken
-
Künstliche Intelligenzvor 1 MonatVerbrenner-Aus: Merz und Macron wollen CO₂-Ziel für 2035 weiter lockern
-
Künstliche Intelligenzvor 2 Monaten
Plug-in-Hybride emittieren sechsmal mehr CO₂ im Alltag als offiziell angegeben
-
Apps & Mobile Entwicklungvor 3 MonatenDeutsche Lüfter-Ikone: ebm‑papst geht für 5,1 Milliarden Euro in die USA
-
Künstliche Intelligenzvor 2 MonatenDänischer CO₂-Speicher „Greesand“ geht im Meeresgrund in Regelbetrieb
