Das 2023 in Kanada gegründete Start-up Taalas hat mit dem HC1 einen Technology Demonstrator angekündigt, der KI-Inferenz auf eine neue Stufe heben soll. Statt ein Sprachmodell per Software auf Allzweck-KI-Rechenbeschleunigern auszuführen, gießt Taalas das Modell sozusagen in Silizium. Das erste Produkt ist ein „fest verdrahtetes“ Llama 3.1 8B, das laut Herstellerangaben 17.000 Token pro Sekunde pro Nutzer erzeugen soll.

Laut Taalas bildet das Herzstück ein applikationsspezifischer Logikchip (ASIC) mit rund 53 Milliarden Transistoren, gefertigt bei TSMC im 6‑nm‑Prozess (N6) und 815 mm² Die‑Fläche.

Wie das Unternehmen in einem Blogbeitrag mitteilte, sei das nahezu zehnmal schneller als der aktuelle Stand der Technik. Zum Vergleich: Eine Nvidia H200 erreicht nach Nvidia-eigenen Baseline-Daten rund 230 Token pro Sekunde auf demselben Modell. Spezialisierte Inferenz-Anbieter wie Cerebras kommen laut den unabhängigen Benchmarks von Artificial Analysis auf rund 1.936 Token pro Sekunde – also etwa ein Neuntel des von Taalas beanspruchten Werts. SambaNova folgt mit 916 Token/s, Groq mit 609 Token/s.

Die Konkurrenz schläft jedoch nicht: Nvidia lizenziert seit Dezember 2025 Groqs Technik und hat große Teile des Designteams übernommen, um die eigene Position bei dedizierter Hardware zu stärken.

Testplattform läuft

Taalas stellt zum Ausprobieren den Chatbot „Jimmy“ bereit, der tatsächlich mit bemerkenswerter Geschwindigkeit antwortet – knapp 16.000 Token pro Sekunde waren im Test erreichbar. Einen Preis für den HC1 nennt das Unternehmen bislang nicht. Interessierte Entwickler können sich für den Zugang zu einer Inference-API registrieren.

Das vor zweieinhalb Jahren gegründete Start-up verfolgt drei Kernprinzipien: totale Spezialisierung auf einzelne Modelle, die Verschmelzung von Speicher und Rechenlogik auf einem Chip sowie eine radikale Vereinfachung des gesamten Hardware-Stacks. Taalas beansprucht, Speicher und Rechenwerk bei DRAM-typischer Dichte auf einem einzelnen Chip zu vereinen. Damit entfalle die bei herkömmlicher Inferenz-Hardware übliche Trennung zwischen langsamem Off-Chip-DRAM und schnellem On-Chip-Speicher.

Das verspricht Cerebras zwar auch, baut dazu aber seine gigantische Wafer Scale Engine (WSE), die einen kompletten Wafer belegt und 15 kW Leistung in Hitze verwandelt.

Kein HBM, keine Wasserkühlung, kein Advanced Packaging

Der Ansatz unterscheidet sich grundlegend von dem, was große Chiphersteller derzeit verfolgen. Nvidia setzt bei seinen KI-Beschleunigern wie dem H200 auf teures High Bandwidth Memory (HBM), aufwendige Gehäusetechnik (Packaging) und extrem hohe I/O-Datentransferraten.

Auch beispielsweise Googles TPU, Amazons Interentia oder Microsofts kürzlich angekündigter Azure-Beschleuniger Maia 200 nutzen bis zu 216 GByte HBM3E-Speicher bei einer Transferrate von 7 TByte/s. Microsoft verspricht zwar eine höhere Performance pro investiertem Dollar als bei Nvidia-Technik, doch Maia ist ebenfalls als Allzweckbeschleuniger für verschiedene KI-Modelle konzipiert.

Taalas eliminiert diese Komplexität, indem der HC1 ausschließlich für ein einzelnes Modell optimiert wird. Das Ergebnis komme ohne HBM, 3D-Stacking, Flüssigkühlung und Highspeed-I/O aus.

Bisher nur Mini-Modell

Das hat allerdings einen Preis in puncto Flexibilität. Der HC1 ist weitgehend fest verdrahtet – der Chip kann nur Llama 3.1 8B ausführen, nicht beliebige andere Modelle.

Llama 3.1 wurde Mitte 2024 vorgestellt, das ist im KI-Wettrüsten schon ein stattliches Alter. Die kompakte Version mit 8 Milliarden Gewichten (8 Billion, daher Llama 3.1 8B) läuft in quantisierter Form sogar auf einem Raspberry Pi 5 – wenn auch sehr langsam.

Immerhin lassen sich laut Taalas die Größe des Kontextfensters konfigurieren und per Low-Rank-Adapter (LoRA) Feinabstimmungen vornehmen. Zudem räumt das Unternehmen ein, dass die erste Silizium-Generation ein proprietäres 3-Bit-Datenformat nutzt, kombiniert mit 6-Bit-Parametern. Diese aggressive Quantisierung führe zu gewissen Qualitätseinbußen gegenüber GPU-Benchmarks mit höherer Präzision.

Nächste Generation soll Qualitätsprobleme lösen

Taalas plant, sehr schnell Nachfolger zu liefern. Der schlanke, automatisierte und schnelle Entwicklungsprozess für KI-ASICs ist das eigentliche Ziel des jungen Unternehmens. Es wurde von den Tenstorrent-Gründern Ljubisa Bajic und Drago Ignjatovic ins Leben gerufen. Beide waren zuvor länger für AMD tätig, Bajic auch für Nvidia. Wegen der prominenten Namen – derzeit leitet der bekannte Chipentwickler Jim Keller Tenstorrent – erheischt Taalas viel Aufmerksamkeit in der KI-Szene.

Gerade einmal 24 Teammitglieder hätten das erste Produkt realisiert, bei Ausgaben von 30 Millionen US-Dollar – von insgesamt über 200 Millionen eingesammeltem Kapital. Für einen N6-Chip mit 53 Milliarden Transistoren sind 30 Millionen US-Dollar Entwicklungskosten sehr wenig. Angesichts der extrem hohen Preise für Allzweck-KI-Beschleuniger erwarten die Gründer eine lukrative Marktnische.

Taalas zielt mit seinen Chips ausdrücklich auf Rechenzentren verspricht dort Kosten, die 20-mal niedriger liegen sollen als bei konventioneller GPU-Inferenz, bei einem Zehntel des Stromverbrauchs.

Ein mittelgroßes Reasoning-Modell auf Basis der gleichen HC1-Plattform soll im Frühjahr in den Taalas-Laboren eintreffen und kurz darauf als Inference-Service verfügbar werden.

Danach plant das Unternehmen, mit der zweiten Chipgeneration HC2 ein Frontier-LLM umzusetzen. Die HC2-Plattform soll standardisierte 4-Bit-Gleitkommaformate unterstützen, höhere Packungsdichte bieten und noch schneller arbeiten. Ein Deployment ist für den Winter vorgesehen.

Einordnung und offene Fragen

Die von Taalas genannten Leistungsdaten sind beeindruckend, lassen sich bislang aber nur eingeschränkt überprüfen. Die Benchmarks stammen aus hauseigenen Tests; unabhängige Messungen von Dritten liegen bisher nicht vor.

Auch ist unklar, wie sich die Qualitätseinbußen durch die aggressive Quantisierung in der Praxis auswirken – insbesondere bei komplexeren Aufgaben jenseits einfacher Chat-Konversationen. Ob das Konzept modellspezifischer Chips wirtschaftlich skaliert, wenn für jedes neue Modell eigenes Silizium gefertigt werden muss, bleibt ebenfalls abzuwarten.

Taalas geht es nicht um sogenannte „Edge AI“-Anwendungen, bei denen trainierte Modelle ohne Cloud-Anbindung direkt auf dem Gerät laufen. Das sind häufig Modelle für Spracherkennung, Sprachsteuerung, Objekterkennung in Videobildern für Überwachungskameras, Radar-Sensorauswertung oder Maschinenüberwachung durch Geräuschanalyse (Predictive Maintenance). Das ist die Domäne der Neural Processing Units (NPUs) mit derzeit 10 bis 90 Int8-Tops, die in verwirrender Vielfalt auf den Markt kommen: M5Stacks AI Pyramid-Pro, die Hailo-NPUs zum Nachrüsten des Raspberry Pi 5, Google Coral und die Embedded-Versionen von x86- und ARM-Prozessoren wie AMD Ryzen, Intel Panther Lake, Qualcomm Snapdragon, Mediatek Genio, Rockchip und etwa auch RISC-V-SoCs wie der SpacemiT K3. Auch die europäischen Automotive-Mikrocontroller-Spezialisten Infineon, STMicroelectronics und NXP offerieren alle Chips mit eingebauten NPUs, ebenso wie TI und Renesas.

(vza)

GitHub hat erste Schritte angekündigt, um das Problem der schmuddeligen KI-Beiträge für Open-Source-Projekte anzugehen. Immer mehr Maintainer beklagen sich über derartige Pull Requests (PRs), deren Autorinnen und Autoren „möglicherweise nicht vollständig verstehen, was sie beitragen“ (Brecht Van Lommel, Blender). Das zu Microsoft gehörende GitHub steht als KI-Treiber im Zentrum der Kritik, hat nun aber eine Reihe von Maßnahmen in Planung.

Im Blogeintrag erkennt GitHub das Problem an: „Als Heimat von Open Source haben wir die Verantwortung, euch bei dem zu helfen, was auf euch zukommt.“ Als erste Maßnahme kündigt GitHub an, dass Maintainer PRs künftig einfach löschen können. Das gibt ihnen die Möglichkeit, schon anhand einer schnellen Prüfung AI Slop kurzerhand auszusortieren, um die Übersichtlichkeit des Repos zu erhalten. Das war auch eine der Hauptforderungen vieler überlasteter Projektverantwortlicher.

Weitere Funktionen, die GitHub derzeit erwägt, sind an Bedingungen geknüpfte PRs oder Triage-Tools, die PRs aussortieren, die Erfordernisse nicht erfüllen, die die Maintainer beispielsweise in einer Datei CONTRIBUTING.md manifestieren.

Vorangegangen war ein Aufruf von GitHub in der Community, in dem der Anbieter um Feedback bittet. Hier kündigt GitHub noch an, dass Maintainer PRs auf bestimmte Gruppen von Kontributoren oder für Mirrors einschränken können sollen.

Missmut in der Community steigt

In den vergangenen Wochen hatte die Kritik zugenommen: Gentoo Linux ist auf dem Weg, von GitHub zu Codeberg zu wechseln, und Curl stoppte das Bug-Bounty-Programm auf Hacker One aus ähnlichen Gründen. Zuletzt hatten sich Rémi Verschelde, Maintainer der Spiele-Engine Godot, und Brecht Van Lommel, Softwarearchitekt bei Blender, kritisch zu Wort gemeldet. Verschelde schreibt auf Bluesky: „Offen gesagt werden AI-Slop-PRs für die Godot-Maintainer immer anstrengender und demoralisierender.“ Gleichzeitig ruft er dazu auf, Godot besser finanziell zu unterstützen, um mehr Maintainer bezahlen zu können: Das „ist die einzige praktikable Lösung, die ich mir vorstellen kann.“

Weitere Vorschläge in den Kommentaren zu seinem Posting sind ein Authentifizierungssystem für Kontributoren oder ein Vorrang für erfahrene Entwickler mit ausreichend historischen GitHub-Beiträgen. Das hält auch Verschelde für möglich: „Ich möchte die Zugangsbarriere nicht erhöhen, aber wir haben vielleicht keine andere Wahl.“ An GitHub möchte er festhalten, aufgrund der guten Vernetzung der Projekte und nicht zuletzt wegen der kostenlosen CI.

Kritik an GitHub zielt in erster Linie auf die KI-treibende Politik von Microsoft, in deren Zentrum der Copilot steht. Alex McLean, Maintainer des Musik-Projekts Strudel, berichtet etwa: „Bei uns gab es keine KI-Bot-PRs mehr, seit wir von Microsoft GitHub zu Codeberg umgezogen sind. Ich vermute, dort gibt es keine Anreize dafür.“ Ein anderer Kommentator bezweifelt, dass GitHub ernsthafte Maßnahmen ergreifen will: „Das werden sie nicht. GitHub untersteht Microsofts KI-Team. Jedes neue Update auf der GitHub-Homepage hat einen KI-Bezug.“ Hier wird sich Microsoft beweisen müssen, um eine weitere Abwanderung einzudämmen.

Brecht Van Lommel schreibt im Blender-Blog neben seinem eingangs genannten Zitat: Für Maintainer ist es sinnvoll, neue Entwickler in das Projekt einzuweisen, um dieses voranzubringen, „auch wenn es für den Reviewer schneller gewesen wäre, die Änderungen selbst vorzunehmen (mit oder ohne KI). Daher sollten Reviewer wissen, ob sie mit einem Menschen zusammenarbeiten, damit sie entscheiden können, ob sich der Aufwand lohnt.“

(who)

In Lambda-Ausdrücken kann man in C# 14.0 jetzt Parameter-Modifizierer wie scoped, ref, in, out und ref readonly verwenden, ohne dabei den Datentyp benennen zu müssen.

Ein Beispiel: Für den Delegate

delegate bool Extract(string text, out T result);

musste man vor C# 14.0 Folgendes schreiben:

Extract ExtractOld = (string text, out int result) 
  => Int32.TryParse(text, out result);

Ab C# 14.0 können Entwicklerinnen und Entwickler im Lambda-Ausdruck die Nennung der Datentypen string und int weglassen, weil diese Datentypen aus dem Kontext bereits klar sind:

Extract ExtractNew = (text, out result) 
  => Int32.TryParse(text, out result);

Das geht allerdings nicht, wenn ein variadischer Parameter mit params zum Einsatz kommt:

Add AddOld = (out int result, params List data) 
  => { result = data.Sum(); return true; };

Nicht möglich ist also folgende Verkürzung:

Add AddNew = (out result, params data) 
  => { result = data.Sum(); return true; };

(rme)