Amin Vahdat trägt den offiziellen Titel Chief Technologist für KI und Infrastruktur bei Google. Damit ist er nicht nur für den Compute-Bereich zuständig, der die Cloud-KI-Infrastruktur einschließt. Er kümmert sich auch um das Design von Googles internem und externem Netzwerk, die zahlreichen Rechenzentren und die dort verwendeten Plattformarchitekturen – von den eingekauften GPUs und anderen Beschleunigern über die Server bis zu Googles hauseigenen KI-Chips.

Die Tensor Processing Units (TPUs) haben in den vergangenen zehn Jahren acht Generationen durchlaufen. Die neueste Generation besteht aus zwei Varianten und wurde im April vorgestellt. Im Interview mit heise online spricht der promovierte Informatiker Vahdat, der seit 16 Jahren bei Google arbeitet und davor unter anderem Professor an der University of California in San Diego war, über Googles KI-Hardware.

heise online: Herr Vahdat, Sie haben jetzt erstmals spezielle TPU-Varianten für das Training (8t) und die Inferenz (8i). Was genau macht die neuen TPUs aus diesem Jahr besser als die alten?

Amin Vahdat: Mit unserer achten TPU-Generation haben wir uns vom Konzept eines einzelnen, generischen Beschleunigers gelöst, weil wir überzeugt sind, dass sich die physikalischen Gegebenheiten von KI-Workloads grundlegend verändert haben.

„Ein einzelner Prompt kann mittlerweile Tausende autonomer Sub-Agenten anstoßen, die dann wiederum mehrstufige Aufgaben ausführen.“

Für das Training von Frontier-Modellen erreicht die TPU 8t jetzt 121 ExaFlops pro Pod und hält einen Goodput von 97 Prozent aufrecht, sodass die Rechenleistung direkt ins aktive Lernen fließen kann. Auf der Serving-Seite verdreifacht die TPU 8i den On-Chip-SRAM auf 384 MB, um den massiven Working-Memory-Bedarf von Agenten direkt auf dem Silizium vorzuhalten. Mit unserer neuen Collectives Acceleration Engine platzieren wir die richtige Menge an Rechenleistung direkt im Netzwerkpfad. Dabei senken wir die interne Latenz um bis zu Faktor fünf und erzielen sehr geringe Antwortzeiten bei komplexem Reasoning.

Solche Verbesserungen zeigen, wie wir das Hochskalieren von KI für Unternehmen durch integrierte Lösungen wirtschaftlich machen können. Das liefert für alle Workloads von vorne bis hinten Verbesserungen.

Sie haben also die Chip-Typen verändert und auch die Namen. Was steckt strategisch dahinter?

Hardware-Entwicklungszyklen dauern bekanntlich Jahre, also mussten wir die Marktentwicklung vorausplanen, noch bevor der aktuelle Boom einsetzte. Wir haben geschätzt, dass die Branche bis 2026 an eine Weggabelung kommen würde, bei der Inferenz- und Serving-Workloads einen erheblichen Anteil der Nachfrage ausmachen.

Wir haben die Architektur daher in zwei spezialisierte Systeme aufgeteilt, weil wir gesehen haben, dass die Workloads für das Training riesiger Modelle und den Betrieb von Echtzeit-KI-Agenten auseinanderlaufen und jeweils angepasste Technologien benötigen. Das „t“ in TPU 8t steht, wie Sie bereits erwähnt haben, für Training, das eine massive Skalierung und hohen Durchsatz für die Entwicklung von Frontier-Modellen erfordert. Das „i“ in TPU 8i steht für Inferenz, die schnelle Verarbeitung mit niedriger Latenz für komplexe Reasoning-Aufgaben verlangt. Dieser Ansatz gibt uns und Kunden die Flexibilität, genau die Hardware auszuwählen, die für ihre spezifischen Workloads optimal ist.

Warum sind solche spezialisierten Chips überhaupt notwendig?

Der Übergang von einfachen Chatbots zu agentischer KI bedeutet, dass ein einzelner Prompt mittlerweile Tausende autonomer Sub-Agenten anstoßen kann, die dann wiederum mehrstufige Aufgaben ausführen. KI-Agenten, die planen, Aufgaben ausführen und lernen, müssen sich auf die Latenz einzelner Operationen konzentrieren können – nicht auf den Durchsatz, der sich erzielen lässt, wenn viele Einzeloperationen gebündelt verarbeitet werden. Historisch hatten wir Hardware für diesen letzteren, durchsatzorientierten Fall optimiert, bei einer grundlegenden Unterstützung für latenzoptimierte Inferenz.

Mit TPU 8i und TPU 8t haben wir die Spezialisierung konsequent weitergetrieben. Auch wenn die TPU 8t als sehr guter Inferenz-Chip dienen könnte, konzentrierten sich alle unsere Optimierungen auf Leistungseffizienz und Skalierung für das Training. Ebenso kann die TPU 8i eigentlich auch als sehr guter Trainings-Chip fungieren, aber alle unsere architektonischen Innovationen zielten auf Inferenz-Latenzoptimierungen. TPU 8i und 8t zeigen, wie wir das grundlegende Compute-Fabric so umbauen, dass Energie- und Skalierungsherausforderungen gelöst werden, an denen generische Infrastruktur zunehmend scheitert.

Meta arbeitet laut einem Bericht an mehreren neuen KI-Brillen und einem KI-Anhänger, die dazu beitragen sollen, die hohen Verluste seines Zukunftslabors Reality Labs einzudämmen. Neben dem Verkauf der Geräte wolle Meta diese auch über damit verbundene KI-Dienste monetarisieren. Das geht aus einem internen Memo hervor, über das The Information berichtet.

Die erste neue KI-Brille mit dem Codenamen „Modelo“ soll dem Bericht zufolge bereits im Juni erscheinen. Im Herbst sollen die Modelle „Luna“ und „RBM2 Refresh“ folgen, bevor im Dezember eine vierte KI-Brille mit dem Codenamen „Mojito VIP“ auf den Markt kommen soll. Darüber hinaus teste Meta interne Prototypen mit den Bezeichnungen „Artemis“ und „SSG“ („Supersensing Glasses“), die zu einem späteren Zeitpunkt erscheinen könnten.

Bei „Artemis“ handelt es sich vermutlich um Metas erste kommerzielle AR-Brille. Hinter „SSG“ könnte dagegen eine KI-Brille stecken, deren Kameras und KI-Systeme die Umgebung kontinuierlich erfassen und analysieren und die eine eingeschränkte Form der Gesichtserkennung unterstützen könnte. Das legt ein früherer Bericht von The Information nahe.

Der neuen Meldung zufolge plant Meta auch mit internen Tests eines KI-Anhängers im kommenden Frühjahr. Dem Memo zufolge könnte das Gerät über eine Kamera verfügen, weitere Angaben zu Ausstattung, Funktionen oder Design enthält das Dokument jedoch nicht. Meta hat im vergangenen Jahr das Start-up Limitless übernommen, das einen KI-Anhänger entwickelte.

Meta setzt auf breites Portfolio und KI-Abos

Laut des internen Schreibens hat Meta ambitionierte Ziele für sein Wearables-Geschäft. In der zweiten Jahreshälfte will das Unternehmen demnach zehn Millionen Wearables verkaufen. Zum Vergleich: Im gesamten vergangenen Jahr setzte Meta sieben Millionen KI-Brillen ab. Erreicht werden soll die neue Zielmarke durch neue Produkte und eine Ausweitung des Verkaufs auf weitere Länder.

Weitere Einnahmen sollen durch mit den Wearables verbundene KI-Dienste erzielt werden. „Um ein nachhaltiges Geschäft aufzubauen, das nicht allein von Hardwaremargen abhängt, müssen wir die Softwaredienste monetarisieren, die unsere Geräte von der Konkurrenz abheben“, schreibt Alex Himel, Metas Vice President of Wearables, in dem Memo.

Die Strategie ziele unter anderem darauf ab, die Nutzung von Metas KI-Modellen zu steigern und durch kostenpflichtige Meta-AI-Abonnements wiederkehrende Einnahmen zu erzielen. Die Wearables sollen auf Metas aktuellem KI-Modell Muse Spark sowie weiteren geplanten Modellen basieren. Ergänzt werden sollen diese durch einen noch nicht veröffentlichten KI-Agenten namens Hatch, der sich an Endkunden richtet. Bis zum Jahresende strebe Meta 6,8 Millionen monatlich aktive Nutzer seiner Wearables an.

Die nächste große Wette: KI-Wearables

Der Handlungsdruck ist hoch, denn Meta verliert mit Reality Labs, der Sparte für VR-Headsets, Smart Glasses und zugehörige Software, jedes Jahr zweistellige Milliardenbeträge. Trotz immenser Investitionen erwirtschaftet die Hardware-Sparte bislang nur vergleichsweise geringe Umsätze.

Nachdem der große Durchbruch von VR-Brillen bislang ausgeblieben ist und entsprechende Investitionen jüngst zurückgefahren wurden, hofft Meta nun, dass Smart Glasses zum bevorzugten Endgerät für KI-Assistenten werden.

In diesem Bereich wartet jedoch bereits die Konkurrenz: Google will gemeinsam mit mehreren Partnern im Herbst erste KI-Brillen auf den Markt bringen, während Apple für das kommende Jahr entsprechende Produkte vorbereiten soll. Auch OpenAI arbeitet an KI-Gadgets, darunter womöglich Smart Glasses.

(tobe)

Inspiriert vom intelligenten Auto K.I.T.T. in der TV-Serie Knight Rider aus den 1980er Jahren zeigt Nico Martin eine moderne Adaption im Browser – mit JavaScript.

Der englischsprachige Vortrag auf der enterJS 2025 kombiniert KI-Techniken wie Retrieval-Augmented Generation (RAG) und Function Calling mit fortgeschrittenen Browser-APIs wie WebBluetooth, um einen KI-Agenten zu entwickeln, der Persönlichkeit, Erinnerungsvermögen und autonome Entscheidungsfähigkeiten besitzt. Dabei setzt Nico Martin aktuelle Browsertechnologien wie WebAssembly und WebGPU ein, um einen KI-Agenten zu entwickeln, der komplett offline laufen und den Datenschutz wahren kann.

Nico Martin ist autodidaktischer Webentwickler und Google Developer Expert für Webtechnologien sowie KI/ML aus der Schweiz. Kreatives Programmieren und das Ausloten der Grenzen des Browsers waren schon immer seine Leidenschaft. Diese Begeisterung teilt er, wann immer es möglich ist, in Workshops, Artikeln oder Vorträgen.

(mai)