Start-up PrismML: Bislang „größtes“ lokales KI-Modell fürs iPhone

Für Apple gilt schon seit Langem: Die Zukunft der Künstlichen Intelligenz liegt nicht in der Cloud, sondern auf lokalen Geräten. Schon vor dem aktuellen Boom der generativen KI hatte der iPhone-Hersteller seine Algorithmen des Maschinellen Lernens (ML) bevorzugt auf seiner eigenen Hardware laufen lassen, insbesondere aus Datenschutzgründen. Mit Siri AI gibt es nun zwar eine – dank Google verstärkte – Cloud-Komponente, doch zunächst werden örtliche Modelle wie AFM Core und AFM Core Advanced aktiv. Dabei gelang es Apple, ein Modell mit 20 Milliarden Parametern für das iPhone 17 Pro, 17 Pro Max und Air anzupassen. Schon das galt als Meisterstück. Ein Start-up, PrismML, legt nun nach: Laut einem Bericht gelang es der jungen Firma nun, Qwen 3.6, ein chinesisches Open-Source-Modell von Alibaba, mit 27 Milliarden Parametern auf ein iPhone 17 Pro zu verpflanzen.

95 Prozent aller Anfragen in drei Jahren lokal beantworten

Wie der IT-Newsdienst The Information schreibt, lassen sich damit Aufgaben wie komplexe Chat-Antworten, Reasoning-Aufgaben sowie vollständig autonome Agenten auch fürs Coding umsetzen. Ab kommenden Dienstag soll das Modell für die Öffentlichkeit zur Verfügung stehen. PrismML erwartet, dass in „vielleicht drei Jahren“ bis zu 95 Prozent der benötigten KI-Leistung lokal auf Smartphones, Laptops oder gar Appliance-Geräten zur Verfügung steht. Baba Hassibi, Chef des Start-ups, glaubt, dass dann nur noch „fünf Prozent der High-End-Sachen“ in die Cloud gehen werde. „Ich glaube, dass ist der Weg nach vorne, den die Leute sehen.“

Diese Vorstellung dürfte den ein oder anderen KI-Investor beunruhigen, schließlich stecken Hunderte Milliarden in Rechenzentren mit entsprechend leistungsstarken GPUs. Zumindest bei der Inferenz, also der Ausgabe nach Prompt-Anfragen, könnte dies auf lokale Geräte wandern, wenn sich die Vorstellung von PrismML tatsächlich umsetzen lässt. Für das Training hingegen dürften Rechenzentren zumindest absehbar weiterhin notwendig bleiben.

Erste Gespräche mit Apple geführt

PrismML ist ein Spinoff des California Institute of Technology (Caltech), wo Hassibi Professor für Elektrotechnik ist. Die Firma nutzt laut eigenen Angaben „mathematische Tricks“, um Qwen 3.6 zu schrumpfen. Das geht über die übliche Quantisierung hinaus. Angeblich fallen die üblichen Qualitätseinbußen durch die PrismML-Technik weg. Qwen 3.6 wird so von 54 GByte auf 4 GByte komprimiert. Die dafür notwendigen Patente hält Caltech.

Apple hatte für AFM Core Advanced eine Technik eingeführt, bei der Flash-Speicher das RAM-Problem eines großen Modells mit 20 Milliarden Parametern löst – es werden nur die wirklich benötigten Teile geladen. Der iPhone-Hersteller sucht derzeit nach weiteren KI-Firmen auf dem Gebiet, die er übernehmen könnte. Ob PrismML dazu gehört, ist unklar, allerdings soll es laut The Information erste Gespräche mit Apple gegeben haben, die Technik zu nutzen. Cloud-Modelle haben nach wie vor den zentralen Vorteil, dass sie sich vergleichsweise schnell aktualisieren lassen – auf Nutzerseite sind hier keine Maßnahmen notwendig, um das jeweils neueste Modell zu verwenden.

(bsc)