Perplexity verteilt automatisiert KI-Rechenbedarf zwischen Gerät und Cloud

Perplexity hat einen Hybrid-Ansatz für KI-Inferenz angekündigt, der Aufgaben automatisch zwischen dem lokalen Rechner und Cloud-Servern aufteilt. Der sogenannte „Personal Computer“, Perplexitys Variante von persönlichen Desktop-Agenten, soll sensible Daten auf dem Gerät halten und rechenintensive Arbeit in die Cloud auslagern – ohne dass Nutzer vorab entscheiden müssen, wo etwas verarbeitet wird.

Perplexity beschreibt den neuen Dienst als kompaktes KI-Modell, das lokal auf dem Gerät läuft und entscheidet, welche Teile einer Anfrage dort verbleiben und welche an ein leistungsfähigeres Frontier-Modell in der Cloud gehen sollen. Als typische Anwendungsfälle nennt das Unternehmen den Umgang mit Finanzunterlagen, Gesundheitsinformationen und persönlichen Dateien – also Daten, die aus Datenschutzgründen das Gerät möglichst nicht verlassen sollten.

Bestehendes Konzept, neues Level

Ganz neu ist Perplexitys hybrider Ansatz nicht, andere Anbieter haben ähnliche Ansätze. Microsoft verfolgt zum Beispiel mit Copilot+ PCs und lokalen NPU-Funktionen ebenfalls einen Hybridkurs, auch wenn viele Copilot-Funktionen weiterhin eine Cloud-Verbindung benötigen.

Der wesentliche Unterschied liegt laut VentureBeat wohl im Anspruch, die Aufteilung vollautomatisch und aufgabenweise, teils auch während die Aufgabe läuft, vorzunehmen. Auf dem Level, auf dem Perplexity das auf der Computex demonstriert hat, sind andere Anbieter bisher nicht.

Ab Juli soll Personal Computer mit lokaler Inferenz verfügbar werden und dabei helfen, aktuell typische Zielkonflikte zwischen drei Faktoren zu reduzieren: Genauigkeit und komplexe Aufgaben erfordern die leistungsfähigsten, rechenintensiven Modelle, Datenschutz verlangt lokale Verarbeitung und Kosten verlangen einen effizienten Mix zwischen leistungsstarken und günstigen Modellen – je nach Aufgabe. Die Orchestrierung zwischen diesen Anforderungen sei das eigentliche Problem. Genau das wolle der Hybrid-Ansatz nun lösen.

Unterstützung für Intel und Nvidia

Perplexity stellte den Hybrid-Orchestrator gemeinsam mit Intel vor. Der modellagnostische Orchestrierungsrahmen soll aber auch auf anderer lokaler Hardware laufen, darunter Nvidias RTX Spark. Konkrete Hardware-Mindestanforderungen – etwa zur nötigen NPU- oder GPU-Leistung – nennt Perplexity bislang nicht. Der Computerhersteller HP hat zum Beispiel für Microsofts hybrides Modell Copilot+ PC entschieden, dass Laptops für das Copilot+ PC-Label eine dedizierte Neural Processing Unit (NPU) von mindestens 40 TOPS benötigen.

Ebenso fehlen bei Perplexity noch technische Details zu den Routing-Regeln: Wie genau das lokale Modell entscheidet, welche Daten als sensibel gelten und welche Metadaten dennoch an Perplexity-Server übertragen werden könnten, bleibt offen.

Wie belastbar das Datenschutzversprechen im Alltag ist, lässt sich auch erst bewerten, wenn Perplexity technische Dokumentation zu Modellgrößen, Speicherbedarf und dem Umgang mit Telemetriedaten veröffentlicht.

(rie)