OpenAI-Ingenieure haben offenbar Optimierungen entwickelt, die die Inferenzkosten – also die Kosten für den Betrieb bereits trainierter Modelle – um mehr als die Hälfte senken. Angeblich konnte OpenAI die Zahl der benötigten Nvidia-GPUs für nicht eingeloggte ChatGPT-Nutzer zeitweise auf „nur ein paar hundert“ reduzieren – eine auffällig niedrige Zahl.

Das berichtet The Information unter Berufung auf interne Quellen. Welche konkreten Techniken OpenAI einsetzt, ist allerdings unklar. Mögliche Bausteine der Kostenreduktion könnten Quantisierung (Reduktion der Zahlenpräzision von Modellgewichten) sein, Key-Value-Caching (Wiederverwendung früherer Berechnungen), Batching (parallele Verarbeitung mehrerer Anfragen) sowie Routing einfacher Aufgaben an weniger rechenintensive Modelle. Solche Verfahren sind in der Branche etabliert und können in Kombination erhebliche Einsparungen erzielen.

Aggressive Inferenzoptimierungen bergen allerdings Risiken. Quantisierung kann die Genauigkeit der Ergebnisse verringern, fehlerhaftes Modellrouting kann Anfragen fälschlich als „einfach“ einstufen und an zu kleine Modelle delegieren. Kontext-Komprimierung wiederum könnte sicherheitsrelevante Signale in langen Chatverläufen beschneiden.

Bruttomarge soll deutlich steigen

Die Optimierungen dürften für OpenAI auch finanziell relevant sein. Laut The Information lag die Bruttomarge des API-Geschäfts Ende des ersten Quartals bei 39 Prozent, nach 33 Prozent im Vorjahr. Das erklärte Ziel: 52 Prozent bis Jahresende. Dafür müsste das Unternehmen im Rest des Jahres durchschnittlich rund 56 Prozent erreichen. Oder die Einsparungen durch die Optimierungen könnten an Kunden weitergegeben werden – etwa durch günstigere API-Preise oder höhere Kontingente für ChatGPT-Abonnenten.

Auch die Konkurrenz arbeitet an vergleichbaren Hebeln. Anthropic bezeichnet seine Effizienzmaßnahmen als „Compute Multipliers“ und hält Details laut CEO Dario Amodei bewusst vertraulich, um Nachahmung zu erschweren.

Compute-Engpässe treiben die Branche

Die Optimierungen fallen in eine Zeit akuter Kapazitätsengpässe: Wie zuletzt der Fall zeigt, dass Google Metas Gemini-Zugang wegen Kapazitätsengpässen begrenzt hat, stoßen selbst die größten Tech-Konzerne an die Grenzen verfügbarer Rechenleistung. Trotz Milliarden-Investitionen in neue Rechenzentren dauert deren Inbetriebnahme oft Monate oder Jahre – Software-Effizienz wird damit zu einem zentralen Wettbewerbsfaktor.

Für europäische Unternehmen, die KI-APIs einsetzen, bedeuten sinkende Inferenzkosten, dass der Einsatz leistungsfähigerer Modelle wirtschaftlicher wird.

(rie)

Energiepreise kennen scheinbar nur eine Richtung: steil nach oben. Besonders frustrierend ist der Umstand, dass man als Verbraucher bei den fossilen Energieträgern nur Spielball der geopolitischen Großwetterlage ist. Auch wenn das Balkonkraftwerk längst nicht den gesamten persönlichen Energiebedarf decken kann, sorgt es doch für ein klein wenig Autarkie und gute Laune. Faustformel: Bei perfekter Ausrichtung produziert man aus einem Kilowatt installierter Solarleistung (kWp) pro Jahr 1000 kWh Strom. Für die in Deutschland geltende Balkonkraftgrenze von 2 kWp ergibt sich so ein Ertrag von 2000 kWh. Das ist eine ordentliche Entlastung für die Stromrechnung, beziehungsweise lässt ein E-Auto 10.000 Kilometer weit fahren.

Über die vergangenen Jahre haben sich die Kleinstanlagen darüber hinaus zu ernsthaften Konkurrenten professioneller Haus-PV-Anlagen gemausert. Das liegt hauptsächlich an kürzeren Vertriebswegen, schnelleren Innovationszyklen und dem knallharten Preiskampf im Einzelhandel. All-in-One-Anlagen mit Speicher gehen inzwischen beim Discounter über die Ladentheke und gerade im Hinblick auf Speichervolumen wird sich manch ein Besitzer einer Alt-Anlage verwundert die Augen reiben: Speichergrößen von 5 kWh und mehr sind längst die Regel. Mit zusätzlichen Blöcken lassen sie sich im Klemmbausteinverfahren erweitern und per Software zu virtuellen Hausspeichern mit weit über 100 kWh Kapazität bündeln.

Bei unseren vier Testgeräten handelt es sich um kompakte Balkonkraftwerke mit integriertem Wechselrichter. Sie bieten jeweils Anschlussmöglichkeiten für mindestens vier diskret angesteuerte Solarpanels und sind damit auf die hierzulande vorgeschriebene Grenze für Balkonkraftwerke optimiert: Mit vier 500-Watt-Panels kommt man auf die maximale Solarleistung von 2000 Wp. Diese Kleinstanlagen lassen sich vom Kunden anschließen und müssen lediglich im sogenannten Marktstammdatenregister angemeldet werden. Wie gut diese Systeme tatsächlich funktionieren, zeigt sich erst im Detail: bei Steuerung, Messgenauigkeit und der Frage, wie viel Autarkie im Alltag wirklich ankommt.

Das war die Leseprobe unseres heise-Plus-Artikels „(XXL-)Speicher für Balkonkraftwerke im Test“.
Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.

Wer hoffte, dass Apples Standard- und Einsteiger-iPhones ausreichend RAM für die neuesten lokalen Siri-AI-Modelle erhalten, wird wohl enttäuscht: Apple plant einem Analystenbericht zufolge nur einen minimalen „Bump“ beim Hauptspeicher. Laut Angaben des üblicherweise gut informierten Lieferkettenexperten Ming-Chi Kuo kommen iPhone 18 und 18e – also beide Modelle, die Apple offenbar im Frühjahr 2027 plant – nicht mit 12 GByte. Stattdessen setze Apple auf einen „krummen“ RAM-Wert.

Hilft das kleine RAM-Plus?

Wie Kuo auf X schreibt, bekommen die Modelle jeweils 9 GByte DRAM in Form von sechs jeweils 1,5 GByte großen Dies. Aktuell kommen iPhone 17 und 17e mit 8 GByte, die auf vier 2 GByte Dies verteilt sind. Kuo schreibt, die RAM-Erhöhung im kommenden A20 diene dazu, die Geräte bei KI-Workflows besser laufen zu lassen. Ob die zusätzlichen 1 GByte wirklich ausreichen, ist aber fraglich. Denn Apple hatte angekündigt, dass mindestens zwei neue Siri-AI-Funktionen nur mit 12 GByte RAM laufen, beziehungsweise aktuell mit dem iPhone 17 Pro, 17 Pro Max und iPhone Air.

Dabei handelt es sich um ein verbessertes Sprachausgabemodell, das man im Bezug auf Expressivität und Wiedergabegeschwindigkeit einstellen kann, eine bessere lokale Diktierfunktion (wohl auch offline) sowie das beste lokale KI-Modell, das Apple aktuell anbietet, nämlich AFM 3 Core Advanced. Es ist nicht abzusehen, ob Apple es beim A20 schafft, diese auch mit 9 GByte RAM nutzbar zu machen. Allerdings hat auch die Vision Pro M2 diese drei Dinge nicht – obwohl sie sogar 16 GByte Hauptspeicher hat. Hier wird die Weglassung nicht näher begründet, könnte aber mit einer schlechteren Neural Engine zu tun haben.

Pro-Modelle bleiben bei 12 GByte

Beim iPhone 18 Pro und 18 Pro Max rechnet Kuo, der für das Analyseunternehmen TF International Securities mit Sitz in Taiwan arbeitet, mit keinen Veränderungen. Hier bleibt es mit dem A20 Pro bei 12 GByte RAM, verteilt auf acht Dies mit jeweils 1,5 GByte. Der A20 Pro soll wohl auch in Apples erstem Foldable enthalten sein, dem „iPhone Ultra“.

Apple plant Gerüchten zufolge, sein iPhone-Verkaufsmodell etwas umzustellen. So sollen im September 2026 iPhone 18 Pro, 18 Pro Max und Ultra erscheinen, im Frühjahr 2027 dann iPhone 18, 18e sowie womöglich ein zweites Air-Modell folgen. So will Apple sein Geschäftsjahr, das stark auf das vierte Quartal ausgerichtet ist, etwas entzerren.

(bsc)