OpenAI-Ingenieure haben offenbar Optimierungen entwickelt, die die Inferenzkosten – also die Kosten für den Betrieb bereits trainierter Modelle – um mehr als die Hälfte senken. Angeblich konnte OpenAI die Zahl der benötigten Nvidia-GPUs für nicht eingeloggte ChatGPT-Nutzer zeitweise auf „nur ein paar hundert“ reduzieren – eine auffällig niedrige Zahl.

Das berichtet The Information unter Berufung auf interne Quellen. Welche konkreten Techniken OpenAI einsetzt, ist allerdings unklar. Mögliche Bausteine der Kostenreduktion könnten Quantisierung (Reduktion der Zahlenpräzision von Modellgewichten) sein, Key-Value-Caching (Wiederverwendung früherer Berechnungen), Batching (parallele Verarbeitung mehrerer Anfragen) sowie Routing einfacher Aufgaben an weniger rechenintensive Modelle. Solche Verfahren sind in der Branche etabliert und können in Kombination erhebliche Einsparungen erzielen.

Aggressive Inferenzoptimierungen bergen allerdings Risiken. Quantisierung kann die Genauigkeit der Ergebnisse verringern, fehlerhaftes Modellrouting kann Anfragen fälschlich als „einfach“ einstufen und an zu kleine Modelle delegieren. Kontext-Komprimierung wiederum könnte sicherheitsrelevante Signale in langen Chatverläufen beschneiden.

Bruttomarge soll deutlich steigen

Die Optimierungen dürften für OpenAI auch finanziell relevant sein. Laut The Information lag die Bruttomarge des API-Geschäfts Ende des ersten Quartals bei 39 Prozent, nach 33 Prozent im Vorjahr. Das erklärte Ziel: 52 Prozent bis Jahresende. Dafür müsste das Unternehmen im Rest des Jahres durchschnittlich rund 56 Prozent erreichen. Oder die Einsparungen durch die Optimierungen könnten an Kunden weitergegeben werden – etwa durch günstigere API-Preise oder höhere Kontingente für ChatGPT-Abonnenten.

Auch die Konkurrenz arbeitet an vergleichbaren Hebeln. Anthropic bezeichnet seine Effizienzmaßnahmen als „Compute Multipliers“ und hält Details laut CEO Dario Amodei bewusst vertraulich, um Nachahmung zu erschweren.

Compute-Engpässe treiben die Branche

Die Optimierungen fallen in eine Zeit akuter Kapazitätsengpässe: Wie zuletzt der Fall zeigt, dass Google Metas Gemini-Zugang wegen Kapazitätsengpässen begrenzt hat, stoßen selbst die größten Tech-Konzerne an die Grenzen verfügbarer Rechenleistung. Trotz Milliarden-Investitionen in neue Rechenzentren dauert deren Inbetriebnahme oft Monate oder Jahre – Software-Effizienz wird damit zu einem zentralen Wettbewerbsfaktor.

Für europäische Unternehmen, die KI-APIs einsetzen, bedeuten sinkende Inferenzkosten, dass der Einsatz leistungsfähigerer Modelle wirtschaftlicher wird.

(rie)

Energiepreise kennen scheinbar nur eine Richtung: steil nach oben. Besonders frustrierend ist der Umstand, dass man als Verbraucher bei den fossilen Energieträgern nur Spielball der geopolitischen Großwetterlage ist. Auch wenn das Balkonkraftwerk längst nicht den gesamten persönlichen Energiebedarf decken kann, sorgt es doch für ein klein wenig Autarkie und gute Laune. Faustformel: Bei perfekter Ausrichtung produziert man aus einem Kilowatt installierter Solarleistung (kWp) pro Jahr 1000 kWh Strom. Für die in Deutschland geltende Balkonkraftgrenze von 2 kWp ergibt sich so ein Ertrag von 2000 kWh. Das ist eine ordentliche Entlastung für die Stromrechnung, beziehungsweise lässt ein E-Auto 10.000 Kilometer weit fahren.

Über die vergangenen Jahre haben sich die Kleinstanlagen darüber hinaus zu ernsthaften Konkurrenten professioneller Haus-PV-Anlagen gemausert. Das liegt hauptsächlich an kürzeren Vertriebswegen, schnelleren Innovationszyklen und dem knallharten Preiskampf im Einzelhandel. All-in-One-Anlagen mit Speicher gehen inzwischen beim Discounter über die Ladentheke und gerade im Hinblick auf Speichervolumen wird sich manch ein Besitzer einer Alt-Anlage verwundert die Augen reiben: Speichergrößen von 5 kWh und mehr sind längst die Regel. Mit zusätzlichen Blöcken lassen sie sich im Klemmbausteinverfahren erweitern und per Software zu virtuellen Hausspeichern mit weit über 100 kWh Kapazität bündeln.

Bei unseren vier Testgeräten handelt es sich um kompakte Balkonkraftwerke mit integriertem Wechselrichter. Sie bieten jeweils Anschlussmöglichkeiten für mindestens vier diskret angesteuerte Solarpanels und sind damit auf die hierzulande vorgeschriebene Grenze für Balkonkraftwerke optimiert: Mit vier 500-Watt-Panels kommt man auf die maximale Solarleistung von 2000 Wp. Diese Kleinstanlagen lassen sich vom Kunden anschließen und müssen lediglich im sogenannten Marktstammdatenregister angemeldet werden. Wie gut diese Systeme tatsächlich funktionieren, zeigt sich erst im Detail: bei Steuerung, Messgenauigkeit und der Frage, wie viel Autarkie im Alltag wirklich ankommt.

Das war die Leseprobe unseres heise-Plus-Artikels „(XXL-)Speicher für Balkonkraftwerke im Test“.
Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.

Die Bundesregierung will laut einem Bericht eine Taskforce für Künstliche Intelligenz (KI) einsetzen. Ziel sei es, eine Übersicht über die laufenden KI-Maßnahmen in den Ministerien zu gewinnen und bis Oktober aufeinander abzustimmen. Das berichtet der Pro-Newsletter Technologie & KI des Nachrichtenmagazins Politico, dem ein entsprechendes Einladungsschreiben an die Staatssekretäre in Bundesministerien vorliegt. Die Federführung soll das Bundesministerium für Digitales und Staatsmodernisierung (BMDS), die Auftaktsitzung sei für diesen Donnerstag geplant. Alle Bundesministerien sollen mit jeweils einem Staatssekretär in der Taskforce vertreten sein.

Es sei das gemeinsame Ziel, „Deutschland zu einer ‘KI-Nation’ zu entwickeln“ und dafür die über verschiedene Ressorts verteilten KI-Initiativen der Regierung stärker zu bündeln, heißt es demnach. Wie die Nachrichtenagentur dts berichtet, soll die Auftaktsitzung den Rahmen für die weitere Koordination setzen. Das gehe aus einer Tagesordnung hervor, die Politico ebenfalls vorliege. Neben einem KI-Lagebild und ressort-spezifischen Bestandsaufnahmen sollen auch KI-Fragen der Außen- und Sicherheitspolitik behandelt werden. Auch der Stand des Konzepts für ein KI-Sicherheitsinstitut stehe auf der Agenda.

Auf Fachebene seien fünf Arbeitsgruppen geplant: Frontier AI, KI-Sicherheit, KI-Infrastruktur, KI und Gesellschaft sowie KI-Anwendung. Die Arbeitsgruppen sollen bis Ende September Ergebnisse vorlegen. Bis Ende August ist laut Tagesordnung zudem ein kurzer Zwischenbericht geplant. Beim Digital-Gipfel im November solle dann eine „stringente KI-Aufstellung innerhalb der Bundesregierung“ geschaffen werden.

(axk)