Prompt-Caching senkt den Preis pro Anfrage an ein großes Sprachmodell deutlich und erhöht die Antwortgeschwindigkeit. Der Mechanismus ist simpel, wird in der Praxis aber oft übersehen oder durch ungeschickt strukturierte Prompts unwirksam gemacht.

Wie es funktioniert und was es bringt, lässt sich mit lokal installierten Tools und einem lokalen Ollama nachvollziehen. Die Erkenntnisse sind auf Cloud-Anbieter wie Anthropic übertragbar, wo Prompt-Caching bis 90 Prozent der Token sparen kann.

Wie ein LLM Text erzeugt

Ein großes Sprachmodell ist im Kern eine Textergänzungsmaschine. Seine Eingabe, der Prompt, ist eine Zeichenkette, die sich typischerweise aus drei Schichten zusammensetzt: einer Rollen- oder Verhaltensanweisung (dem Systemprompt), optionalem Kontext wie Dokumenten, Tooldefinitionen oder bisherigem Gesprächsverlauf und am Ende der aktuellen Frage des Benutzers.

Das war die Leseprobe unseres heise-Plus-Artikels „KI-Kosten reduzieren: Wie man mit Prompt-Caching messbar Token sparen kann“.
Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.

Durchhalteparolen zum Trotz informiert Binance Kunden im Europäischen Wirtschaftsraum (EWR) über die Schließung. Die Kryptobörse konnte bislang keine von der EU vorgeschriebene Zulassung für den Handel mit Kryptowährungen erreichen. 1000 weitere Anbieter gehen ebenfalls. Derweil darf Anthropic „unter Umständen“ das Alter und die Identität der KI-Nutzer per Ausweis und Biometrie bestimmen. Das besagt deren kürzlich aktualisierte Datenschutzrichtlinie. Zwar soll dies nur einen kleinen Teil der Anwender betreffen, doch es gibt Kritik an der Wahl des Dienstleisters für die Identitätsprüfung. Eine andere KI-Firma braucht für den eigenen Börsengang optimistische Stimmung. Für OpenAI kommt deshalb eine Kooperation mit Broadcom gerade recht. Gemeinsam haben die beiden Unternehmen einen neuen KI-Chip angekündigt, der OpenAIs Inferenz-Software effizienter und schneller verarbeiten können soll – die wichtigsten Meldungen im kurzen Überblick.

Der zwielichtige Markt für den Handel mit Kryptowährungen wird im Europäischen Wirtschaftsraum (EWR) zum 1. Juli teilweise bereinigt. Laut Branchenbeobachtern gibt es derzeit mehr als 1200 Anbieter, doch nur gut 200 haben eine Lizenz erworben. Prominentester Abgang ist Binance, die als weltweit größte Kryptowährungsbörse gilt. Das US-Unternehmen wollte eine griechische Lizenz, hat seinen Antrag jedoch zurückgezogen, nachdem die griechische Behörde vorige Woche eine Ablehnung signalisiert hatte. Daraufhin aufgenommene Gespräche mit Behörden einiger anderer Länder dürften nicht gefruchtet haben, die Vorschriften sind ja jetzt einheitlich. Dennoch verspricht Binance, Europa nicht zu verlassen und einen anderen Weg zu suchen: Binance stellt Kryptowährungshandel im Europäischen Wirtschaftsraum ein.

Eine Woche später wird Anthropics aktualisierte Datenschutzrichtlinie wirksam, durch die sich das US-amerikanische KI-Unternehmen einen Ausweis der Nutzer der eigenen KI-Modelle vorlegen lassen könnte, um deren Alter und Identität zu prüfen. Laut Anthropic-Mitarbeitern soll dies nur einen kleinen Teil der Nutzer betreffen und betrügerische Aktivitäten unterbinden. Beobachter kritisieren allerdings die Auswahl der für die Identitätsprüfung eingesetzten Firma Persona Identities. Denn die Identitätsdaten werden nach Prüfung im Gegensatz zu anderen Firmen nicht unmittelbar gelöscht und der auch von umstrittenen Unternehmen gestützte Dienstleister könnte von der US-Regierung zur Herausgabe der Daten verpflichtet werden: Anthropic darf für die Nutzung von Claude künftig einen Ausweis verlangen.

Ein Anthropic-Mitbewerber setzt hingegen auf eigene Chips. Denn OpenAI unterstützt Broadcom bei der Entwicklung eines Prozessors namens Jalapeño, der für Inferenzen Künstlicher Intelligenzen optimiert ist. Ziel sind kürzere Latenz und geringerer Energieverbrauch. Jalapeño ist eine anwendungsspezifische integrierte Schaltung (ASIC), besteht also aus speziell auf OpenAIs Inferenz-Software zugeschnittenen Schaltkreisen. Nicht gedacht ist das Gerät für das Training großer Sprachmodelle. Details zu dem neuen KI-Chip fehlen bislang, aber laut internen Tests soll dieser bei Inferenzen pro Watt mehr leisten werde als derzeit für diesen Zweck verfügbare Halbleiter. Ziel des gemeinsamen Projekts ist wohl, vor OpenAIs Börsengang die Börsenphantasie anzuregen: OpenAI und Broadcom kündigen neuen KI-Chip Jalapeño an.

In Deutschland geht die Erfassung des digitalen Alltags in die nächste Runde. Am Mittwoch hat die zweite bundesweite Mobilfunkmesswoche begonnen: Bürger sind aufgerufen, bis zum 1. Juli die tatsächliche Mobilfunkversorgung vor Ort auf den Prüfstand zu stellen. Mithilfe der kostenlosen App „Mobilfunk-Check“ der Bundesnetzagentur können Smartphone-Nutzer unkompliziert Daten über die Netzqualität dort erfassen, wo sie gerade sind. Ziel der Crowdsourcing-Aktion #CheckDeinNetz ist, ein flächendeckendes und realistisches Abbild der Mobilfunkversorgung aus Anwenderperspektive zu gewinnen sowie weiße Flecken präzise zu lokalisieren. Das soll die Planung künftige Ausbau- und Unterstützungsmaßnahmen verbessern und den Druck auf Netzbetreiber erhöhen: Zweite bundesweite Mobilfunkmesswoche läuft und ist Funklöchern auf der Spur.

In der heutigen Ausgabe der #heiseshow besprechen wir unter anderem die bundesweite Störung, die den deutschen Bahnverkehr am Dienstagabend zum Erliegen gebracht hat. Wie konnte es zu diesem massiven Ausfall kommen und was muss sich ändern? EU-weit wurden die Weichen für den digitalen Euro gestellt, und das EU-Parlament hat dabei auch über Obergrenzen für Nutzerbestände diskutiert. Wie viele digitale Euro soll jeder Bürger maximal halten dürfen und warum braucht es überhaupt solche Grenzen? In Norwegen wird KI aus Grundschulen verbannt: Kinder sollen zuerst Lesen und Schreiben lernen, bevor sie KI-Tools nutzen dürfen. Ist das ein weitsichtiger pädagogischer Schritt oder Digitalisierungsverweigerung? Das sind die Themen heute um 17 Uhr in der #heiseshow: Bahnstörung, Digitaler Euro, KI-Bann in Schulen.

Auch noch wichtig:

• DiGA gelten als Vorzeigeprojekt der Digitalisierung im Gesundheitswesen. Doch sind sie Innovations- oder Kostentreiber? Darum geht’s im Digital-Health-Podcast: DiGA als Innovation auf Kosten der Krankenkassen?
• Nach Samsung soll auch SK Hynix wieder mehr DDR5-Arbeitsspeicher herstellen. Die Marge soll irrsinnig hoch sein: Speicherriesen priorisieren offenbar wieder DDR5-DRAM.
• Wenn die Öffentlichkeit für die Infrastruktur des Fußballs aufkommt, sollte sie keine Monopolpreise für Pixelbilder zahlen, meint Hartmut Gieselmann in seinem Kommentar zur Fußball-WM: Keine Fernseh-Millionen für Krümelfußball.
• Nach dem bundesweiten Ausfall des Zugverkehrs nennt die Bahn erste Details zur Ursache. Derweil wächst die Kritik am technischen Zustand und Notfallmanagement: Nach Störung nennt Bahn Techniktausch als Ursache.
• Der Bitkom prognostiziert einen tiefgreifenden Umbau der Softwarebranche. KI-Agenten verschieben den Fokus von Arbeitszeit zu messbaren Ergebnissen: Softwarebranche muss Geschäftsmodelle umbauen.
• Die jüngeren Home-Assistant-Updates stopfen unter anderem Informationslecks. Zudem gibt es das Home Assistant OS in neuer Version: Update für Home Assistant stopft Informationsleck.
• Ende Mai wurden kritische Sicherheitslücken in Ubiquiti UniFi OS bekannt. Inzwischen haben Angreifer diese im Visier: Ubiquiti UniFi OS-Sicherheitslücken werden angegriffen.
• Der ADAC hat 16 Ganzjahresreifen für Kleinwagen getestet. Nur ein Modell erhält die Note „gut“, acht bekommen keine Kaufempfehlung, fünf sind mangelhaft im ADAC-Ganzjahresreifentest: Ein Modell ist „gut“, fünf sind ein Sicherheitsrisiko.
• Hepha zeigt auf der Eurobike seine Vorstellung des E-Bikes der Zukunft. Teile des Konzepts will der Hersteller schon bald in Serie fertigen: E-Bike Hepha Urban X lädt in 15 Minuten, rekuperiert und schaltet selbst.
• Klimaanlagen sind oft laut oder zu weit vom Schlafzimmer entfernt. Wir untersuchen, welche Alternativen die Kühlung direkt ins Bett bringen und haben die Klimaanlage fürs Bett im Test: Kühler schlafen in heißen Nächten.
• Günstige mobile Klimaanlagen lassen sich mit zwei Schläuchen effizienter betreiben. So gelingt der Umbau mit einfachen Werkzeugen und Materialien: Mobile Klimaanlage auf Zweischlauchbetrieb umrüsten und effizienter kühlen.
• Wenn ich die WM schaue, freue ich mich vor allem über geringe Latenzen. Und die bekomme ich linear und im freien Stream bei ARD und ZDF, meint Ulrike Kuhlmann in ihrem Kommentar zur Fußball-WM: Schnelle Bilder, dafür zahle ich Rundfunkgebühren.

(fds)

In Zeiten extremer Hitzewellen gleicht das Bett eher einer Heimsauna als einem Ort der Erholung. Das ewige Wälzen, die klebrige Haut, mit der passenden Kühlung könnte all das dann der Vergangenheit angehören. Selbst eine mobile Klimaanlage bringt nicht immer genug Abkühlung ins Schlafzimmer – oder rödelt einfach zu laut, um ungestört einschlafen zu können. Dabei müsste eigentlich nicht der ganze Raum heruntergekühlt werden. Nachts zählt vor allem das Klima unter der Decke. Genau hier setzen Bettkühlsysteme an. Sie bringen die Kälte gezielt dorthin, wo sie gebraucht wird – ins Bett.

Viele Modelle funktionieren ähnlich wie eine Wasserkühlung im PC: Eine externe Einheit kühlt Wasser elektrisch herunter und pumpt es durch einen Matratzentopper. Die darin eingearbeiteten Schläuche verlaufen mäandernd durch die Auflage und verteilen das temperierte Wasser über nahezu die gesamte Liegefläche. Wir haben das nach diesem Prinzip arbeitende Modell HydroSnooze getestet, das ab 809 Euro erhältlich ist. Im Test prüfen wir, wie stark es in tropischen Nächten tatsächlich effektiv kühlt, wie viel Strom es verbraucht und wie laut Pumpe und Kühleinheit im Betrieb sind. Außerdem interessiert uns, ob man bei diesem Geräuschpegel noch problemlos einschlafen kann.

Zusätzlich stellen wir sowohl günstigere als auch teurere Alternativen vor. Dazu gehören Systeme mit teils überraschend hohen Abo-Kosten sowie Konzepte, die ganz anders funktionieren. Der BedJet beispielsweise setzt nicht auf Wasser, sondern bläst Raumluft direkt unter die Bettdecke. Er funktioniert also eher wie ein Gebläse als wie eine Klimaanlage, hat aber das gleiche Ziel: Hitzestau im Bett zu vermeiden.

Das war die Leseprobe unseres heise-Plus-Artikels „Die Klimaanlage fürs Bett im Test: Kühler schlafen in heißen Nächten“.
Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.