Künstliche Intelligenz
KI-Kosten reduzieren: Wie man mit Prompt-Caching messbar Token sparen kann
Prompt-Caching senkt den Preis pro Anfrage an ein großes Sprachmodell deutlich und erhöht die Antwortgeschwindigkeit. Der Mechanismus ist simpel, wird in der Praxis aber oft übersehen oder durch ungeschickt strukturierte Prompts unwirksam gemacht.
Wie es funktioniert und was es bringt, lässt sich mit lokal installierten Tools und einem lokalen Ollama nachvollziehen. Die Erkenntnisse sind auf Cloud-Anbieter wie Anthropic übertragbar, wo Prompt-Caching bis 90 Prozent der Token sparen kann.
- Prompt-Caching speichert die internen Berechnungsergebnisse eines gleichbleibenden Promptpräfixes zwischen, sodass das Sprachmodell bei Folgeanfragen nur noch den neuen, abweichenden Teil verarbeiten muss.
- Technische Grundlage ist der KV-Cache der Transformer-Architektur: Die einmal berechneten Key- und Value-Vektoren der Prefill-Phase werden wiederverwendet.
- Lokal kann ein Prompt-Cache die Inferenzgeschwindigkeit um das bis zu Zehnfache steigern, in der Cloud die Kosten um 90 Prozent reduzieren.
- Entscheidend ist die Promptstruktur. Stabile Inhalte wie Systemanweisungen oder Dokumente gehören an den Anfang, variable Daten ans Ende.
Wie ein LLM Text erzeugt
Ein großes Sprachmodell ist im Kern eine Textergänzungsmaschine. Seine Eingabe, der Prompt, ist eine Zeichenkette, die sich typischerweise aus drei Schichten zusammensetzt: einer Rollen- oder Verhaltensanweisung (dem Systemprompt), optionalem Kontext wie Dokumenten, Tooldefinitionen oder bisherigem Gesprächsverlauf und am Ende der aktuellen Frage des Benutzers.
Das war die Leseprobe unseres heise-Plus-Artikels „KI-Kosten reduzieren: Wie man mit Prompt-Caching messbar Token sparen kann“.
Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.
Künstliche Intelligenz
10-Gigabit-Netzwerk für zu Hause: Voraussetzungen und Verkabelung
Lange waren Gigabit-Ethernet-Ports der Standard in der IT-Welt und schnellere Hardware vergleichsweise teuer. Doch derzeit zeichnet sich ein Wandel ab: 2.5GBase-T ist schon Standard bei Mittel- und Oberklasse-Mainboards und 10-Gigabit-Karten wie USB-Adapter fallen im Preis. Immer mehr Netzwerkspeicher besitzen NBase-T-Ports, die bis 10 Gbit/s hochschalten, sodass Daten schneller durchs Netz fliegen. Damit wird auch die höchste derzeit über Kupfer mögliche Geschwindigkeitsstufe für kleinere Netze und Budgets interessant.
- 10-Gigabit-Ethernet überträgt rund 1,1 Gigabyte pro Sekunde.
- Alte Verkabelung ist häufig 10-Gigabit-tauglich.
- Netzwerkkarten und USB-Adapter gibt es ab 50 beziehungsweise 80 Euro.
Um Ihnen den Einstieg ins 10-Gigabit-Netz zu erleichtern, erklären wir im folgenden Text, wann sich der Umstieg für Sie lohnt, welche Voraussetzungen Ihre Netzwerkinfrastruktur für die Geschwindigkeitsstufe erfüllen muss und wie Sie gegebenenfalls Glasfaser als Alternative einsetzen. Wir legen dabei den Fokus speziell auf kleine Büros und Heimanwender (SOHO: Small Office, Home Office). Den Weg zur passenden Hardware ebnen unsere Kaufberatung für 10G-fähige Komponenten und der Vergleichstest von USB-10GE-Adaptern.
Notwendigkeit
Ob ein 10-Gigabit-Netzwerk für Sie Sinn ergibt, hängt von den Anwendungen ab, die Sie nutzen, und von der Hardware, die Sie bereits besitzen. Der Grund, weshalb es so lange gedauert hat, bis sich eine neue Geschwindigkeitsstufe bei Kupfer-Ethernet-Anschlüssen durchzusetzen begann, ist relativ simpel: Die meisten Anwendungen auf Geräten im heimischen Umfeld und an typischen Büroarbeitsplätzen kommen problemlos mit Gigabit-Ethernet klar – also einer Datenrate von etwa 110 MByte pro Sekunde. Surfen, Webanwendungen und Gaming liegen im Bereich von wenigen Hundert Kilobit bis einigen Megabit pro Sekunde und profitieren mehr von geringer Latenz als von hoher Datenrate; Videostreaming benötigt bis zu 30, seltener mal 50 Mbit/s und die Urlaubsvideos und -fotos kann man mit rund 110 MByte pro Sekunde in akzeptabler Zeit auf den Netzwerkspeicher (NAS) sichern.
Das war die Leseprobe unseres heise-Plus-Artikels „10-Gigabit-Netzwerk für zu Hause: Voraussetzungen und Verkabelung“.
Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.
Künstliche Intelligenz
Donnerstag: EU-Rückzug von Binance, Anthropic mit Ausweispflicht für KI-Nutzer
Durchhalteparolen zum Trotz informiert Binance Kunden im Europäischen Wirtschaftsraum (EWR) über die Schließung. Die Kryptobörse konnte bislang keine von der EU vorgeschriebene Zulassung für den Handel mit Kryptowährungen erreichen. 1000 weitere Anbieter gehen ebenfalls. Derweil darf Anthropic „unter Umständen“ das Alter und die Identität der KI-Nutzer per Ausweis und Biometrie bestimmen. Das besagt deren kürzlich aktualisierte Datenschutzrichtlinie. Zwar soll dies nur einen kleinen Teil der Anwender betreffen, doch es gibt Kritik an der Wahl des Dienstleisters für die Identitätsprüfung. Eine andere KI-Firma braucht für den eigenen Börsengang optimistische Stimmung. Für OpenAI kommt deshalb eine Kooperation mit Broadcom gerade recht. Gemeinsam haben die beiden Unternehmen einen neuen KI-Chip angekündigt, der OpenAIs Inferenz-Software effizienter und schneller verarbeiten können soll – die wichtigsten Meldungen im kurzen Überblick.
Weiterlesen nach der Anzeige
Der zwielichtige Markt für den Handel mit Kryptowährungen wird im Europäischen Wirtschaftsraum (EWR) zum 1. Juli teilweise bereinigt. Laut Branchenbeobachtern gibt es derzeit mehr als 1200 Anbieter, doch nur gut 200 haben eine Lizenz erworben. Prominentester Abgang ist Binance, die als weltweit größte Kryptowährungsbörse gilt. Das US-Unternehmen wollte eine griechische Lizenz, hat seinen Antrag jedoch zurückgezogen, nachdem die griechische Behörde vorige Woche eine Ablehnung signalisiert hatte. Daraufhin aufgenommene Gespräche mit Behörden einiger anderer Länder dürften nicht gefruchtet haben, die Vorschriften sind ja jetzt einheitlich. Dennoch verspricht Binance, Europa nicht zu verlassen und einen anderen Weg zu suchen: Binance stellt Kryptowährungshandel im Europäischen Wirtschaftsraum ein.
Eine Woche später wird Anthropics aktualisierte Datenschutzrichtlinie wirksam, durch die sich das US-amerikanische KI-Unternehmen einen Ausweis der Nutzer der eigenen KI-Modelle vorlegen lassen könnte, um deren Alter und Identität zu prüfen. Laut Anthropic-Mitarbeitern soll dies nur einen kleinen Teil der Nutzer betreffen und betrügerische Aktivitäten unterbinden. Beobachter kritisieren allerdings die Auswahl der für die Identitätsprüfung eingesetzten Firma Persona Identities. Denn die Identitätsdaten werden nach Prüfung im Gegensatz zu anderen Firmen nicht unmittelbar gelöscht und der auch von umstrittenen Unternehmen gestützte Dienstleister könnte von der US-Regierung zur Herausgabe der Daten verpflichtet werden: Anthropic darf für die Nutzung von Claude künftig einen Ausweis verlangen.
Ein Anthropic-Mitbewerber setzt hingegen auf eigene Chips. Denn OpenAI unterstützt Broadcom bei der Entwicklung eines Prozessors namens Jalapeño, der für Inferenzen Künstlicher Intelligenzen optimiert ist. Ziel sind kürzere Latenz und geringerer Energieverbrauch. Jalapeño ist eine anwendungsspezifische integrierte Schaltung (ASIC), besteht also aus speziell auf OpenAIs Inferenz-Software zugeschnittenen Schaltkreisen. Nicht gedacht ist das Gerät für das Training großer Sprachmodelle. Details zu dem neuen KI-Chip fehlen bislang, aber laut internen Tests soll dieser bei Inferenzen pro Watt mehr leisten werde als derzeit für diesen Zweck verfügbare Halbleiter. Ziel des gemeinsamen Projekts ist wohl, vor OpenAIs Börsengang die Börsenphantasie anzuregen: OpenAI und Broadcom kündigen neuen KI-Chip Jalapeño an.
In Deutschland geht die Erfassung des digitalen Alltags in die nächste Runde. Am Mittwoch hat die zweite bundesweite Mobilfunkmesswoche begonnen: Bürger sind aufgerufen, bis zum 1. Juli die tatsächliche Mobilfunkversorgung vor Ort auf den Prüfstand zu stellen. Mithilfe der kostenlosen App „Mobilfunk-Check“ der Bundesnetzagentur können Smartphone-Nutzer unkompliziert Daten über die Netzqualität dort erfassen, wo sie gerade sind. Ziel der Crowdsourcing-Aktion #CheckDeinNetz ist, ein flächendeckendes und realistisches Abbild der Mobilfunkversorgung aus Anwenderperspektive zu gewinnen sowie weiße Flecken präzise zu lokalisieren. Das soll die Planung künftige Ausbau- und Unterstützungsmaßnahmen verbessern und den Druck auf Netzbetreiber erhöhen: Zweite bundesweite Mobilfunkmesswoche läuft und ist Funklöchern auf der Spur.
In der heutigen Ausgabe der #heiseshow besprechen wir unter anderem die bundesweite Störung, die den deutschen Bahnverkehr am Dienstagabend zum Erliegen gebracht hat. Wie konnte es zu diesem massiven Ausfall kommen und was muss sich ändern? EU-weit wurden die Weichen für den digitalen Euro gestellt, und das EU-Parlament hat dabei auch über Obergrenzen für Nutzerbestände diskutiert. Wie viele digitale Euro soll jeder Bürger maximal halten dürfen und warum braucht es überhaupt solche Grenzen? In Norwegen wird KI aus Grundschulen verbannt: Kinder sollen zuerst Lesen und Schreiben lernen, bevor sie KI-Tools nutzen dürfen. Ist das ein weitsichtiger pädagogischer Schritt oder Digitalisierungsverweigerung? Das sind die Themen heute um 17 Uhr in der #heiseshow: Bahnstörung, Digitaler Euro, KI-Bann in Schulen.
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmung wird hier ein externes YouTube-Video (Google Ireland Limited) geladen.
Auch noch wichtig:
Weiterlesen nach der Anzeige
- DiGA gelten als Vorzeigeprojekt der Digitalisierung im Gesundheitswesen. Doch sind sie Innovations- oder Kostentreiber? Darum geht’s im Digital-Health-Podcast: DiGA als Innovation auf Kosten der Krankenkassen?
- Nach Samsung soll auch SK Hynix wieder mehr DDR5-Arbeitsspeicher herstellen. Die Marge soll irrsinnig hoch sein: Speicherriesen priorisieren offenbar wieder DDR5-DRAM.
- Wenn die Öffentlichkeit für die Infrastruktur des Fußballs aufkommt, sollte sie keine Monopolpreise für Pixelbilder zahlen, meint Hartmut Gieselmann in seinem Kommentar zur Fußball-WM: Keine Fernseh-Millionen für Krümelfußball.
- Nach dem bundesweiten Ausfall des Zugverkehrs nennt die Bahn erste Details zur Ursache. Derweil wächst die Kritik am technischen Zustand und Notfallmanagement: Nach Störung nennt Bahn Techniktausch als Ursache.
- Der Bitkom prognostiziert einen tiefgreifenden Umbau der Softwarebranche. KI-Agenten verschieben den Fokus von Arbeitszeit zu messbaren Ergebnissen: Softwarebranche muss Geschäftsmodelle umbauen.
- Die jüngeren Home-Assistant-Updates stopfen unter anderem Informationslecks. Zudem gibt es das Home Assistant OS in neuer Version: Update für Home Assistant stopft Informationsleck.
- Ende Mai wurden kritische Sicherheitslücken in Ubiquiti UniFi OS bekannt. Inzwischen haben Angreifer diese im Visier: Ubiquiti UniFi OS-Sicherheitslücken werden angegriffen.
- Der ADAC hat 16 Ganzjahresreifen für Kleinwagen getestet. Nur ein Modell erhält die Note „gut“, acht bekommen keine Kaufempfehlung, fünf sind mangelhaft im ADAC-Ganzjahresreifentest: Ein Modell ist „gut“, fünf sind ein Sicherheitsrisiko.
- Hepha zeigt auf der Eurobike seine Vorstellung des E-Bikes der Zukunft. Teile des Konzepts will der Hersteller schon bald in Serie fertigen: E-Bike Hepha Urban X lädt in 15 Minuten, rekuperiert und schaltet selbst.
- Klimaanlagen sind oft laut oder zu weit vom Schlafzimmer entfernt. Wir untersuchen, welche Alternativen die Kühlung direkt ins Bett bringen und haben die Klimaanlage fürs Bett im Test: Kühler schlafen in heißen Nächten.
- Günstige mobile Klimaanlagen lassen sich mit zwei Schläuchen effizienter betreiben. So gelingt der Umbau mit einfachen Werkzeugen und Materialien: Mobile Klimaanlage auf Zweischlauchbetrieb umrüsten und effizienter kühlen.
- Wenn ich die WM schaue, freue ich mich vor allem über geringe Latenzen. Und die bekomme ich linear und im freien Stream bei ARD und ZDF, meint Ulrike Kuhlmann in ihrem Kommentar zur Fußball-WM: Schnelle Bilder, dafür zahle ich Rundfunkgebühren.
(fds)
Künstliche Intelligenz
Die Klimaanlage fürs Bett im Test: Kühler schlafen in heißen Nächten
In Zeiten extremer Hitzewellen gleicht das Bett eher einer Heimsauna als einem Ort der Erholung. Das ewige Wälzen, die klebrige Haut, mit der passenden Kühlung könnte all das dann der Vergangenheit angehören. Selbst eine mobile Klimaanlage bringt nicht immer genug Abkühlung ins Schlafzimmer – oder rödelt einfach zu laut, um ungestört einschlafen zu können. Dabei müsste eigentlich nicht der ganze Raum heruntergekühlt werden. Nachts zählt vor allem das Klima unter der Decke. Genau hier setzen Bettkühlsysteme an. Sie bringen die Kälte gezielt dorthin, wo sie gebraucht wird – ins Bett.
Viele Modelle funktionieren ähnlich wie eine Wasserkühlung im PC: Eine externe Einheit kühlt Wasser elektrisch herunter und pumpt es durch einen Matratzentopper. Die darin eingearbeiteten Schläuche verlaufen mäandernd durch die Auflage und verteilen das temperierte Wasser über nahezu die gesamte Liegefläche. Wir haben das nach diesem Prinzip arbeitende Modell HydroSnooze getestet, das ab 809 Euro erhältlich ist. Im Test prüfen wir, wie stark es in tropischen Nächten tatsächlich effektiv kühlt, wie viel Strom es verbraucht und wie laut Pumpe und Kühleinheit im Betrieb sind. Außerdem interessiert uns, ob man bei diesem Geräuschpegel noch problemlos einschlafen kann.
- Bei schlaflosen Nächten in der Hitzewelle denken viele zuerst an Ventilator oder Klimaanlage. Deutlich weniger bekannt sind Bettkühlsysteme, die gezielt dort kühlen sollen, wo sich die Hitze staut: unter der Decke.
- Bettkühlsysteme versprechen gezielte Abkühlung per Wasserkreislauf, Luftstrom oder passiven Tricks – zu sehr unterschiedlichen Preisen.
- Wir haben den wassergekühlten Matratzentopper von HydroSnooze ausprobiert, Stromverbrauch und Lautstärke gemessen und zeigen, welche Alternativen für heiße Nächte infrage kommen.
Zusätzlich stellen wir sowohl günstigere als auch teurere Alternativen vor. Dazu gehören Systeme mit teils überraschend hohen Abo-Kosten sowie Konzepte, die ganz anders funktionieren. Der BedJet beispielsweise setzt nicht auf Wasser, sondern bläst Raumluft direkt unter die Bettdecke. Er funktioniert also eher wie ein Gebläse als wie eine Klimaanlage, hat aber das gleiche Ziel: Hitzestau im Bett zu vermeiden.
Das war die Leseprobe unseres heise-Plus-Artikels „Die Klimaanlage fürs Bett im Test: Kühler schlafen in heißen Nächten“.
Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.
-
Künstliche Intelligenzvor 3 MonatenEmpfehlungsalgorithmen bei TikTok erklärt: Die Maschine hinter dem Endlos‑Feed
-
Künstliche Intelligenzvor 3 MonateniX-Workshop Angriffsziel lokales AD − Schwachstellen finden und beheben
-
Künstliche Intelligenzvor 3 Monaten„Don’t Starve Elsewhere“: Survival‑Hit kehrt nach zehn Jahren zurück
-
Künstliche Intelligenzvor 3 MonatenKine‑Exakta: Die erste Spiegelreflexkamera fürs Kleinbild
-
Künstliche Intelligenzvor 2 MonatenWeitere Entlassungswelle bei Disney: Bis zu 1000 Mitarbeiter betroffen
-
Künstliche Intelligenzvor 2 Monaten
xTool P3 im Test: CO₂-Laser mit 80 Watt schneidet und graviert auch Acryl
-
Social Mediavor 1 MonatMetas neuer Creative Setup Workflow: Was sich wirklich ändert – und warum das nicht nur eine UI-Frage ist!
-
Apps & Mobile Entwicklungvor 2 MonatenMega-GPUs für Nvidia, AMD & Co: TSMC zeigt CoWoS-Package mit >11.600 mm² & 24 × HBM5E
