Unternehmen setzten bei LLMs weitgehend auf Clouddienste. Lokale Modelle haben im Vergleich zur Cloud einige Vorteile: Die Kosten sind besser kalkulierbar, und die Daten bleiben innerhalb des Unternehmens.

Allerdings bringt der lokale Betrieb der LLMs einige Herausforderungen mit sich. Außerdem eignet sich nicht jedes Projekt uneingeschränkt und ohne Anpassungen für den lokalen Ansatz.

Am 15. Oktober zeigt die Online-Konferenz LLMs im Unternehmen, welche Hardware für den lokalen Betrieb erforderlich ist, wie man die Performance optimiert und wie Feintuning der Modelle hilft.

Projekte, Hardware, Optimierung

Das Programm der von iX und dpunkt.verlag ausgerichteten Online-Konferenz bietet Vorträge zu folgenden Themen:

• Software für lokale LLMs
• Wie viel GPU braucht der Chatbot?
• Performance-Optimierung
• LLMs und Embedding-Modelle, selbstgebaut
• Coding-Agenten im Enterprise-Einsatz bewerten
• Kosten von KI-Inferenz und wie man flexibel bleibt

Bis zum 25. September sind die Tickets für die Online-Konferenz zum Frühbucherpreis von 279 Euro (zzgl. 19 % MwSt.) erhältlich.

Workshops zu Feintuning und Performance-Optimierung

Am 22.10. und 18.11. sind zusätzlich zwei Workshops geplant, deren Agenda in Kürze veröffentlicht wird. Ein Workshop wird sich mit dem Feintuning großer Sprachmodelle beschäftigen und der andere mit Performance-Optimierungen für den lokalen Einsatz.

Wer über die Online-Konferenz und die zugehörige Konferenz Minds Mastering Machines informiert werden möchte, kann sich für den M3-Newsletter eintragen.

(rme)

Nach einer anstrengenden Hitzewoche liegt der Höhepunkt noch vor uns: In manchen Teilen Deutschlands soll es am Wochenende über 40 °C werden. Das ist schon für junge, gesunde Menschen schwer zu ertragen – egal ob draußen oder drinnen. Ganz besonders leiden beispielsweise alte und kranke Menschen, die in unklimatisierten Pflegeheimen sitzen und mit einem Ventilator versuchen, irgendwie über die Zeit zu kommen. Ich frage mich: Wieso wird das einfach so akzeptiert – insbesondere bei Pflegeheimen mit teils astronomischen Kosten für einen Platz? Und dabei gibt es internationale Studien, die zeigen, dass in Alten- und Pflegeheimen mit Klimaanlagen weniger Menschen an extrem heißen Tagen sterben als in solchen ohne.

Nochmal: Wieso wird das hierzulande einfach so akzeptiert? Woher kommt diese irrationale, technikfeindliche Angst vor Klimaanlagen? In zahlreichen anderen, auch ärmeren Ländern ist Klimatisierung etwas völlig Normales und die Menschen sterben nicht an kühler Zugluft. Meine brasilianische Schwägerin kann es immer noch nicht fassen, dass in Deutschland weder Krankenhäuser noch Altenheime flächendeckend klimatisiert sind, während sie die Berichte über die europäische Hitzewelle verfolgt.

Viel dieser deutschen irrationalen Angst hat mit Unwissen zu tun. Es gibt gerade bei Klimaanlagen eine ganze Menge Vorurteile und Mythen: sei es zur Gesundheit, Lautstärke oder zu Stromverbrauch und Kosten. Entsprechend haben wir die zwölf gängigsten Mythen aufgegriffen und entzaubert. Schicken Sie den Artikel ruhig auch an skeptische Freunde oder Bekannte – etwa über den Verschenkerlink.

Übrigens: Während ich diese Zeilen schreibe, sind zahlreiche Klimageräte in Baumärkten und Online-Shops ausverkauft. Bei vielen Menschen ist der Leidensdruck also gerade hoch genug, um doch kurzfristig nach einer Linderung zu suchen. Die beste Lösung gegen überbordende Hitze sind die effizienten Split-Klimaanlagen, die man üblicherweise fest installiert – allerdings gibt es auch (wenige) mobile Varianten, etwa die derzeit ausverkaufte Midea PortaSplit.

Relativ unbekannt sind dagegen noch Klimaanlagen fürs Bett, auf denen man dann schläft. Sie funktionieren ähnlich wie eine Wasserkühlung: eine externe Einheit kühlt Wasser elektrisch runter und pumpt es durch einen speziellen Matratzentopper, der von Schläuchen durchzogen ist. Kollege Jan Wöbbeking bestellte sich eine solche Klimamatratze und arbeitete quasi im Schlaf an seinem Test, den Sie nun in aller Ausführlichkeit lesen können.

Nicht nur bei Klimaanlagen, sondern auch bei anderen Dauerlastgeräten schwingt immer mal wieder die latente Angst vor elektrischen Zwischenfällen mit. Wer kennt keine Geschichte von einem Bekannten, der jemanden kennt, dessen Freundes Haus wegen defekter Elektrik abgebrannt ist. Diesem Thema hat sich Kollege Clemens Gleich gewidmet und zeigt in einem höchst interessanten Artikel nicht nur häufige Probleme auf, sondern auch passende Lösungsmöglichkeiten.

Ob gut gekühlt oder nicht, viele werden das anstehende, überheiße Wochenende drinnen verbringen. Fernsehen und Gaming erhitzt (unklimatisierte) Zimmer nur noch mehr; Lesen ist also eine wattsparende, gute Idee. Falls Sie E-Book-Liebhaber sind, schauen Sie doch mal in die neue E-Reader-Marktübersicht. Mit der können Sie Ihr Wissen über aktuelle Geräte auffrischen und überlegen, ob sich für Sie vielleicht doch mal ein neuer Reader lohnt.

Noch ein Lesetipp für Bastler: Wer sein Smart Home über Home Assistant steuert, kann wichtige Befehle direkt auf den Android-Homescreen legen – und damit sogar manche Hersteller-Apps obsolet machen. Kollege Marvin Strathmann zeigt, wie Sie Widgets einrichten und Schalter oder Zustände einstellen.

Ich wünsche Ihnen ein schönes Sommerwochenende. Passen Sie auf sich auf.

Ihr

Martin Fischer

Stellv. Chefredakteur heise medien

PS: Nächsten Mittwoch um 17 Uhr können Sie unsere Experten live zum Thema Balkonkraftwerke befragen. Lassen Sie sich diese Chance nicht entgehen.

(mfi)

Nicht durch ein Dekret von Präsident Trump, sondern per Brief von Handelsminister Howard Lutnick kann Anthropic sein KI-Modell Claude Mythos wieder anbieten. Dies berichten mehrere US-Medien unabhängig voneinander, nachdem sie Einblick in das Schreiben erhalten hatten.

So zitiert CNBC den Minister aus dem Brief: „Ich habe festgestellt, dass geeignete Sicherheitsvorkehrungen getroffen wurden, um bestimmten vertrauenswürdigen Partnern den Zugriff auf das Claude Mythos 5 Modell zu ermöglichen.“ Im Original schreibt Lutnick hier von „Safeguards“, also einer Art Leitplanken, die es KI-Modellen verbieten sollen, gefährliche Aufgaben nach einem Jailbreak zu erledigen. Über das Schreiben berichten auch Semafor und Politico.

Wer den Mythos haben darf, bleibt unklar

Die US-Regierung betrachtet die modernen LLMs unter anderem von Anthropic und OpenAI als mögliche Gefahr für die nationale Sicherheit. Anthropic wurde bereits als „Supply-Chain-Risk“ eingestuft. Das Unternehmen unterliegt damit strengen Exportkontrollen, wie sie beispielsweise für Rüstungshersteller üblich sind. Daher bleibt auch nach Aufhebung der totalen Sperre Mythos nicht für jeden zugänglich.

Laut Politico sollen es nur etwas mehr als 100 Firmen, und so wörtlich, „agencies“ sein. Schon länger gibt es Berichte, dass angeblich auch die NSA Mythos nutzen darf, selbst für offensive Cyberattacken. Eine Liste der Organisationen, die Zugriff auf Mythos erhalten sollen, gibt es in den aktuellen Berichten nicht. Das Modell Fable 5, das eine entschärfte Version von Mythos sein soll, bleibt vorerst ganz gesperrt.

Unklar bleibt weiterhin die rechtliche Grundlage für die strenge Regulierung der KI-Modelle von US-Anbietern. Zahlreiche andere Firmen unterstützen Anthropic in dessen Klagen gegen die Einstufung als Sicherheitsrisiko. In einer Stellungnahme an das Gericht als Amicus Curiae beschreiben sie die Handlungen der US-Regierung als einen „unangemessenen und willkürlichen Einsatz von Macht mit schwerwiegenden Folgen für unsere Branche“.

(nie)