Unternehmen setzten bei LLMs weitgehend auf Clouddienste. Lokale Modelle haben im Vergleich zur Cloud einige Vorteile: Die Kosten sind besser kalkulierbar, und die Daten bleiben innerhalb des Unternehmens.

Allerdings bringt der lokale Betrieb der LLMs einige Herausforderungen mit sich. Außerdem eignet sich nicht jedes Projekt uneingeschränkt und ohne Anpassungen für den lokalen Ansatz.

Am 15. Oktober zeigt die Online-Konferenz LLMs im Unternehmen, welche Hardware für den lokalen Betrieb erforderlich ist, wie man die Performance optimiert und wie Feintuning der Modelle hilft.

Projekte, Hardware, Optimierung

Das Programm der von iX und dpunkt.verlag ausgerichteten Online-Konferenz bietet Vorträge zu folgenden Themen:

• Software für lokale LLMs
• Wie viel GPU braucht der Chatbot?
• Performance-Optimierung
• LLMs und Embedding-Modelle, selbstgebaut
• Coding-Agenten im Enterprise-Einsatz bewerten
• Kosten von KI-Inferenz und wie man flexibel bleibt

Bis zum 25. September sind die Tickets für die Online-Konferenz zum Frühbucherpreis von 279 Euro (zzgl. 19 % MwSt.) erhältlich.

Workshops zu Feintuning und Performance-Optimierung

Am 22.10. und 18.11. sind zusätzlich zwei Workshops geplant, deren Agenda in Kürze veröffentlicht wird. Ein Workshop wird sich mit dem Feintuning großer Sprachmodelle beschäftigen und der andere mit Performance-Optimierungen für den lokalen Einsatz.

Wer über die Online-Konferenz und die zugehörige Konferenz Minds Mastering Machines informiert werden möchte, kann sich für den M3-Newsletter eintragen.

(rme)

Nach einer anstrengenden Hitzewoche liegt der Höhepunkt noch vor uns: In manchen Teilen Deutschlands soll es am Wochenende über 40 °C werden. Das ist schon für junge, gesunde Menschen schwer zu ertragen – egal ob draußen oder drinnen. Ganz besonders leiden beispielsweise alte und kranke Menschen, die in unklimatisierten Pflegeheimen sitzen und mit einem Ventilator versuchen, irgendwie über die Zeit zu kommen. Ich frage mich: Wieso wird das einfach so akzeptiert – insbesondere bei Pflegeheimen mit teils astronomischen Kosten für einen Platz? Und dabei gibt es internationale Studien, die zeigen, dass in Alten- und Pflegeheimen mit Klimaanlagen weniger Menschen an extrem heißen Tagen sterben als in solchen ohne.

Nochmal: Wieso wird das hierzulande einfach so akzeptiert? Woher kommt diese irrationale, technikfeindliche Angst vor Klimaanlagen? In zahlreichen anderen, auch ärmeren Ländern ist Klimatisierung etwas völlig Normales und die Menschen sterben nicht an kühler Zugluft. Meine brasilianische Schwägerin kann es immer noch nicht fassen, dass in Deutschland weder Krankenhäuser noch Altenheime flächendeckend klimatisiert sind, während sie die Berichte über die europäische Hitzewelle verfolgt.

Viel dieser deutschen irrationalen Angst hat mit Unwissen zu tun. Es gibt gerade bei Klimaanlagen eine ganze Menge Vorurteile und Mythen: sei es zur Gesundheit, Lautstärke oder zu Stromverbrauch und Kosten. Entsprechend haben wir die zwölf gängigsten Mythen aufgegriffen und entzaubert. Schicken Sie den Artikel ruhig auch an skeptische Freunde oder Bekannte – etwa über den Verschenkerlink.

Übrigens: Während ich diese Zeilen schreibe, sind zahlreiche Klimageräte in Baumärkten und Online-Shops ausverkauft. Bei vielen Menschen ist der Leidensdruck also gerade hoch genug, um doch kurzfristig nach einer Linderung zu suchen. Die beste Lösung gegen überbordende Hitze sind die effizienten Split-Klimaanlagen, die man üblicherweise fest installiert – allerdings gibt es auch (wenige) mobile Varianten, etwa die derzeit ausverkaufte Midea PortaSplit.

Relativ unbekannt sind dagegen noch Klimaanlagen fürs Bett, auf denen man dann schläft. Sie funktionieren ähnlich wie eine Wasserkühlung: eine externe Einheit kühlt Wasser elektrisch runter und pumpt es durch einen speziellen Matratzentopper, der von Schläuchen durchzogen ist. Kollege Jan Wöbbeking bestellte sich eine solche Klimamatratze und arbeitete quasi im Schlaf an seinem Test, den Sie nun in aller Ausführlichkeit lesen können.

Nicht nur bei Klimaanlagen, sondern auch bei anderen Dauerlastgeräten schwingt immer mal wieder die latente Angst vor elektrischen Zwischenfällen mit. Wer kennt keine Geschichte von einem Bekannten, der jemanden kennt, dessen Freundes Haus wegen defekter Elektrik abgebrannt ist. Diesem Thema hat sich Kollege Clemens Gleich gewidmet und zeigt in einem höchst interessanten Artikel nicht nur häufige Probleme auf, sondern auch passende Lösungsmöglichkeiten.

Ob gut gekühlt oder nicht, viele werden das anstehende, überheiße Wochenende drinnen verbringen. Fernsehen und Gaming erhitzt (unklimatisierte) Zimmer nur noch mehr; Lesen ist also eine wattsparende, gute Idee. Falls Sie E-Book-Liebhaber sind, schauen Sie doch mal in die neue E-Reader-Marktübersicht. Mit der können Sie Ihr Wissen über aktuelle Geräte auffrischen und überlegen, ob sich für Sie vielleicht doch mal ein neuer Reader lohnt.

Noch ein Lesetipp für Bastler: Wer sein Smart Home über Home Assistant steuert, kann wichtige Befehle direkt auf den Android-Homescreen legen – und damit sogar manche Hersteller-Apps obsolet machen. Kollege Marvin Strathmann zeigt, wie Sie Widgets einrichten und Schalter oder Zustände einstellen.

Ich wünsche Ihnen ein schönes Sommerwochenende. Passen Sie auf sich auf.

Ihr

Martin Fischer

Stellv. Chefredakteur heise medien

PS: Nächsten Mittwoch um 17 Uhr können Sie unsere Experten live zum Thema Balkonkraftwerke befragen. Lassen Sie sich diese Chance nicht entgehen.

(mfi)

Bei Apple wird derzeit offenbar an drei Chipfamilien gleichzeitig gearbeitet. Laut einem Bericht von Mark Gurman, dem üblicherweise gut informierten Bloomberg-Apple-Reporter, soll es noch bis Ende des Jahres erstmals einen M6-Mac geben, zudem neue Modelle mit M5-Chip, darunter erstmals in einer Ultra-Variante. Gleichzeitig schreitet die Arbeit am M7 voran, der sich insbesondere auf das Thema KI fokussieren soll.

M5 Ultra im Anmarsch, M6 noch dieses Jahr

Apples M5-Linie hat demnach noch nicht ausgedient. So plant Apple bis Ende des Jahres einen neuen Mac Studio, der den Codenamen J775 trägt und erstmals einen M5 Ultra erhalten soll (Codename „Sotra D“ oder H17D). Geplant sind demnach bis zu 36 CPU-Kerne und 80 GPU-Kerne. Apple soll geplant haben, die Rechner mit bis zu 768 GByte RAM auszuliefern, aufgrund der aktuellen Speicherkrise könnte das aber ein Traum bleiben – oder faktisch unbezahlbar werden. Beim aktuellen Mac Studio hatte Apple die RAM-Konfigurationen bereits zusammengestrichen.

Der M6 („Komodo“ oder H18G) im 2-Nanometer-Prozess (stat 3 Nanometer beim M5) soll sein Debüt im Einsteigermodell des MacBook Pro feiern. Er verspricht mehr Speicherbandbreite (200 GByte pro Sekunde statt 153 beim M5), eine aktualisierte Speicherarchitektur und eine verbesserte Neural Engine für mehr KI-Leistung. Bis zu 12 GPU-Kerne sind geplant (von 10 beim M5). Ob auch iMac und Mac mini bereits in diesem Jahr ein M6-Upgrade bekommen auch Apple hier noch M5-Varianten nachreicht, bleibt unklar.

Arbeit am M7 läuft längst, bis hin zu Ultra

Laut Gurman ist nicht geplant, dass Apple Pro- und Max-Varianten des M6 herausbringt – das wäre ein Novum seit dem M1. Stattdessen sollen diese Versionen erst mit dem M7 im Jahr 2027 erscheinen. Unklar bleibt, was das für das MacBook Ultra, Apples erstes mit Touchscreen und OLED-Display ausgestattetes MacBook mit wahrscheinlich dünnerem Formfaktor, bedeutet. Es müsste sich dann womöglich mit einem M6 ohne Max und Pro begnügen, was angesichts des offenbar angepeilten hohen Preises für Kontroversen sorgen dürfte.

Die Arbeit am M7 schreitet laut Gurman unterdessen voran. Geplant sind neben dem Basismodell („Delos“ oder H19G) auch M7 Pro, M7 Max und M7 Ultra (H19S, H19C und H19D). M7 Pro und M7 Max könnten bis Ende 2027 in ersten Macs erscheinen, eine M7-Ultra-Maschine in Form eines Mac Studio wohl erst 2028. Apple arbeitet an „großen Durchbrüchen“ bei On-Device-KI mit einer Speicherbandbreite von bis zu 240 GByte pro Sekunde.

(bsc)