Künstliche Intelligenz
KI: Was der Einsatz von großen Sprachmodellen im Unternehmen kostet
Große Sprachmodelle (LLMs) haben den Umgang mit großen Dokumentenmengen und die Informationssuche darin grundlegend verändert. Auch Routineaufgaben können Sprachmodelle mithilfe von Agentenframeworks übernehmen. Interessiert man sich für begründete Aussagen, helfen Reasoning-Modelle, indem sie einen Schlussfolgerungsprozess in lesbarer Sprache exponieren. Im Unternehmenseinsatz versprechen die Anbieter großer Sprachmodelle eine Effizienzsteigerung und Erleichterungen bei Routineaufgaben.
Teilweise ist der dafür notwendige Rechenaufwand allerdings erheblich und erzeugt Kosten, egal ob die Verarbeitung in der Cloud oder lokal erfolgt. Die genauen Werte schwanken je nach Aufgabe, Modell und Anbieterplattform.
- Dieser Artikel zeigt, was bei den Anwendungsfällen RAG, Agentensystem und Reasoning-Modell-Einsatz an technischer Planung zu erwarten ist und wo im Betrieb Kosten entstehen können.
- Insbesondere die Betriebskosten lassen sich durch die stochastische Natur der generativen Sprachmodelle im Vorfeld nur schwer abwägen.
- Da variable Kosten besonders bei cloudbasierten Diensten auftreten, liegt der Schwerpunkt dabei auf solchen Modellen, die nach Tokenaufkommen abgerechnet werden.
- Kostenrechnungen für eigens angeschaffte Hardware sind stark unternehmensspezifisch, da Unternehmen Hardware für verschiedene Zwecke nutzen können oder Abschreibungsmöglichkeiten entstehen.
Dieser Artikel konzentriert sich daher auf die Größenordnungen der Kosten für drei typische Anwendungsfälle: die Informationssuche mit Retrieval Augmented Generation (RAG), ein Agentensystem und den Einsatz eines Reasoning-Modells.
Das war die Leseprobe unseres heise-Plus-Artikels „KI: Was der Einsatz von großen Sprachmodellen im Unternehmen kostet“.
Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.