Windows 11 gilt als außergewöhnlich kaputt – so kaputt, dass sogar Microsoft inzwischen mehrfach öffentlich angedeutet hat, dass es Qualitätsprobleme gibt; erst vor wenigen Wochen sprach CEO Satya Nadella davon, dass man daran arbeiten wolle, „die Fans zurückzugewinnen“. c’t 3003 hat jetzt mal ganz genau hingeguckt: Wie schlimm ist es wirklich?

Transkript des Videos

(Hinweis: Dieses Transkript ist für Menschen gedacht, die das Video oben nicht schauen können oder wollen. Der Text gibt nicht alle Informationen der Bildspur wieder.)

Guckt mal hier, so endete neulich eine Windows-11-Neuinstallation bei mir: „Helfen Sie uns, die Roboter zu schlagen!“ Ja, und das war’s, da ging es nicht weiter. Ich vermute, dass da so eine Captcha-Abfrage sein sollte, aber offenbar hat Microsoft die vergessen einzubauen. Was doof ist, weil ich Windows nicht weiter installieren konnte. Und das ist nur ein Beispiel dafür, wie doll kaputt Windows 11 ist. Also so kaputt, dass Microsoft inzwischen mehrfach öffentlich zugegeben hat, dass es da wohl Probleme mit der Produktqualität gibt. Sogar von CEO Satya Nadella höchstpersönlich. Das sagt Microsoft, und hier in diesem Video gibt es jetzt den Realitätscheck. Also die Praxis. Was genau bekommt man, wenn man aktuell Windows 11 installiert? Und zwar auf einem Copilot+-fähigen Rechner, also mit NPU, mit Neural Processing Unit, also mit freigeschalteten KI-Funktionen. Ist das wirklich alles so schlimm, dass Microsoft öffentlich zu Kreuze kriechen muss? Spoiler: nein, viel schlimmer. Und das ist jetzt kein Bait, sondern ich war wirklich, wirklich ernsthaft geschockt. Bleibt dran!

Liebe Hackerinnen, liebe Internet-Surfer, herzlich willkommen hier bei…

Okay, zuerst mal ein kleiner Disclaimer. Das Video hier soll kein dumpfes Microsoft-Bashing sein. Wirklich nicht. Seit ich ungefähr 14 bin, benutze ich selbst Windows, und ich habe Windows deshalb auch irgendwie ins Herz geschlossen. Meine Liebe erkaltet allerdings immer mehr, weil sich Windows mehr und mehr in eine Richtung entwickelt, die immer weniger mit dem zu tun hat, was ich von einem Betriebssystem will. Deshalb benutze ich inzwischen immer mehr Linux und macOS. Und jetzt wollte ich mir für dieses Video noch mal im Detail angucken, was man eigentlich so erlebt, wenn man aktuell Windows 11 installiert.

Mein Versuchsaufbau: ein Rechner mit AMD Ryzen AI Max+ 395, also mit einem extra KI-Chip, der 50 Billionen Operationen pro Sekunde schafft, abgekürzt TOPS, also Trillion Operations Per Second. Und darauf die neueste Windows-11-ISO mit Version 25H2 drauf. Los geht’s mit

Kapitel 1: Installation

Ja, hier poppt direkt so eine Bilder-Show auf, oder Diashow, wie Windows das nennt, wo man dann sehen kann, was man alles Tolles jetzt mit KI machen kann. Und ja, dann steht da: Ergreifen Sie Maßnahmen zu allem, was Sie sehen. Aktion per Mausklick hebt Text und Bilder hervor, bei denen Sie Hintergründe weichzeichnen, Objekte löschen, nach Informationen suchen und mehr tun können. Ich weiß jetzt nicht genau, ob das ein Problem in meiner persönlichen Informationsverarbeitung ist, aber ich habe das dreimal gelesen. Ich verstehe das wirklich nicht. Aber wir sind ja hier noch bei der Installation, willkommen noch zu der Funktion. Könnt ihr euch schon mal darauf freuen. Super Funktion. Heißt allerdings in echt anders.

So, als Nächstes steht da: Schalten Sie Ihre Microsoft-Erfahrung frei. Da wird mir jetzt also angepriesen, was ich alles kriege, wenn ich mich hier anmelde. Ja gut, das klingt ja freiwillig. Kann ich mich denn jetzt trotzdem entscheiden, dass ich mich da lieber nicht anmelden will? Natürlich nicht. Habt ihr euch wahrscheinlich schon gedacht? Geht nicht. Das ging früher mal. Es geht jetzt nicht mehr. Also zumindest nicht offiziell. Bei der Konkurrenz, also bei macOS und natürlich auch bei Linux, ist das kein Problem. Die kann man problemlos installieren, ohne sich in irgendeinem Account anzumelden. Bei Linux gibt es gar keinen Account. Ja, bei Windows 11 muss man in seinen Microsoft-Account. Es gibt einen Workaround. Man kann mit Shift + F10 auf die Konsole, und dann kann man da start ms-cxh:localonly eingeben. Da darf man einen lokalen Nutzer anlegen, da geht es ohne Account.

Aber auch wenn ich Betriebssysteme eigentlich gerne mit lokalem Konto betreibe, habe ich das jetzt hier nicht gemacht. Werde mich jetzt hier also in meinen Microsoft-Account anmelden, weil ich will mir ja den offiziellen Zustand angucken. Also anmelden übrigens mit einem ganz normalen privaten Microsoft-Konto von mir, nicht mit irgendeinem beruflichen Konto, wo womöglich vom Arbeitgeber irgendwelche Sachen eingestellt sind. Also alles ganz normal, persönlich, privat von mir angelegtes Microsoft-Konto. Ich gebe also meine Mailadresse ein, und dann kommt da: Anmelden mit einem Hauptschlüssel. Stecken Sie den Sicherheitsschlüssel in den USB-Anschluss. Hä? Hauptschlüssel, Sicherheitsschlüssel, was? Ich kann wirklich mit Sicherheit sagen, dass ich kein USB-Gerät besitze, das ich hier jetzt verwenden könnte. Vermutlich ist sowas wie ein FIDO2-Key gemeint. Besitze ich nicht. Ich habe auch zuerst überhaupt nicht verstanden, was das überhaupt sein soll. Aber dann habe ich mir das selbst so erschlossen.

Offenbar habe ich mich mal auf macOS in diesen Microsoft-Account eingeloggt und dann einen Passkey erstellt, der dann in meiner macOS-Keychain, also in der Cloud, gespeichert wurde. Aber warum sagt Windows das nicht? Also warum verwenden die nicht mal den Begriff Passkeys? Ja, und ich habe mir das herleiten können. Ich mache aber auch hauptberuflich Dinge mit Computern. Die meisten Windows-Nutzer hätten das vermutlich nicht verstanden. Also kein Passkey für mich. Muss ich mich also anders einloggen. Ich gebe also mein Passwort ein und werde dann aufgefordert, mich mit einem zweiten Faktor auszuweisen. Ich wähle da jetzt SMS auf meinem Handy aus, und dann kommt: Helfen Sie uns, die Roboter zu schlagen. Mehr nicht. Ich habe das mehrfach ausprobiert, bin mehrfach zurückgegangen, wieder hin. Und ja, der Rechner hatte auch eine Internetverbindung. Hier habe ich mir auch wieder selbst hergeleitet, dass hier in dem Kontext wohl so ein Captcha erscheinen sollte. Also kennt ihr ja diese Tests, wo man so Fahrräder oder Autos erkennen soll, um Bots abzuwehren. Also CAPTCHA: Completely Automated Public Turing Test to Tell Computers and Humans Apart.

Wenn ihr jetzt sagt: Ja, Keno, das war ja aber ganz spezifisch dein System. Da war vielleicht ganz speziell was komisch. Nein. Zu beiden Problemen, also diesem Passkey-Ding und dieser Roboter-Schlagen-Geschichte, da findet man im Netz etliche Stellen, in denen Leute genau das gleiche Problem schildern. Also ich bin definitiv nicht der Einzige, der dieses Problem hat. Fassen wir mal zusammen: Schon beim Installieren passieren bei Windows 11 richtig krasse Fails. Also Fails, die bei vielen Leuten dazu führen, dass sie nicht weiter installieren können. Und ja, das ist eine manuelle Neuinstallation. Da könnt ihr jetzt sagen: Das passiert nur bei Leuten, die sich mit Computern auskennen, weil sonst machen ja keine Leute eine eigene Neuinstallation. Normale Leute kaufen sich ja Rechner, bei denen Windows vorinstalliert ist.

Aber beide meiner Fails sind ja nicht spezifisch beim Installieren passiert, sondern die sind beim Einloggen passiert. Das heißt, das hätte mir auch passieren können, wenn ich einen neuen Rechner gekauft hätte und versucht hätte, mich in meinen vorhandenen Microsoft-Account einzuloggen. Dann wären diese Probleme sehr wahrscheinlich auch aufgetaucht. Also der mit dem Passkey ziemlich sicher. Also das finde ich auf jeden Fall ziemlich heftig, dass schon solche rudimentären Dinge wie Einloggen nicht funktionieren. Also man kann hier auch schon mal sagen, dass Microsoft vielleicht auch bei der deutschen Lokalisierung nicht nur KI ranlassen sollte, sondern vielleicht auch mal einen Menschen, der die Sprache kann, drüber gucken lassen sollte. Weil diese schlechten Übersetzungen, dass da nicht einmal Passkeys steht, dass da irgendwas von Robotern abwehren steht, also diese schlechten Übersetzungen, die dazu führen, dass man Dinge nicht versteht, die ziehen sich durch ganz Windows und durchs ganze Video.

Beim dritten Einlog-Versuch hat es auf jeden Fall geklappt, als ich als zweiten Faktor E-Mail ausgewählt hatte. Naja, dann geht die Installation auf jeden Fall weiter, aber ruhiger bin ich dann trotzdem nicht geworden. Denn da kommt dann jetzt so viel Werbung, da kommt man sich fast vor wie auf so einer Kaffeefahrt. Nein, ich will kein OneDrive. Nein, ich will kein Office 365. Nein, kein Xbox-Abo. Nein, nein, nein. Also Installation nicht so gut gelaufen. Aber jetzt ist ja alles fertig installiert. Jetzt kommt

Kapitel 2: Usability

Und ja, alles, was ich im Bereich Usability schon vor anderthalb Jahren in einem 3003-Video über Windows 11 kritisiert habe, das ist da immer noch da. Das ist immer noch nicht behoben. Das ist alles immer noch total nervig.

So zum Beispiel diese super verwirrenden doppelten Einstellungsdialoge. Wenn ich die Energiesparfunktion einstellen will, was ja häufiger vorkommt, weil das ja wichtig ist, weil das ja auch damit zu tun hat, wann soll der Rechner sich schlafen legen und so weiter. Also das benutze ich zumindest sehr oft. Dann gibt es halt zwei unterschiedliche Menüs. Also wenn ich Energie eintippe ins Startmenü, dann kommt da zuerst Energiesparplan, und dann kommt Energieaktionseinstellung und dann Energiespareinstellung. Und die letzten beiden, die machen das Gleiche, die gehen ins gleiche Menü. Aber das erste, Energiesparplan, das ist ein anderes Menü. Die widersprechen sich auch. Also hier habe ich jetzt mal beste Leistung eingestellt, und hier habe ich ausbalanciert eingestellt. Und welches von den beiden ist jetzt aktiv? Keine Ahnung.

Und natürlich der Klassiker. Ich kann hier in den Einstellungen den dunklen Modus für alles aktivieren. Also nicht für alles, weil einige Menüs wie der genannte Energiesparplan und auch so Sachen wie der Gerätemanager und die Computerverwaltung, die halten sich alle nicht an den Dark Mode, weil das uralte Menüs sind, die Windows seit Jahrzehnten mit sich rumschleppt. Und ja, das ist alles nicht so richtig vertrauenserweckend. Nicht nur, dass diese Menüs so komisch aussehen, sondern auch, dass sie einfach den systemübergreifenden Dark Mode nicht unterstützen. Das ist aber zumindest eine der Sachen mit dem Dark Mode, bei der Microsoft Verbesserungen angekündigt hat. Wir gucken uns gleich noch mal an, ob das bei der aktuell erhältlichen Windows-11-Beta schon besser geworden ist und schon gepatcht ist.

Ein anderer Nerv-Klassiker, der hier in der normalen Standard-Windows-11-Version noch drin ist: Man kann die Position der Taskleiste nicht verändern. Und das wurde auch seit Tag 1, seit Windows 11 existiert, kritisiert. Hier hat Windows jetzt auch angekündigt, dass das besser werden soll, also dass man die Taskleiste rechts, links, oben, unten drapieren kann. Und ein anderer Klassiker, auch seit Tag 1 kritisiert, und da hat Microsoft meines Wissens noch nicht angekündigt, dass sie das verbessern werden: das komische doppelte Rechtsklick-Menü, was obendrein auch noch nervig langsam ist. Guck mal, wie lange das hier dauert. Mindestens eine halbe Sekunde. Und das ist ein gerade aufgesetztes System auf schneller Hardware. Das wird also potenziell eher schlimmer mit mehr Nutzung.

Aber halt am allernervigsten: Es gibt dieses abgespeckte Rechtsklick-Menü, und dann gibt es ein vollständiges. Und will man das vollständige, muss man hier auf Weitere Optionen anzeigen klicken, und erst dann kommt ja das vollständige. Zum Beispiel hier bei mir mit den ganzen praktischen 7-Zip-Aktionen, die ich echt häufiger benutze, die gibt es dann halt erst im zweiten Menü. Nervig.

Kapitel 3: KI-Funktionen

Und jetzt aber der dritte Bereich, nämlich KI. Da fokussiert Microsoft ja schon seit einiger Zeit drauf. Es gibt ja auch seit zwei Jahren die sogenannten Copilot+-PCs, die nicht nur eine eigene Copilot-Taste auf der Tastatur haben, sondern auch dolle neue KI-Sachen können sollen.

Ja, und für diese PCs hat Microsoft strenge Vorgaben, unter anderem eine NPU, also keine MPU, sondern eine NPU, Neural Processing Unit, also den KI-Spezialchip. Und mein Rechner, auf dem Windows 11 läuft, der hat ja so eine NPU. Da sollten die ganzen Zusatzfunktionen also freigeschaltet sein. Ja, sollten, denn bei meinem AI Max+ 395 wird die NPU zwar hier im Taskmanager angezeigt, aber ja, die wahrscheinlich zentralste Copilot+-Funktion und auch die umstrittenste, die kann ich trotzdem nicht benutzen. Die Rede ist von Windows Recall, also dieser Funktion, die permanent Screenshots macht von allem, was auf dem Bildschirm ist, und das Ganze dann im Nachhinein durch eine KI-Erkennung durchsuchbar macht. Ja, also viele Menschen wollten das nicht, weil intim, aber wenn man es wollen würde, dann geht es trotzdem nicht.

Das hier sind die Systemanforderungen für Recall: Copilot+-PC, NPU mit mindestens 40 TOPS, ich habe 50, 16 GB RAM habe ich auch locker, 256 GB Speicherkapazität habe ich auch, und dann 50 GB freien Speicherplatz habe ich auch. Benutzer müssen die Geräteverschlüsselung oder BitLocker aktivieren, habe ich auch. Jetzt kommt’s: Benutzer müssen sich bei Windows Hello erweiterten, grammatikalisch schwierig, erweiterten Anmeldesicherheit mit mindestens einer aktivierten biometrischen Anmeldeoption registrieren, um sich zu authentifizieren. Ja, und ich habe mir sogar extra eine Windows-Hello-kompatible Webcam besorgt und einen Hello-kompatiblen Fingerabdrucksensor. Aber beides ist leider nicht mit ESS, also Enhanced Sign-In Security, kompatibel, weil in Deutschland gibt es, also Stand Ende Mai, keine Geräte zu kaufen, die das beherrschen. Also ich habe auf jeden Fall doll danach gesucht, ich habe keine gefunden.

Und ja, jetzt sagt Microsoft wahrscheinlich: Ja Mensch, ihr habt doch alle immer gemeckert, ihr Journalisten, als wir die Recall-Funktion gezeigt haben, dass das alles so unsicher ist. Und jetzt meckert ihr, weil es zu sicher ist, oder was? Nein, ich meckere nicht. Ich fand es einfach nur interessant, dass man die Funktion einfach de facto auf dem stationären PC in Deutschland nicht verwenden kann. Es gibt natürlich Notebooks, die haben ESS-kompatible biometrische Sensoren drin. Alles gut, die können dann Recall, aber eben keine Desktops. Interessant. Dafür gehen ja die ganzen anderen KI-Funktionen, oder? Oder? Oder?

Ja, aber nee. Und das sind halt auch nicht so richtig viele. Also kommen wir mal zu dem bei der Installation beworbenen Aktion per Mausklick oder besser Click to Do. So heißt das auch offiziell, also Click to Do. Und das heißt auch manchmal so in der deutschen Dokumentation. Da steht dann oben Aktion per Mausklick, und im Text steht dann öfter mal Click to Do. Also das ist wirklich nicht gut übersetzt und so verwendet. Also man kann wohl davon ausgehen, dass es einfach alles mit einer KI übersetzt wurde, würde ich sagen. Und dann nur noch so halb drüber geguckt. Click to Do, und die Funktion hatte ich ja am Anfang vorgelesen, die Beschreibung davon, wo ich es nicht ganz verstanden habe, die habe ich jetzt verstanden, und die ist einfach total unspektakulär. Also man kann damit einfach einen Screenshot machen, und dann kann man Texte daraus copypasten. Also Windows lässt da eine OCR drüber laufen, lokal auf der NPU. Cool. Und dann kann man Texte copypasten. Ja, aber das ist halt eine Funktion, die zum Beispiel Handys schon lange können. Also bei iOS ist diese Texterkennung in Bildern im System integriert, bei Android geht das einfach über Google Lens. Also das ist ja wirklich absolut nichts Spektakuläres.

Eine andere Funktion, die eigentlich ziemlich praktisch sein könnte, sind die live übersetzten Untertitel. Man hat also eine beliebige Tonquelle, also einen Podcast oder ein Video, und kann sich die Sprachspur dann nicht nur transkribieren lassen, sondern auch direkt übersetzen. Habe ich ja ausprobiert. Japanischsprachiges Video wird direkt übersetzt. Okay, cool. Läuft auch lokal auf der NPU. Aber erstens geht das nur auf Englisch. Also man kann sich nur andere Sprachen ins Englische übersetzen lassen, zum Beispiel nicht ins Deutsche. Schade. Und die Textqualität ist auf jeden Fall schlechter bei meinen Tests als die automatisch übersetzten YouTube-Untertitel. Und die sind auch schon eher nicht so richtig gut.

Ja, und dann haben wir noch ganz doll die Windows Studio Effects. Da soll man so dolle Echtzeit-Videoeffekte mit dem Webcam-Bild machen können, zum Beispiel, dass die Augen immer so aussehen, als würden die in die Kamera gucken, obwohl man gerade irgendwo anders hinguckt. Aber obwohl ich hier mit so einer Dell UltraSharp so eine ziemlich Standard-Webcam habe, funktioniert das mit den Studio Effects nicht. Ja, okay. Ja, und dann gibt es noch die Copilot-Funktion in Paint. Ja, es ist mir auch unklar, was in die Cloud geschickt wird und was lokal läuft. Auf alle Fälle kann ich mit Fug und Recht behaupten, auf meinem System funktionieren viele Sachen gar nicht. Zum Beispiel Sticker-Generator. Das habe ich wirklich zehnmal neu gestartet und immer wieder neu probiert. Und da kommt einfach nichts, egal, wie lange ich warte. Und bei Cocreator, wo man sowas kritzeln kann und dann wird das besser gemacht, funktionierte es bei mir in neun von zehn Fällen auch nicht. Einmal habe ich es geschafft, dass da so ein Schwein generiert wurde. Das hatte aber rein gar nichts mit dem zu tun, was ich da vorher gekritzelt habe.

Also was soll ich sagen? Ich habe die KI-Funktion sehr intensiv gesucht in der aktuellen Windows-11-Version, und ja, ich habe sie nicht gefunden. Also klar, es gibt immer mehr Software, die vorhandene NPUs unterstützt. Ganz klar. Also unter anderem Adobe-Programme und auch sowas wie DaVinci Resolve. Aber in diesem Video geht es ja um Windows. Und Microsoft versucht ja auch, Windows als KI-Betriebssystem mit diesem Label Copilot+ zu verkaufen, seit Jahren schon. Und da kommt bislang irgendwie nicht so viel. Das kann man, glaube ich, sagen.

Vorab-Versionen ausprobiert

So, hier jetzt noch mal ein versprochener Einschub mit den aller-, allerneuesten Windows-11-Versionen, auch den Vorabversionen. Ich habe mir extra so lange Zeit gelassen, wie es ging, damit es eben nicht heißt, wenn das Video hier veröffentlicht ist, dass Microsoft das doch alles schon repariert hat. Also das offizielle, also das normale Windows 11 25H2, das habe ich noch mal mit dem Patch-Stand vom 19. Mai 2026 ausprobiert. Und tatsächlich, ich weiß nicht genau, woran es lag, ob es tatsächlich ein Patch war oder, keine Ahnung, die Mondphase. Jedenfalls hat die Bildgenerierung in Paint jetzt zuverlässig funktioniert. Also sowohl dieses Sticker als auch das Cocreator-Tool, wo man was zeichnet und dann wird das generiert. Was schön ist: Das läuft alles lokal auf der NPU. Konnte ich auf jeden Fall im Taskmanager nachvollziehen. Was nicht so schön ist: Beides halte ich für nicht wirklich brauchbar. Hier seht ihr zum Beispiel 3003-Sticker. Ja, okay. Und hier Cocreator, wo ich 3003 dahingekritzelt habe. Ja, da hat das generierte Bild jetzt wenig mit zu tun.

Alles andere, in diesem Video Kritisierte, wurde nicht repariert. So, und jetzt habe ich noch eine Vorabversion ausprobiert. Dafür muss man sich im Update-Dialog in Windows Insider anmelden. Ich habe die Experimental Preview Build 26308493 vom 15. Mai 2026 getestet, und da soll jetzt laut der Microsoft-Dokumentation endlich die Taskleisten-Position geändert werden können. Aber nein, klappt hier nicht. Offenbar hat das damit zu tun, dass die Verbesserungen graduell ausgerollt werden. Ja, schade. Was allerdings funktioniert und was ich auch ganz gut finde: Man kann die Taskleiste insgesamt jetzt kleiner machen. Aber leider ist alles andere im Video Erwähnte immer noch genauso kaputt. Was ich vor allem sehr bezeichnend fand: Nach dem Update auf diese Vorabversion hat Windows gemeldet, ich müsste hier noch was einstellen, bevor ich die neue Version verwenden kann. Und was war es Wichtiges? Werbung, unter anderem für Game Pass Premium.

Fazit

Okay, dass Microsoft sagt, sie müssen dringend Windows nachbessern, das würde ich auch durchaus für sinnvoll halten. Also wenn man bedenkt, dass Windows wirklich mal das Flaggschiff-Produkt von Microsoft gewesen ist und eigentlich auch das Produkt, dem Microsoft vieles, wenn nicht sogar alles, zu verdanken hat, dann ist das wirklich herzerbrechend, wie der Zustand dieses Produkts aktuell ist. Also Windows 11, dass sowas Grundlegendes wie Einloggen in den Account bei meiner Installation mit unterschiedlichen Versuchen und mit unterschiedlichen Problemen einfach nicht funktioniert, das ist ja fatal. Okay, dann dieser ganze Werbekram. Das ist vielleicht eine Stilfrage. Ich finde es peinlich, aber gut, dass man aber wirklich so rudimentäre Sachen, die auch schon so lange kritisiert werden, wie die sich widersprechenden Einstellmenüs und das komische doppelte Rechtsklick-Menü, dass das alles nicht repariert wird und dass man dann obendrauf noch so ein Brimborium über KI-Funktionen macht, die dann nicht nur unbrauchbar sind, sondern manchmal auch gar nicht funktionieren. Also puh.

Und all das sind ja nur die Sachen, die ich selbst hier für dieses Video beobachtet habe, also mit eigenen Augen hier dokumentiert, die ganzen anderen Bugs, von denen etliche Leute immer wieder berichten, die habe ich ja nicht mal erwähnt. Also Microsoft, ran da. Es gibt wirklich viel zu tun. Oder was meint ihr? Gerne in die Kommentare schreiben. Gerne Daumen nach oben und ja, tschüss.

c’t 3003 ist der YouTube-Channel von c’t. Die Videos auf c’t 3003 sind eigenständige Inhalte und unabhängig von den Artikeln im c’t Magazin. Die Redakteure Jan-Keno Janssen, Lukas Rumpler, Sahin Erengil und Pascal Schewe veröffentlichen jede Woche ein Video.

(jkj)

Nach dem Proof of Concept folgt das böse Erwachen: Die erste Monatsrechnung für KI ist nicht nur hoch, sondern durch fragmentierte Architekturen völlig intransparent.

Da Teams gerne in einem Best-of-Breed-Ansatz Tools verschiedener Hersteller nutzen, verteilt sich der Traffic auf isolierte Billing-Portale ohne zentrales Tracking. Vor allem KI-Agenten-Workflows treiben die Kosten in die Höhe: Ein einzelner User-Request löst im Hintergrund zehn bis fünfzig LLM-Calls aus.

Ein KI-Gateway ist die architektonische Antwort darauf. Als zentraler Proxy schafft es Sichtbarkeit, ermöglicht präzise Attribution und erlaubt es, Ausreißer zu blockieren. Bei Multiproviderstrategien ist die Frage nicht mehr, ob ein Gateway nötig ist, sondern welches.

Das war die Leseprobe unseres heise-Plus-Artikels „KI-Gateways: Tools für Kostenkontrolle im Check“.
Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.

Im klassischen Softwaretest kennen wir das Prinzip: definierter Input, erwarteter Output, eindeutiges Ergebnis. Bei LLMs hingegen ist die Bewertung komplexer. Eine Antwort kann semantisch korrekt sein, aber anders formuliert als erwartet. Sie kann formal richtig erscheinen, aber eine Halluzination enthalten.

Zusätzlich verändern sich Modelle kontinuierlich durch Updates, Prompt-Anpassungen oder Fine-Tuning. Die zentrale Challenge lautet daher: Wie können wir die Qualität eines nicht deterministischen Systems reproduzierbar und automatisiert messen?

Besonders kritisch wird das bei produktiven Anwendungen wie der automatisierten Bewertung von Kunden-Feedback. Wenn ein LLM die Daten falsch klassifiziert, kann das direkte Auswirkungen auf Support-Prozesse, Eskalationen oder Management-Reports haben.

Das war die Leseprobe unseres heise-Plus-Artikels „Large Language Models testen mit EVALs – Qualität messbar machen“.
Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.