Im klassischen Softwaretest kennen wir das Prinzip: definierter Input, erwarteter Output, eindeutiges Ergebnis. Bei LLMs hingegen ist die Bewertung komplexer. Eine Antwort kann semantisch korrekt sein, aber anders formuliert als erwartet. Sie kann formal richtig erscheinen, aber eine Halluzination enthalten.

Zusätzlich verändern sich Modelle kontinuierlich durch Updates, Prompt-Anpassungen oder Fine-Tuning. Die zentrale Challenge lautet daher: Wie können wir die Qualität eines nicht deterministischen Systems reproduzierbar und automatisiert messen?

Besonders kritisch wird das bei produktiven Anwendungen wie der automatisierten Bewertung von Kunden-Feedback. Wenn ein LLM die Daten falsch klassifiziert, kann das direkte Auswirkungen auf Support-Prozesse, Eskalationen oder Management-Reports haben.

Das war die Leseprobe unseres heise-Plus-Artikels „Large Language Models testen mit EVALs – Qualität messbar machen“.
Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.

Fazit von der Google I/O

Auf der Entwicklerkonferenz Google I/O drehte sich in diesem Jahr alles um künstliche Intelligenz. Andere Themen wie Hardware oder Android traten in den Hintergrund. Zehn Jahre nach seiner „AI first“-Strategie will Google nun Geld mit KI verdienen und trennt dabei zwischen alltäglichen Funktionen für Privatnutzer und teurer agentischer KI.

Für letztere führte Google einen neuen Tarif für 100 US-Dollar im Monat ein, zwischen dem bekannten 20-Dollar-Tarif und dem Ultratarif für 250 Dollar. Für Dienste wie Google Spark, einen rund um die Uhr verfügbaren KI-Agenten, wird der Ultratarif faktisch nötig. Mit der vorgestellten Universal Cart, einem händlerübergreifenden Einkaufswagen, will Google zudem an jedem Online-Einkauf mitverdienen. Suche, YouTube und Gmail fließen darin zusammen. Für Händler droht damit eine ähnliche Abhängigkeit wie bei Amazons Marketplace. Google reagiert damit auch auf das absehbare Schrumpfen seines Werbegeschäfts, da KI-Zusammenfassungen in der Suche Nutzer von Websites fernhalten.

Anthropic schreibt als erstes KI-Labor schwarze Zahlen

Anthropic steht vor seinem ersten profitablen Quartal. Laut dem Wall Street Journal erwartet das Unternehmen im zweiten Quartal einen operativen Gewinn von 559 Millionen Dollar bei einem Umsatz von 10,9 Milliarden Dollar, ein Sprung von 130 Prozent gegenüber dem Vorquartal. Noch im vergangenen Sommer hatte Anthropic Investoren gesagt, vor 2028 keinen Jahresgewinn zu erwarten. Haupttreiber ist das Programmierwerkzeug Claude Code.

Auch die Preise steigen. Anthropics Spitzenmodell Opus 4.7 kostet pro Token gleich viel wie der Vorgänger, nutzt aber einen neuen Tokenizer, der für denselben Text bis zu 47 Prozent mehr Einheiten erzeugt. Bei OpenAIs neuem GPT-5.5 haben sich die Listenpreise gegenüber dem Vorgänger verdoppelt. Anders als OpenAI nutzt Anthropic vorwiegend günstigere Chips von Google und Amazon und finanziert kein großes Gratisnutzergeschäft. Direkte Vergleiche bleiben schwierig, da Anthropic Verkäufe über Cloud-Partner als eigenen Umsatz zählt, OpenAI nicht.

Endlich einheitliche KI-Kennzeichnung? Gemeinsame Sache bei OpenAI und Google

Google und OpenAI wollen ihre KI-Inhalte künftig mit dem Wasserzeichen SynthID und dem Metadaten-Standard Content Credentials kennzeichnen. Erstmals setzen damit zwei große Anbieter auf dasselbe System, möglicherweise ein Schritt zu einem branchenweiten Standard. Metadaten allein reichen nicht aus, da sie sich leicht entfernen lassen. Wasserzeichen dagegen sind direkt im Medium eingebettet und für das menschliche Auge unsichtbar.

Ab August 2026 verlangt der EU AI Act eine klare Kennzeichnung von KI-Inhalten in Europa, bei Verstößen drohen hohe Strafen. Für Nutzer gibt es allerdings noch keine einheitliche Prüfmethode, da viele Anbieter nur die Markierungen ihrer eigenen Produkte auslesen können.

Nvidia im KI-Rausch: GeForce verschwindet

Nvidia hat im vergangenen Quartal fast 82 Milliarden US-Dollar umgesetzt und gut 58 Milliarden als Nettogewinn verbucht. Bemerkenswert ist die neue Umsatzaufschlüsselung: Die Segmente Gaming und professionelle Visualisierung tauchen nicht mehr eigenständig auf, sondern stecken im Sammelposten Edge Computing. Wie viel GeForce-Grafikkarten einbringen, lässt sich kaum noch ablesen. Für Nvidia sind sie bedeutungslos geworden.

Das Datacenter-Geschäft teilt Nvidia jetzt in zwei Gruppen. Hyperscale umfasst Verkäufe an AWS, Google, Meta, Microsoft und andere Hyperscaler. Die zweite Gruppe AI Clouds, Industrial und Enterprise deckt den restlichen Serverumsatz ab. Beide Gruppen sind mit je gut 37 Milliarden US-Dollar derzeit gleich groß.

Mathematiker lagen bei Erdős-Problem falsch

Seit 1946 versuchen Mathematiker, das „planar unit distance“-Problem von Paul Erdős zu lösen. Es geht um die Frage, wie viele Punktpaare auf einer Fläche genau den gleichen Abstand zueinander haben können. Lange galt ein Quadratgitter als beste Anordnung. Eine interne KI von OpenAI hat diese Annahme nun laut dem Unternehmen widerlegt.

Bemerkenswert ist der Lösungsweg. Das Reasoning-Modell griff auf die algebraische Zahlentheorie zurück, die mit deutlich exotischeren Zahlenbereichen arbeitet als die Geometrie. Mehrere Fachleute haben die Lösung geprüft und für korrekt befunden, weisen aber darauf hin, dass die KI auf bekannten Ideen anderer Mathematiker aufbaute. Praktischen Nutzen könnte das Ergebnis bei der Anordnung von Satelliten, Mobilfunkmasten oder WLAN-Routern haben.

Commonwealth-Literaturpreis: Unsicherheit nach KI-Zweifeln bei Gewinnertext

Nach der Bekanntgabe der regionalen Sieger des Commonwealth-Kurzgeschichtenpreises gibt es Zweifel an einer der Geschichten. Leser vermuten, dass der Text „The Serpent in the Grove“ des trinidadischen Autors Jamir Nazir zumindest teilweise von einer KI stammt. Aufgefallen sind übermäßige Vergleiche, ungewöhnliche Redewendungen und Kontrastformulierungen nach dem Muster „nicht X, sondern Y“.

Herausgeberin Sigrid Rausing legte den Text dem Sprachmodell Claude vor, das KI-Unterstützung für wahrscheinlich hielt, aber auch von Menschen geschriebene Passagen erkannte. Erkennungssoftware wie Pangram stufte den Text als komplett maschinell ein. Fachleute weisen jedoch auf die Schwächen solcher Detektoren bei kreativen Texten hin. Der britische Verlag Granta belässt die Geschichte vorerst online, versehen mit einem redaktionellen Hinweis.

Figma erweitert Screendesign-App um KI-Agenten

Figma, ein US-Anbieter für App- und Web-Design, hat seine Plattform um einen KI-Agenten erweitert. Statt in einem separaten Chatfenster arbeitet der Agent direkt auf der Design-Oberfläche mit, ähnlich wie ein weiteres Teammitglied. Nutzer können per natürlicher Sprache Design-Elemente erstellen, Layouts anpassen und Entwurfsvarianten erzeugen.

Die KI greift dabei auf den Projektkontext zu, also auf Komponenten, Designsysteme und laufende Diskussionen. Sie soll dadurch nicht nur allgemeine Vorschläge machen, sondern den Aufbau und die Regeln bestehender Projekte verstehen.

US Cyber Command will KI auf Geheimdienst-Netzwerken einsetzen

Das US-Militäreinsatzkommando US Cyber Command hat eine Taskforce gegründet, um KI-Modelle von OpenAI und Google in den streng geheimen Netzwerken des Pentagons und der NSA einzusetzen. Auslöser sind Modelle wie Anthropics Claude Mythos, die Sicherheitslücken angeblich schneller finden als menschliche Hacker. Anthropic hatte das Modell im April vorgestellt und den Zugang eingeschränkt, weil ein Missbrauch laut eigenen Angaben schwerwiegende Folgen für die nationale Sicherheit haben könnte.

Google prüft, ob Websites bereit für KI-Agenten sind

Google testet in seinem Analyse-Werkzeug Lighthouse eine neue Kategorie namens „Agentic Browsing“. Sie prüft, wie gut Websites auf KI-Agenten vorbereitet sind, die eigenständig Formulare ausfüllen, Buchungen vornehmen oder Produkte vergleichen.

Geprüft werden auch die visuelle Stabilität einer Seite sowie eine bestimmte Datei, die Inhalte für KI-Systeme maschinenlesbar aufbereiten soll. Letztere hält Google für die KI-Suche eigentlich selbst für überflüssig und empfiehlt Entwicklern stattdessen sauberes HTML und korrekte Barrierefreiheits-Kennzeichnungen.

Gehirn wie KI-Modell?

Ein US-Forscherteam hat die Aktivität von Neuronen bei Epilepsie-Patienten unter Narkose gemessen. Beim Abspielen von Tönen und Podcasts beobachtete das Team Gehirnaktivitäten, von denen man bislang annahm, sie setzten waches Bewusstsein voraus. In einem Oddball-Test mit Tonfolgen reagierte der Hippocampus auf falsche Töne, lernte also die normale Abfolge.

Kategorien von Wörtern lösten zudem Aktivität in ähnlichen Hirnbereichen aus, ähnlich wie Embeddings in Sprachmodellen Begriffe wie Paris, London und New York räumlich nahe ablegen. Der Hippocampus reagierte auch vorausschauend in Erwartung des nächsten Wortes, vergleichbar mit der Wahrscheinlichkeitsvorhersage eines Sprachmodells.

(mali)

Wenn Smart Meter nicht funktionieren wie vorgesehen, sollen Nutzer künftig Anspruch auf Schadensersatz haben, fordert der Verbraucherzentrale Bundesverband (VZBV). Denn es komme immer wieder vor, dass die vernetzten Stromzähler zwar eingebaut werden, dann aber über Monate oder gar Jahre ohne Funktion bleiben. Und dies könne für die Nutzer finanzielle Nachteile haben, argumentiert der VZBV in einem aktuellen „Kurzpapier“, das c’t vorliegt.

„Für Verbraucherinnen und Verbraucher ist entscheidend, dass ein Smart-Meter nicht nur installiert wird, sondern auch zuverlässig funktioniert“, sagte Marie Barz, Referentin Marktbeobachtung Energie beim VZBV. „Genau daran hapert es derzeit immer wieder.“ Auch c’t hatte vor Kurzem ausführlich über die Probleme berichtet, die nach der Installation von Smart Metern auftreten können. In Extremfällen werden Zählernummern vertauscht, sodass die Smart-Meter-Daten an der falschen Stelle ankommen.

Voraussetzung für dynamische Tarife

Finanzielle Nachteile entstehen Verbrauchern vor allem dann, wenn sie einen dynamischen Stromtarif nutzen wollen, der Tarifwechsel aber an Problemen mit dem Smart Meter scheitert. Damit der Wechsel klappt, muss das „intelligente Messsystem“ beim Messstellenbetreiber und Netzbetreiber registriert sein und im Viertelstundentakt gemessene Verbrauchsdaten übermitteln. Mit einem dynamischen Tarif können Nutzer dann ihren Verbrauch an die schwankenden Börsenpreise anpassen.

Scheitert der Tarifwechsel, entgeht Nutzern unter Umständen nicht nur der dynamische Tarif, sie können auch in einem teureren Tarif landen als vorher. Der finanzielle Nachteil sei aber schwer zu beziffern, schreibt der VZBV. Sinnvoll sei daher eine „pauschale Entschädigung ohne aufwendige Schadensnachweise“. Diese Pauschale soll der Messstellenbetreiber zahlen. Sei der Netzbetreiber oder der Stromlieferant verantwortlich, müsse dieser die Pauschale erstatten. Die Kosten dürften nicht auf die Netzentgelte umgelegt werden, „so dass die angestrebte Steuerungsfunktion untergraben wird“, mahnen die Verbraucherschützer.

Vorbild Telekommunikationsrecht

Eine Regelung im Messstellenbetriebsgesetz (MsbG) könne sich an § 58 des Telekommunikationsgesetzes orientieren, schlägt der VZBV außerdem vor. Diesem zufolge erhalten Nutzer von Telekommunikationsdiensten eine Entschädigung, wenn Störungen nicht unverzüglich beseitigt werden.

Als Ursachen für Smart-Meter-Probleme nennt der VZBV drei zentrale Probleme: fehlende oder stark verspätete Rückmeldungen von Verteilnetzbetreibern, die hohe Zahl von 850 Netzbetreibern mit unterschiedlichem Umsetzungsfortschritt sowie hochkomplexe und fehleranfällige Marktkommunikationsprozesse bei allen beteiligten Akteuren. Die Verbraucherschützer stützen sich dabei auf Einzelfallschilderungen von Verbrauchern, Experteninterviews mit wettbewerblichen Messstellenbetreibern sowie Stellungnahmen der Bundesnetzagentur und des Bundesverbands der Energie- und Wasserwirtschaft (BDEV).

(cwo)