Beim Testen eines KI-Modells ist es schwer zu sagen, ob es tatsächlich selbstständig Schlussfolgerungen ziehen kann oder nur Antworten aus seinen Trainingsdaten wiedergibt. Xbench, ein neues Benchmarksystem, das von der chinesischen Risikokapitalfirma HSG (steht für HongShan Capital Group) entwickelt wurde, könnte dabei helfen, dieses Problem zu lösen. Das liegt daran, dass die Modelle von der Software nicht nur anhand ihrer Fähigkeit bewertet werden, willkürliche Tests zu bestehen, wie dies bei den meisten anderen Benchmarks der Fall ist. Stattdessen werden auch ihre Fähigkeiten, reale Aufgaben auszuführen, überprüft – was bis dato eher ungewöhnlich ist. Xbench wird zudem regelmäßig aktualisiert, um ihn auf dem neuesten Stand zu halten, was dabei hilft, zu vermeiden, dass KI-Firmen sich einfach an ihn anpassen und somit schummeln.

Ein Teil des in dem neuen Benchmark enthaltenen Fragenkatalogs wurde jetzt quelloffen zur Verfügung gestellt, sodass jeder das vorhandene System kostenlos nutzen kann. Das Team hat außerdem eine Rangliste veröffentlicht, in der die gängigen KI-Modelle im Vergleich zueinander bewertet werden, wenn sie mit Xbench überprüft werden. ChatGPT o3 belegte in allen Kategorien den ersten Platz, aber auch Doubao von ByteDance, Gemini 2.5 Pro und Grok von X.ai schnitten recht gut ab – ebenso wie Claude Sonnet von Anthropic.

Lohnt sich die Investition? KI-Benchmark soll es klären

Die Entwicklung des Benchmarks von HSG begann bereits 2022 nach dem Durchbruch von ChatGPT. Damals war es noch als internes Werkzeug zur Bewertung neuer Modelle gedacht, um herauszufinden, ob sich Investitionen lohnen. Seitdem hat das Team unter der Leitung von Gong Yuan das System stetig erweitert und externe Forschende und Fachleute hinzugezogen, um es zu verfeinern. Als das Projekt immer komplexer wurde, beschlossen sie, es der Öffentlichkeit zugänglich zu machen.

Xbench geht das Problem, die Leistungsfähigkeit neuer Modelle zu ermitteln, mit zwei verschiedenen Ansätzen an. Der erste ähnelt dem traditionellen Benchmarking: ein akademischer Test, der die Eignung eines Modells für verschiedene Themen misst. Der zweite ähnelt eher einem Vorstellungsgespräch für eine technische Stellung. Dabei wird bewertet, welchen wirtschaftlichen Nutzen ein Modell in der Praxis liefern könnte.

Wie schlagen sich KI-Modelle in Wissenschaft und Recherche?

Die Methoden von Xbench zur Bewertung der rohen Intelligenz umfassen derzeit zwei Komponenten: Xbench-ScienceQA und Xbench-DeepResearch. ScienceQA unterscheidet sich nicht grundlegend von bestehenden Prüfungen für Postgraduierte im MINT-Bereich wie GPQA und SuperGPQA. Es umfasst Fragen aus verschiedenen wissenschaftlichen Bereichen – von Biochemie bis Orbitalmechanik –, die von Doktoranden verfasst und von Professoren doppelt überprüft wurden. Bewertet werden nicht nur die richtigen Antworten, sondern auch die Lösungswege, die zu ihnen führen.

Xbench DeepResearch hingegen konzentriert sich auf die Fähigkeit eines Modells, sich im chinesischsprachigen Internet zurechtzufinden. Zehn Fachexperten haben 100 Fragen zu den Themen Musik, Geschichte, Finanzen und Literatur erstellt – Fragen, die nicht einfach ergoogelt werden können, sondern umfangreiche Recherchen erfordern.

Bei der Bewertung werden die Breite der verwendeten Quellen, die faktische Konsistenz der Antworten und die Bereitschaft eines Modells, zuzugeben, wenn nicht genügend Daten vorhanden sind, positiv bewertet. Eine Frage aus der von HSG veröffentlichten Sammlung lautet etwa: „Wie viele chinesische Städte in den drei nordwestlichen Provinzen grenzen an ein anderes Land?“ (Die Antwort lautet 12, und nur 33 Prozent der getesteten Modelle antworteten richtig.)

Auf der Website von HSG gaben die Forschenden an, dass sie ihren Benchmark um weitere Dimensionen erweitern möchten, beispielsweise um Aspekte wie die Kreativität eines Modells bei der Problemlösung, seine Kooperationsfähigkeit bei der Zusammenarbeit mit anderen Modellen (falls das technisch inkludiert ist) und seine Zuverlässigkeit. Das Team hat sich dabei verpflichtet, die Testfragen einmal pro Quartal zu aktualisieren und einen halb öffentlichen, halb privaten Datensatz zu pflegen. Damit sollte es Modellanbietern nicht möglich sein, ihr System auf Xbench zu trainieren.

Test für Praxisabläufe: etwa Recruiting und Marketing

Um die Praxistauglichkeit und den wirtschaftlichen Wert eines Modells zu bewerten, hat das Team in Zusammenarbeit mit externen Experten weiterhin Aufgaben entwickelt, die auf tatsächlichen Arbeitsabläufen basieren. Zunächst betrifft dies die Bereiche Personalbeschaffung und Marketing, später sollen weitere hinzukommen.

Bei einer der Aufgaben soll ein Modell beispielsweise fünf qualifizierte Kandidaten für eine Stelle als Ingenieur in einem Batteriewerk finden und die Auswahl ausführlich begründen. In einer anderen Aufgabe soll es wiederum Werbekunden mit geeigneten Kurzvideo-Erstellern aus einem Pool von über 800 Influencern zusammenbringen.

HSG kündigt für Xbench auch weitere Kategorien an, darunter Finanzen, Recht, Buchhaltung und Design. Die Fragenkataloge für diese Kategorien sind noch nicht öffentlich zugänglich. Bei den bereits bekannten belegte ChatGPT o3 erneut den ersten Platz in beiden Berufskategorien. Bei der Personalbeschaffung im Bereich Batterietechnik belegen Perplexity Search und Claude 3.5 Sonnet den zweiten und dritten Platz.

Im Bereich Marketing schneiden Claude, Grok und Gemini alle gut ab. „Es ist wirklich schwierig, Dinge, die so schwer zu quantifizieren sind, in Benchmarks einzubeziehen“, kommentiert Zihan Zheng vom konkurrierenden Benchmarkprojekt LiveCodeBench Pro mit Forschungserfahrung an der New York University. „Aber Xbench ist ein vielversprechender Anfang.“

Dieser Beitrag ist zuerst bei t3n.de erschienen.

(jle)

Anspruchsvoll und komplex – vielen gilt Software-Architektur als eine besonders herausfordernde Disziplin. Doch woran liegt das eigentlich? Was ist die zentrale Herausforderung in der Software-Architektur?

Auf der Suche nach Antworten hat Eberhard Wolff in den sozialen Netzwerken Mastodon, BlueSky und LinkedIn einmal nachgefragt. In dieser Episode wirft er einen Blick auf die Antworten und diskutiert, worin die Komplexität liegt und was die Software-Architektur so herausfordernd macht.

Lisa Marie Schäfer malt dieses Mal keine Sketchnotes. Eberhard Wolff bestreitet die Folge alleine.

Livestream am 27. Juni

Die Ausstrahlung findet live am Freitag, 27. Juni 2025, zwischen 13 und 14 Uhr statt. Die Folge steht im Anschluss als Aufzeichnung bereit. Während des Livestreams können Interessierte Fragen via Twitch-Chat, YouTube-Chat, Bluesky, Mastodon, Slack-Workspace oder anonym über das Formular auf der Videocast-Seite einbringen.

software-architektur.tv ist ein Videocast von Eberhard Wolff, Blogger sowie Podcaster auf iX und bekannter Softwarearchitekt, der als Head of Architecture bei SWAGLab arbeitet. Seit Juni 2020 sind über 250 Folgen entstanden, die unterschiedliche Bereiche der Softwarearchitektur beleuchten – mal mit Gästen, mal Wolff solo. Seit mittlerweile mehr als zwei Jahren bindet iX (heise Developer) die über YouTube gestreamten Episoden im Online-Channel ein, sodass Zuschauer dem Videocast aus den Heise Medien heraus folgen können.

Weitere Informationen zur Folge finden sich auf der Videocast-Seite.

(map)

Auf der Eurobike in Frankfurt fehlen in diesem Jahr einige große Namen, trotzdem gibt es spannende Neuheiten. Yamaha zeigt mit dem PW-X4 seinen bisher stärksten Motor für elektrische Mountainbikes. Eingebettet ist er in ein neues, größeres System.

Mit den Eckdaten reiht sich der Yamaha PW-X4 in den aktuellen Trend zu immer mehr Power ein. Maximales Drehmoment von 100 Nm und bis zu 800 Watt Spitzenleistung muss man als Systemanbieter im Jahr 2025 bieten können. Yamaha liegt damit auf einer Höhe mit dem aktuellen Antrieb von Bosch sowie dem Qore-System des kürzlich von Yamaha übernommenen Herstellers Brose. Der Yamaha-Motor bleibt dabei mit 2,6 Kilo recht leicht, die Zero-Cadence-Funktion verspricht direktes Ansprechverhalten.

Auf dem Messegelände in Frankfurt konnten wir den neuen Antrieb in einem E-MTB der Firma Raymon aus Schweinfurt kurz probefahren. Der PW-X4 schiebt vor allem in der vierten und fünften Unterstützungsstufe mächtig an, bleibt dabei aber angenehm leise. Die erste, stromsparende Antriebsstufe ist in der Standardeinstellung wiederum sehr dezent, wenn es bergauf geht, werden die meisten Radler mindestens in die dritte von fünf Stufen schalten. Bis hinauf in den fünften Stock eines Parkhauses brachte uns das Rad mühelos, den zehnsekündigen Boost hat es dafür nicht gebraucht.

Vernetzung mit Partner

Der neue Motor ist Teil des ebenfalls zur Eurobike präsentierten Gesamtsystems PW-Link. Dazu gehören mit dem 2 Kilo leichten und 60 Nm starken PW-L1 und dem Allrounder PW-S3 (2,8 Kilo, bis zu 85 Nm) zwei weitere Antriebe sowie Akkus, Displays und Bedieneinheiten, die miteinander frei kombinierbar sind. Zum Marktstart, den Yamaha für das Frühjahr 2026 anpeilt, soll auch die neue PW-Link-App bereitstehen, die die einzelnen Komponenten verzahnt.

Für die Konnektivität und den Diebstahlschutz hat sich Yamaha das estnische Unternehmen Comodule als Partner an die Seite geholt. Dessen Companion-App wird in PW-Link integriert und erweitert das System um Live-Ortung, digitales Schloss, Wegfahrsperre und weitere IoT-Funktionen.

(sht)