Madita und die anderen Kinder der 6D haben einen besonders klugen Helfer. Er heißt Telli und ist ein KI-Chatbot. „Man kann alles fragen“, sagt die Elfjährige. Man kann sich Geschichten erzählen lassen. Das finde ich cool.“ Beim heutigen Thema Urlaubsorte sollen die Schülerinnen und Schüler im Chat mit Telli möglichst viel über einen Ort ihrer Wahl herausfinden. „Macht euch Notizen!“, sagt Klassenlehrer Mario Varvarikés von der Oberschule Habenhausen in Bremen. Manche nutzen dafür Block und Stift, andere schreiben direkt in ihr Tablet.

Telli antwortet flott und ausführlich

Da Madita im Sommer nach Schweden fährt, will sie mehr darüber erfahren. „Was kann ich dort essen?“, tippt sie auf ihrem iPad in den Chat und Telli antwortet rasend schnell. In gut verständlichen Worten erklärt das Programm, welche Speisen typisch für Schweden sind und woraus sie bestehen. Beruhigend findet das Mädchen auch, dass Telli auf Nachfrage berichtet, dass die Menschen in Schweden sehr nett sind.

Künstliche Intelligenz soll an Bremer Schulen künftig eine wichtige Rolle spielen. Nach Angaben des Bildungsressorts ist der Zweistädtestaat das erste Bundesland, das den KI-Chatbot Telli flächendeckend eingeführt hat. Telli steht demnach allen öffentlichen Schulen zur Verfügung. Das Computerprogramm, das in natürlicher Sprache auf Fragen antwortet, wurde speziell für den Einsatz im Unterricht entwickelt. Telli ist Teil eines Projekts, an dem alle Bundesländer beteiligt sind.

Chatbot hilft bei der Unterrichtsvorbereitung

Die Oberschule Habenhausen nutzt Telli seit Anfang des Jahres, die 6D arbeitet an diesem Tag zum ersten Mal im Unterricht damit. Schulleiter André Sonnenburg ist froh, dass es mit Telli eine datenschutzkonforme Möglichkeit gibt, Künstliche Intelligenz einzusetzen. Der Chatbot arbeitet dem Bildungsressort zufolge ausschließlich mit pseudonymisierten Nutzerdaten. Das System ermöglicht demnach den Zugriff auf aktuelle KI-Modelle führender Anbieter wie OpenAI und Meta – ohne dass personenbezogene Daten an diese Unternehmen übermittelt werden.

Nach den Erfahrungen des Schulleiters kann Telli bei der Unterrichtsvorbereitung enorm helfen. „Man braucht natürlich immer noch einen kritischen Blick: Ist das, was die KI ausspuckt, auch wirklich für meine Lerngruppe richtig?“, sagt Sonnenburg. „Aber der Aufschlag ist da und das erleichtert ungemein.“ Klassenlehrer Varvarikés bestätigt das. „Ich sehe ganz viel Potenzial, es gibt auch ganz viele Möglichkeiten für neue Inhalte“, berichtet er. Für Schülerinnen und Schüler sieht Varvarikés die Chance, individueller zu arbeiten und zu lernen – weil jedes Kind im Chat seine eigenen Fragen stellen kann.

Kinder sehen Vorteile

Der zwölfjährige Siyar hat wie viele seiner Mitschüler schon Erfahrung mit Künstlicher Intelligenz. Er habe den Chatbot ChatGPT Beispiel schon mal bei Mathe-Hausaufgaben gefragt, um sein Ergebnis zu kontrollieren, erzählt der Junge. Einen Unterschied zu ChatGPT hat er beim ersten Testen von Telli nicht festgestellt. „Es kommt mir irgendwie genau gleich vor“, sagt er. Dass es nun eine KI für den Unterricht gibt, hat ihm zufolge einen großen Vorteil. „Wenn ich etwas nicht verstehen würde, würde ich Telli fragen, weil Telli ist ja eine KI und hat keine Emotionen.“ Da könne er dann auch mehrfach nachfragen – so lange, bis er alles verstanden habe.

Mitschülerin Ecrin sieht das ähnlich und freut sich über den neuen Helfer auf dem schulischen iPad. Damit könnte der Unterricht interessanter werden, sagt die Zwölfjährige, die zum Lernen gerne ChatGPT nutzt.

Bremens Bildungssenatorin Sascha Aulepp findet Telli auch mit Blick auf die Chancengleichheit wichtig. „Wir wollen Schülerinnen und Schüler auf eine Zukunft vorbereiten, in der der Umgang mit Künstlicher Intelligenz selbstverständlich sein wird“, sagt die SPD-Politikerin. Mit Telli könnten alle Kinder in einem geschützten Rahmen lernen, wie der sichere Umgang mit einem KI-Chatbot funktioniere.

(afl)

Gesundheitsdaten gelten als sehr wertvoll. Zunehmend werden Ärzten unter anderem Geld oder andere Vorteile im Tausch gegen Gesundheitsdaten angeboten. Erneut übt das Netzwerk Datenschutzexpertise in einem Gutachten scharfe Kritik an dieser Praxis – dieses Mal am Praxisregister Schmerz. Das Register wird von der Deutschen Gesellschaft für Schmerzmedizin (DGS) und der Firma O.Meany betrieben. Es sammelt seit 2014 mithilfe von Fragebögen und Arztinformationen umfangreiche Gesundheitsdaten von Schmerzpatientinnen und -patienten. Nach Einschätzung des Netzwerks werden dabei Datenschutzrechte missachtet und mit sensiblen Patientendaten erhebliche Gewinne erzielt.

„Rechtlich unwirksame Einwilligungserklärungen“

Die Daten würden unter dem Vorwand der Gemeinnützigkeit und mit wissenschaftlich fragwürdigen Auswertungen vor allem für die Pharmaindustrie vermarktet. „Mit intransparenten Informationen und rechtlich unwirksamen Einwilligungserklärungen beschaffen sich die Betreiber bei Patienten und Heilberufen mit dem Ziel einer guten Behandlung von den Patienten sensitive Gesundheitsdaten, die dann unter dem Deckmantel der Gemeinnützigkeit mit aus wissenschaftlicher Sicht fragwürdigen Auswertungen für die Pharmaindustrie zu Geld gemacht werden. Eine Offenlegung der Praktiken wird verweigert“, heißt es in dem Gutachten (PDF).

Die Information an die Patienten und Ärzte über die tatsächliche Verwendung der Daten sei intransparent. Eine Offenlegung der genauen Praktiken wird von den Verantwortlichen verweigert. Auf Fragen von heise online, etwa, an wen und unter welchen Umständen die Daten verkauft werden, hat die Deutsche Gesellschaft für Schmerzmedizin bisher nicht reagiert.

Die Dokumentation erfolge über die Online-Plattform iDocLive, die als Ergänzung zum Praxisverwaltungssystemen eingesetzt werde. Die im Register gespeicherten Daten dienen nicht nur der Behandlung und Abrechnung, sondern würden auch für Forschungszwecke genutzt. Hinter dem Handel mit den Daten steht Privatdozent Michael A. Überall, der in mehreren Funktionen an zentraler Stelle eingebunden ist. Das hatte der Spiegel im März offengelegt.

„Fragwürdiger Interessenkonflikt“

Aus den Recherchen ging hervor, dass Überall mit seiner Firma O.Meany eine Software namens iDocLive betreibt, die für die Verwaltung der Patientendaten dient. Die Patienten müssen für das Praxisregister Schmerz die Schmerz-Fragebögen und das Schmerz-Tagebuch ausfüllen. Den Interessenkonflikt fand die ehemalige DSG-Vorständin Astrid Gendolla fragwürdig. Kritische Nachfragen wurden abgetan. „Das ganze System dient vor allem dem Wohle desjenigen, der die Daten besitzt und damit Geld verdient. Das sind weder die Patienten noch die Ärzte“, sagte Gendolla gegenüber dem Spiegel.

„Gemäß der Darstellung des Spiegelberichts besteht eine zentrale Funktion des Praxisregisters darin, durch die Auswertung der gesammelten Daten der DGS mbH (20 Prozent) und der O.Meany (80 Prozent) lukrative Einnahmen zu generieren, ohne dass dies den die Daten liefernden Patienten und Ärzten bewusst ist“, steht dazu im Gutachten. Laut Spiegel werden die Daten unter anderem von Pharmaunternehmen genutzt, um die Wirksamkeit bestimmter Arzneimittel gegen Schmerzen zu belegen. Die Ergebnisse fielen im Beispiel des Schmerzmittels Tapentadol von der Pharmafirma Grünenthal positiv aus. Überall habe zudem zahlreiche Zuwendungen und Aufträge von Grünenthal und ähnlichen Unternehmen erhalten. Die Wissenschaftlichkeit der Ergebnisse wird infrage gestellt.

(mack)

Beim Testen eines KI-Modells ist es schwer zu sagen, ob es tatsächlich selbstständig Schlussfolgerungen ziehen kann oder nur Antworten aus seinen Trainingsdaten wiedergibt. Xbench, ein neues Benchmarksystem, das von der chinesischen Risikokapitalfirma HSG (steht für HongShan Capital Group) entwickelt wurde, könnte dabei helfen, dieses Problem zu lösen. Das liegt daran, dass die Modelle von der Software nicht nur anhand ihrer Fähigkeit bewertet werden, willkürliche Tests zu bestehen, wie dies bei den meisten anderen Benchmarks der Fall ist. Stattdessen werden auch ihre Fähigkeiten, reale Aufgaben auszuführen, überprüft – was bis dato eher ungewöhnlich ist. Xbench wird zudem regelmäßig aktualisiert, um ihn auf dem neuesten Stand zu halten, was dabei hilft, zu vermeiden, dass KI-Firmen sich einfach an ihn anpassen und somit schummeln.

Ein Teil des in dem neuen Benchmark enthaltenen Fragenkatalogs wurde jetzt quelloffen zur Verfügung gestellt, sodass jeder das vorhandene System kostenlos nutzen kann. Das Team hat außerdem eine Rangliste veröffentlicht, in der die gängigen KI-Modelle im Vergleich zueinander bewertet werden, wenn sie mit Xbench überprüft werden. ChatGPT o3 belegte in allen Kategorien den ersten Platz, aber auch Doubao von ByteDance, Gemini 2.5 Pro und Grok von X.ai schnitten recht gut ab – ebenso wie Claude Sonnet von Anthropic.

Lohnt sich die Investition? KI-Benchmark soll es klären

Die Entwicklung des Benchmarks von HSG begann bereits 2022 nach dem Durchbruch von ChatGPT. Damals war es noch als internes Werkzeug zur Bewertung neuer Modelle gedacht, um herauszufinden, ob sich Investitionen lohnen. Seitdem hat das Team unter der Leitung von Gong Yuan das System stetig erweitert und externe Forschende und Fachleute hinzugezogen, um es zu verfeinern. Als das Projekt immer komplexer wurde, beschlossen sie, es der Öffentlichkeit zugänglich zu machen.

Xbench geht das Problem, die Leistungsfähigkeit neuer Modelle zu ermitteln, mit zwei verschiedenen Ansätzen an. Der erste ähnelt dem traditionellen Benchmarking: ein akademischer Test, der die Eignung eines Modells für verschiedene Themen misst. Der zweite ähnelt eher einem Vorstellungsgespräch für eine technische Stellung. Dabei wird bewertet, welchen wirtschaftlichen Nutzen ein Modell in der Praxis liefern könnte.

Wie schlagen sich KI-Modelle in Wissenschaft und Recherche?

Die Methoden von Xbench zur Bewertung der rohen Intelligenz umfassen derzeit zwei Komponenten: Xbench-ScienceQA und Xbench-DeepResearch. ScienceQA unterscheidet sich nicht grundlegend von bestehenden Prüfungen für Postgraduierte im MINT-Bereich wie GPQA und SuperGPQA. Es umfasst Fragen aus verschiedenen wissenschaftlichen Bereichen – von Biochemie bis Orbitalmechanik –, die von Doktoranden verfasst und von Professoren doppelt überprüft wurden. Bewertet werden nicht nur die richtigen Antworten, sondern auch die Lösungswege, die zu ihnen führen.

Xbench DeepResearch hingegen konzentriert sich auf die Fähigkeit eines Modells, sich im chinesischsprachigen Internet zurechtzufinden. Zehn Fachexperten haben 100 Fragen zu den Themen Musik, Geschichte, Finanzen und Literatur erstellt – Fragen, die nicht einfach ergoogelt werden können, sondern umfangreiche Recherchen erfordern.

Bei der Bewertung werden die Breite der verwendeten Quellen, die faktische Konsistenz der Antworten und die Bereitschaft eines Modells, zuzugeben, wenn nicht genügend Daten vorhanden sind, positiv bewertet. Eine Frage aus der von HSG veröffentlichten Sammlung lautet etwa: „Wie viele chinesische Städte in den drei nordwestlichen Provinzen grenzen an ein anderes Land?“ (Die Antwort lautet 12, und nur 33 Prozent der getesteten Modelle antworteten richtig.)

Auf der Website von HSG gaben die Forschenden an, dass sie ihren Benchmark um weitere Dimensionen erweitern möchten, beispielsweise um Aspekte wie die Kreativität eines Modells bei der Problemlösung, seine Kooperationsfähigkeit bei der Zusammenarbeit mit anderen Modellen (falls das technisch inkludiert ist) und seine Zuverlässigkeit. Das Team hat sich dabei verpflichtet, die Testfragen einmal pro Quartal zu aktualisieren und einen halb öffentlichen, halb privaten Datensatz zu pflegen. Damit sollte es Modellanbietern nicht möglich sein, ihr System auf Xbench zu trainieren.

Test für Praxisabläufe: etwa Recruiting und Marketing

Um die Praxistauglichkeit und den wirtschaftlichen Wert eines Modells zu bewerten, hat das Team in Zusammenarbeit mit externen Experten weiterhin Aufgaben entwickelt, die auf tatsächlichen Arbeitsabläufen basieren. Zunächst betrifft dies die Bereiche Personalbeschaffung und Marketing, später sollen weitere hinzukommen.

Bei einer der Aufgaben soll ein Modell beispielsweise fünf qualifizierte Kandidaten für eine Stelle als Ingenieur in einem Batteriewerk finden und die Auswahl ausführlich begründen. In einer anderen Aufgabe soll es wiederum Werbekunden mit geeigneten Kurzvideo-Erstellern aus einem Pool von über 800 Influencern zusammenbringen.

HSG kündigt für Xbench auch weitere Kategorien an, darunter Finanzen, Recht, Buchhaltung und Design. Die Fragenkataloge für diese Kategorien sind noch nicht öffentlich zugänglich. Bei den bereits bekannten belegte ChatGPT o3 erneut den ersten Platz in beiden Berufskategorien. Bei der Personalbeschaffung im Bereich Batterietechnik belegen Perplexity Search und Claude 3.5 Sonnet den zweiten und dritten Platz.

Im Bereich Marketing schneiden Claude, Grok und Gemini alle gut ab. „Es ist wirklich schwierig, Dinge, die so schwer zu quantifizieren sind, in Benchmarks einzubeziehen“, kommentiert Zihan Zheng vom konkurrierenden Benchmarkprojekt LiveCodeBench Pro mit Forschungserfahrung an der New York University. „Aber Xbench ist ein vielversprechender Anfang.“

Dieser Beitrag ist zuerst bei t3n.de erschienen.

(jle)