Die meisten großen Sprachmodelle fokussieren sich auf Englisch als Hauptsprache, verstehen und generieren aber auch Texte in anderen verbreiteten Sprachen. Wenig gesprochene Sprachen kommen dabei allerdings häufig zu kurz. Auch bei sogenannten offenen Modellen, die ihre Gewichte öffentlich zur Verfügung stellen, kennt man die zugrundeliegenden Trainingsdaten nicht. All das soll das in der Schweiz entwickelte große Sprachmodell Apertus anders machen. Die Entwickler sind die ETH Zürich, die EPF Lausanne und das Swiss National Supercomputing Centre (CSCS).

Angekündigt war Apertus schon länger, Anfang September veröffentlichten die Einrichtungen das Modell dann in Varianten mit acht Milliarden und 70 Milliarden Parametern. Apertus steht auf Hugging Face unter der Apache-2.0-Lizenz zur Verfügung, aber vor dem Download muss man dennoch zustimmen, dass man die Institutionen nicht für eventuelle Schäden haftbar macht. Apertus soll auch weniger gebräuchliche Sprachen wie Schweizerdeutsch oder Rätoromanisch verarbeiten. Das gab es bisher noch nicht.

Modellarchitektur

Beide Modelle unterstützen eine Kontextgröße von 64.000 Token, wobei das kleinere 32 Attention Heads und ebenso viele Layer hat, das größere dagegen 64 Attention Heads und 80 Layer. Beide Modelle haben eine eigene Architektur und benötigen zur richtigen Funktion die aktuelle Version der transformers-Bibliothek oder den Einsatz der Frameworks vLLM oder SGLang. llama.cpp unterstützt die Modelle bisher nicht, wohl aber das MLX-Framework von Apple. So kann man die Modelle auch quantisiert ausführen, wenn die GPU nicht über den notwendigen Arbeitsspeicher verfügt.

Das Modell ist ausführlich dokumentiert. Spezialitäten in der Architektur sind die xIELU-Aktivierungsfunktion und die QK-Norm für die Attention Layer, was aktuell auch der Grund für die fehlende Unterstützung durch llama.cpp ist. Ansonsten benutzt das Modell wie viele andere Multi-Head-Query-Attention und RoPE-Scaling. Gewöhnungsbedürftig und viel diskutiert ist das Chat-Template.

Modelltraining

Im Training hat sich die Gruppe große Mühe gegeben und einiges Neues ausprobiert. Dazu gehört der AdEMAMix-Optimizer, der statt dem häufig verwendeten AdamW-Optimizer zum Einsatz kommt. In diesem Umfeld haben sich zuletzt einige neue Ideen ergeben, so hat etwa Moonshot sein Kimi-K2-Modell mit den Muon-Optimizer trainiert. Bei der Optimierung nutzt Apertus die Technik Goldfish Loss statt des üblichen Cross-Entropy-Loss. Goldfish Loss soll verhindern, dass Modelle Tokenfolgen auswendig lernen und dadurch zu wörtlichen Wiederholungen des Trainingsmaterials neigen. Außerdem nutzte die Gruppe mit Warmup-Stable-Decay einen neuen Scheduler, der ein kontinuierliches Training ermöglicht – die Gesamtlänge des Trainings muss so nicht schon vorher feststehen.

Die unterschiedlichen Design-Entscheidungen erklären die Forscher in ihrem Beitrag ausführlich und zeigen, dass die gewählten Alternativen in einem kleinen Modell zu einer schnelleren Konvergenz führen, also mit weniger Trainingsschritten (Epochen genannt) auskommen. Ein weiteres Experiment, in dem die Forscher das Modell mit FP8-Gewichten trainierten, scheiterte jedoch.

Doch nicht nur die Trainingsprozedur ist gut dokumentiert, auch die gewählten Trainingsdaten sind offengelegt. Sie bestehen hauptsächlich aus FineWeb in verschiedenen Varianten, StarCoder und FineMath sowie dem freien Teil von CommonPile. Die Entwickler wollen dabei sogar nachträglich noch die aktuelle Variante von robots.txt der Quellwebseiten berücksichtigen und die Daten noch einmal entsprechend bereinigt haben. Hier reiht sich Apertus in die kleine Gruppe von Modellen wie Olmo oder SmoLM ein, die wirklich alles veröffentlichen und damit maximal transparent sind.

Apertus ausprobiert

Im Tech-Report findet man bereits Hinweise, dass Apertus nicht mit den aktuellen State-of-the-Art-Modellen konkurrieren kann. Um die Fähigkeiten selbst einzuschätzen, hilft nur das Ausprobieren. Diese Tests betrachten nur das 70B-Modell, das kleinere mit acht Milliarden Parametern war immer sehr kurz angebunden. Im ersten Versuch geht es um das Allgemeinwissen des Modells zum heise-Verlag:

Neben dem falschen Gründungsdatum, das bei vielen Modellen nicht stimmt, sind die Informationen eine bunte Mischung aus korrekt und falsch. Bei der Frage nach der Anzahl der „e“ in Erdbeere patzt das Modell eindeutig:

Eine französische Frage nimmt Apertus sofort an und antwortet auch entsprechend darauf:

def chercher_element(liste, element):
# Initialiser l'index à 0
index = 0
# Parcourir la liste
while index < len(liste):
# Vérifier si l'élément courant est égal à l'élément recherché
if liste[index] == element:
# L'élément a été trouvé, retourner l'index
return index
# Si l'élément n'est pas trouvé, incrémenter l'index
index += 1
# Si l'élément n'a pas été trouvé après avoir parcouru toute la liste
return None # Ou lever une exception, selon la convention
# Exemple d'utilisation
liste = [3, 1, 4, 1, 5, 9, 2, 6, 5, 3, 7]
element = 5
resultat = chercher_element(liste, element)
print(resultat) # Devrait afficher 3, car 5 est à la position 3

Die Antwort ist vollständig, das erzeugte Python-Programm funktioniert gut. Auch die französische Erklärung ist prima. Auffallend sind allerdings die Satzzeichen, die mit ihren Leerzeichen nicht immer richtig passen. Das fällt bei dem Modell häufig auf, die Ursachen sind nicht klar.

Gibt man dem Modell Eingaben auf Friaulisch, kommen auch entsprechende Ausgaben in dieser Sprache:

Bei anderen, wenig sinnvollen Fragen kommen Antworten auf Englisch:

Ladinisch beherrscht das Modell auch, hier kam es im Test zu vielen Wiederholungen:

Fragen auf Rätoromanisch konnte das Modell in diesem Versuch nicht gut beantworten:

Übersetzungen ins Rätoromanische gelingen jedoch gut:

Einige Fehler, vor allem die Wiederholungen, in den ungewöhnlicheren Sprachen sind erstaunlich – sie hängen mutmaßlich mit der geringen Menge an Trainingsdaten zusammen. Vielleicht könnte man über Temperatur- und sonstige Einstellungen auch noch einiges optimieren.

Das Gamecube-Spiel „Animal Crossing“ (2001) ist längst Kult – auch wegen seiner immer gleichen, einstudierten Dialogzeilen, die die virtuellen Dorfbewohner von sich geben.

Genau das wollte Entwickler Josh Fonseca ändern: Wie er auf seinem Blog und in einem Youtube-Video detailliert festhält, hat er es geschafft, dass die NSCs in Echtzeit mithilfe einer Art KI-Gehirn sprechen können. Und das ganz ohne den alten Spielcode umzuschreiben. Stattdessen baute er eine Art Brücke zwischen dem Emulator, in dem das Spiel läuft, und einer KI in der Cloud. So können die Figuren plötzlich über aktuelle Ereignisse plaudern oder sich mit neuen Charakterzügen präsentieren.

Kreativer Hack: Dialoge kommen von externem Speicher

Das Hauptproblem, mit dem sich der Tüftler konfrontiert sah: Der Gamecube hat zu wenig Speicherkapazität und keine Internetverbindung, was die Kopplung mit jedwedem Large Language Model (LLM) zunächst unmöglich erscheinen lässt.

Die kreative Lösung: Fonseca hat das Spiel so umgeleitet, dass es seine Texte nicht mehr nur aus dem Speicher liest, sondern auch von einer externen „Mailbox“. Dort schreibt ein kleines Zusatzprogramm die Antworten der KI hinein.

Für das Spiel sieht es dann so aus, als kämen die Wörter direkt aus seiner eigenen Datenbank – dabei stammen sie aus einer modernen Sprach-KI. Das Ergebnis: Die Tiere reden nicht mehr in festen Phrasen, sondern reagieren flexibler und persönlicher.

„Animal Crossing“-Hack: Ein Dorf, das plötzlich lebt

Damit die Gespräche glaubwürdig wirken, hat Fonseca jeder Spielfigur ein eigenes „Profil“ gegeben – also typische Eigenschaften, Interessen und Macken, die er aus Fan-Wikis übernommen hat.

Eine KI schreibt die Texte, eine zweite sorgt als „Director“ dafür, dass sie wie im Originalspiel aussehen und klingen – mit Emotes, kleinen Pausen und Tonspielereien. Diese Arbeitsteilung sorgt dafür, dass die Bewohner nicht beliebig plappern, sondern wie ihre bekannten Charaktere wirken.

Besonders spannend: Die Dorfbewohner können sogar aktuelle Nachrichten aufgreifen. Fonseca hat eine kleine News-Quelle angeschlossen, sodass plötzlich ein tierischer Nachbar beiläufig eine Schlagzeile kommentiert. Außerdem erinnern sich die Figuren an bestimmte Gespräche untereinander – was dazu führt, dass sie auch zum Beispiel auch mal anfangen, über andere Spielfiguren wie Tom Nook zu lästern. Dadurch wirkt das Dorf lebendiger, manchmal sogar unheimlich echt. Für Interessierte stellt Fonseca seinen Code auf GitHub bereit.

Hack lässt erahnen, was mit KI in Games möglich sein könnte

Technisch ließe sich das Projekt auch auf echter Gamecube-Hardware ausprobieren – über einen alten Netzwerkadapter. Das wäre aber deutlich komplizierter, weil „Animal Crossing“ selbst keine Online-Funktion hat. Für den Emulator ist Fonsecas Lösung dagegen elegant und stabil.

Der Einfluss von künstlicher Intelligenz auf die Spielebranche ist für die Spieler selbst bisher noch kaum spürbar. Der Hack zeigt, wie nostalgische Spiele mit moderner KI plötzlich ein zweites Leben bekommen können – und gibt eine Vorahnung darauf, was noch alles möglich sein könnte, wenn Figuren in neueren Games plötzlich anfangen, Dialoge zu improvisieren.

Dieser Beitrag ist zuerst auf t3n.de erschienen.

(jle)

Der iX-Workshop IT-Sicherheit: Aktuelle Angriffstechniken und ihre Abwehr beschäftigt sich mit aktuellen Angriffstechniken und den sich daraus ergebenden notwendigen Schutzmaßnahmen für Ihre IT-Systeme vor potenziellen Angriffen. Ausgehend von der aktuellen Bedrohungslage im Bereich der IT-Sicherheit lernen Sie praktische Strategien und Techniken zur Abwehr häufig auftretender Angriffe kennen. In einer Laborumgebung demonstriert Referent Oliver Ripka typische Angriffstechniken und stellt nützliche Tools vor, mit denen Sie selbst Angriffe erkennen und abwehren können.

Am Ende des Workshops haben Sie ein Verständnis dafür entwickelt, wie Angreifer vorgehen und welche konkreten Schutzmaßnahmen Sie ergreifen können, um Ihre Systeme sicherzumachen. Auf Basis dieses Wissens lernen Sie, die Schwachstellen und Angriffsmöglichkeiten Ihrer eigenen IT-Infrastruktur zu bewerten und die Wirksamkeit der eingesetzten Sicherheitsmaßnahmen einzuschätzen.

Ihr Trainer Oliver Ripka ist ein erfahrener Sicherheitsberater und Trainer bei Söldner Consult. Als Experte für Netzwerksicherheit liegen seine fachlichen Schwerpunkte in den Bereichen offensive Sicherheit und Netzwerkanalyse.

Der nächste Sicherheitsworkshop findet am 08. und 09. Oktober 2025 statt und richtet sich an IT-Administratoren, die ihren Blick für IT-Sicherheit schärfen wollen, sowie an Interessierte, die einen Überblick über die Funktionsweise von Cyberangriffen erhalten möchten.

(ilk)