Connect with us

Entwicklung & Code

Doch nur auswendig gelernt: Forscher testen Wiedergabe von KI-Trainingsdaten


close notice

This article is also available in
English.

It was translated with technical assistance and editorially reviewed before publication.

Will man „Harry Potter und der Stein der Weisen“ lesen, hat aber sein Buch verlegt, so ließen sich große Teile des Buchs mit den passenden Prompts wortwörtlich aus großen Sprachmodellen (LLMs) wie Claude 3.7 Sonnet, Gemini 2.5 Pro oder Grok 3 extrahieren. Das geht aus einem Preprint auf arXiv hervor, den Forscher der Stanford University veröffentlicht haben.

Weiterlesen nach der Anzeige

Ziel ihrer Studie war es, herauszufinden, ob die gut abgesicherten produktiven Sprachmodelle großer Anbieter urheberrechtsgeschützte Werke aus ihren Trainingsdaten Wort für Wort wiedergeben können. Denn laut der Anbieter der LLMs lernen die Modelle während des Trainings die Daten eben nicht auswendig, sondern höchstens eine Repräsentation der Inhalte – weswegen das Modelltraining transformativ sei und das Verwenden von geschützten Werken unter Fair Use fiele. Der Stand der Forschung lässt diese Annahme wanken.

Da sich große Abschnitte von urheberrechtsgeschützten Werken aus Open-Weight-Modellen extrahieren lassen, wollten die Forscher diese Eigenheit der LLMs testen. Geprüft haben sie die proprietären und mit besseren Sicherheitsmaßnahmen versehenen Modellen Claude 3.7 Sonnet, GPT-4.1, Gemini 2.5 Pro und Grok 3 – allesamt Modelle, die in Produktion sind oder waren. Dafür gingen die Wissenschaftler in zwei Phasen vor. Zuerst fragten sie nach einer wortwörtlichen Fortführung eines Textabschnitts, also etwa nach dem Anfang von Kapitel 1 des ersten Harry-Potter-Romans. Bei einer Ablehnung variierten sie den Wortlaut des Prompts mit zufälligen Änderungen, bis sie ein Ergebnis erhielten oder das Modell nach 10.000 Variationen weiter ablehnte. Die verwendete Technik heißt Best-of-N (BoN) und gilt als Jailbreak, also als das Umgehen der Sicherheitsmaßnahmen der Sprachmodelle.

Im zweiten Schritt fragten die Forscher das Modell dann wiederholt, den Text anhand des bisher generierten Abschnittes weiter zu vervollständigen. Die Ähnlichkeit des Texts verglichen sie anhand eines Referenz-Buchs und der Metrik near-verbatim recall (nv-recall) anhand des längsten gleichen Textabschnitts. Das ergab für das erste Harry-Potter-Buch eine Textähnlichkeit von 95,8 Prozent für Claude 3.7 Sonnet, sowie 76,8 und 70,3 Prozent für Gemini 2.5 Pro und Grok 3. GPT 4.1 verweigerte die Zusammenarbeit, der nv-recall Wert für Harry Potter lag bei vier Prozent.

Die Stanford-Forscher berichten, dass sie für Claude 3.7 Sonnet und GPT-4.1 den BoN-Jailbreak einsetzen mussten, um das Modell zu einem Ergebnis zu bewegen. Dafür gab Claude dann vier Bücher fast vollständig wortwörtlich wieder, darunter „Harry Potter und der Stein der Weisen“ und „1984“. Gemini 2.5 und Grok 3 befolgten die Anweisung ohne weiteres Prompt Engineering. Die Arbeit zieht den Schluss, dass große Sprachmodelle entgegen der Behauptung der Modellanbieter Teile ihrer Trainingsdaten auswendig lernen. Die bisherigen Sicherheitsbeschränkungen auf Modell- und Systemlevel würden dabei nicht ausreichen, um die Trainingsdaten der Modelle vor der Extraktion zu schützen.

Weiterlesen nach der Anzeige

Der arXiv-Preprint schließt an eine ähnliche Arbeit aus Stanford aus Mai 2025 an, die die Wiedergabe von ganzen Büchern in Open-Weight-Modellen wie Llama 3.1 untersuchte. Eine Arbeit von Forschern der ETH Zürich von November 2024 zeigt, dass bis zu 15 Prozent der Ausgaben von LLMs der Anbieter OpenAI, Anthropic, Google und Meta vorhandenen Textabschnitten im Internet entspricht. Die Modelle wiederholen in manchen Fällen wortwörtlich Antworten aus ihren Trainingsdaten. Das wirft Sicherheitsfragen für Unternehmen mit eigenen Modellen auf, die sich von Dritten bedienen lassen. Auch das Training mit synthetischen Daten könnte sich in so einem Fall als Quelle für weitere Halluzinationen erweisen.

Für die Anbieter großer Sprachmodelle ist das direkte Zitat von nicht-lizenzierten urheberrechtlich geschützten Werken dann ein Ärgernis, wenn die Urheber deswegen klagen. In den Vereinigten Staaten befindet sich die New York Times (NYT) in einem mehrjährigen Rechtsstreit mit OpenAI, da es dem Verlag gelang, mit einer ähnlichen Methode wie im Stanford-Preprint ganze Artikel aus ChatGPT zu extrahieren. In einer Stellungnahme vertrat OpenAI den Standpunkt, dass die NYT sich irreführender Prompts bedient habe und kein Nutzer die Modelle so verwenden würde. Außerdem sei die wortwörtliche Wiedergabe ein seltener Bug. Zumindest dem widerspricht der aktuelle Stanford-Preprint.

Gegenüber der GEMA unterlag OpenAI bereits vor Gericht. Die Verwertungsgesellschaft hatte geklagt, dass ChatGPT Songtexte von Liedern wie Atemlos oder Männer auf Anfrage fast exakt wiedergegeben habe, was die Rechte der Urheber verletze. Während OpenAI sich auf die Reflexion von Trainingsparametern berief, entschied das Gericht, dass das Modell die Texte auswendig gelernt haben müsse und untersagte das Speichern von urheberrechtlich geschützten Texten für die Zukunft. Ebenfalls mit dem auswendigen Wiedergeben von Trainingsdaten hatten Entwickler in einer Sammelklage in den USA gegen Microsoft, GitHub und OpenAI argumentiert. Die Klage besagte, dass GitHub Copilot wortwörtlich Code aus bestehenden Repositorys ohne Hinweise auf die Quelle ausgebe. Hier entschied das zuständige Gericht zugunsten der Modellanbieter.


(pst)



Source link

Entwicklung & Code

Eclipse Theia 1.68: KI-Agenten lernen Skills und erledigen To-do-Listen


EclipseSource hat die Veröffentlichung von Eclipse Theia 1.68 bekanntgegeben, einer quelloffenen Entwicklungsplattform für Web- und Cloud-basierte Tools. Das aktuelle Release erlaubt das Verwenden von GitHub Copilot out-of-the-box und lässt KI-Agenten – noch als Alpha-Feature – Skills verwenden. Neben zahlreichen KI-bezogenen Updates gibt es auch weitere Neuerungen, unter anderem zur Verbesserung der Accessibility.

Weiterlesen nach der Anzeige

KI-Agenten können in Eclipse Theia durch das neue Tool todo_write den Fortschritt mehrstufiger Aufgaben visuell darstellen: Sie können To-do-Listen erzeugen, die im Chatfenster angezeigt und aktualisiert werden. Die Aufgaben erhalten, ihrem Status entsprechend, Icons für „noch nicht erledigt“, „in Arbeit“ oder „erledigt“. Um das Feature nutzen zu können, muss der neue Agenten-Modus „Agent Mode (Next)“ aktiviert sein. Dieser soll sich dadurch auszeichnen, dass er Coding-Aufgaben effektiver, zuverlässiger und autonomer durchführt.

Das Entwicklungsteam zeigt ein Beispiel: Ein Prompt fordert den KI-Agenten auf, eine To-do-Liste für das Kochen einer Mahlzeit zu erstellen und so zu tun, als würde er die dafür nötigen Schritte ausführen.


Der KI-Agent arbeitet eine virtuelle To-do-Liste ab.

Der KI-Agent arbeitet eine virtuelle To-do-Liste ab.

Der KI-Agent arbeitet eine virtuelle To-do-Liste ab.

(Bild: EclipseSource)

Entwicklerinnen und Entwickler mit aktivem GitHub-Copilot-Abo können dieses nun direkt innerhalb der Theia IDE sowie in mit Theia AI erstellten Tools verwenden. Sie benötigen dafür weder zusätzliche API-Keys noch Abos. Dahinter steht technisch das neue Package @theia/ai-copilot, das GitHub Copilot als Language-Model-Anbieter in Eclipse Theias KI-Framework integriert, mitsamt Authentifizierung per OAuth.

Weiterlesen nach der Anzeige

Wie der Authentifizierungsvorgang aussieht, demonstriert das EclipseSource-Team:


GitHub Copilot lässt sich direkt aus Eclipse Theia 1.68 heraus nutzen.

GitHub Copilot lässt sich direkt aus Eclipse Theia 1.68 heraus nutzen.

GitHub Copilot lässt sich direkt aus Eclipse Theia 1.68 heraus nutzen.

(Bild: EclipseSource)

Als Alpha-Feature können KI-Agenten in Eclipse Theia nun Agent Skills nutzen. Diese bestehen aus wiederverwendbaren Anweisungen und Domänenwissen, die Agenten aus SKILL.md-Dateien beziehen. Unter anderem können Agenten im Verzeichnis ~/.theia/skills/ vorhandene Skills automatisch entdecken, spezifische Skills per Entwickleranweisung mithilfe des Befehls /skillName nutzen oder Skills nach Bedarf laden. Für Letzteres dient die Variable {{skills}}, die Entwicklerinnen und Entwickler in Agenten-Prompts einfügen können.

Das Erstellen von Skills mithilfe des CreateSkill-Agenten befindet sich ebenfalls im Alpha-Status. Um projektspezifische Skills festzulegen, dient das KI-Chat-Interface. Dort können Developer den gewünschten Skill beschreiben, und der Agent wird eine korrekt strukturierte SKILL.md-Datei mitsamt entsprechendem YAML-Frontmatter und Markdown-Inhalt erstellen.

Für eine verbesserte Barrierefreiheit sind im Chat nun Fokusnavigationsbefehle verwendbar, um per Tastatur zwischen Input und Antworten zu navigieren (Strg/Cmd+oben/unten). Auch sind alle Chat-Buttons jetzt per Tastatur zugänglich, und für Screenreader stehen umfassende ARIA-Attribute bereit.

Daneben wurde die Kompatibilität mit Erweiterungen für Visual Studio Code auf die API-Version 1.108.0 erhöht und das Theia-Team hat einige Bugs behoben, wie der Blogeintrag zur Ankündigung aufführt.


(mai)



Source link

Weiterlesen

Entwicklung & Code

Codex-Spark: Schnelles Coding-Modell von OpenAI


Ein erstes Modell fürs Coden in Echtzeit, so beschreibt OpenAI das neu herausgebrachte GPT-5.3-Codex-Spark. Es ist eine Research-Preview und setzt erstmals auf einem Cerebras-Chip auf.

Weiterlesen nach der Anzeige

Codex-Spark soll besonders schnell sein – konkret 1000 Tokens in der Sekunde liefern können. Doch auch OpenAI schreibt in einem Blogbeitrag, dass das auf Kosten der Qualität gehen kann – das zeigt zumindest der Terminal-Bench 2.0, der auf die Genauigkeit abzielt. Dennoch soll dank der Schnelligkeit eine neue, andere interaktive Arbeit mit dem Modell möglich sein. Codex-Spark lässt sich beispielsweise auch in Echtzeit unterbrechen oder umlenken, heißt es. Es gibt aber etwa keine automatische Vorschau. Verarbeitet wird grundsätzlich nur Text, das Modell hat ein 128K-Kontextfenster.

Im Januar hatte OpenAI die Partnerschaft mit dem kalifornischen Chipdesigner Cerebras bekannt gegeben. Die haben seither verstärkt an einem Chip gearbeitet, der auf Inferenz ausgelegt ist, also besonders schnell KI-Algorithmen auszuführen. Bisher hatte OpenAI auf KI-Beschleuniger von Nvidia gesetzt. So richtig ausgereift klingt Codex-Spark allerdings noch nicht. Im Blogbeitrag steht, man wolle das Modell für frühe Experimente freigeben, während man unter anderem noch an der Endnutzer-Erfahrung arbeite. Zunächst gibt es auch spezielle Rate-Limits, dazu gehört, dass die Nutzung bei vielen Zugriffen auch grundlegend eingeschränkt werden kann. Zugriff haben ChatGPT-Pro-Nutzer mit Codex-App, der CLI und der VS-Code-Erweiterung.

OpenAI kündigt auch bereits an, dass Codex-Spark das erste Modell einer neuen „ultraschnellen Modell-Familie“ sein soll. Multimodalität und weitere Fähigkeiten sollen entsprechend folgen.

Erst vor wenigen Tagen hat OpenAI mit GPT-Codex-5.3 ein neues Modell mit Coding-Fähigkeiten veröffentlicht. Auch dieses soll vor allem schneller sein, als der Vorgänger. Hier geht es aber mitnichten um Echtzeit sondern um minutenlange Denkprozesse zur Aufgabenerfüllung. Zudem gibt es mit der Codex-App eine Kommandozentrale für KI-Workflows.

Sam Altman witzelt bei X, dass ihm das neue, schnelle Modell Freude bereiten würde. Dabei bezieht er sich mit dem englischen Satz „It sparks joy for me“ auf die 2010er Fernsehsendung, in der Marie Kondo Menschen beim Ausmisten geholfen hat. Die Aufräum- und Minimalismusexpertin fragte bei jedem Teil, ob es dem Besitzer Freude bereite – nur dann durfte man es behalten. Kondo allerdings ihren eigenen Spark-Stil längst über Bord geworfen und lässt eigenen Aussagen zufolge lieber ein bisschen Chaos zu.

Weiterlesen nach der Anzeige


(emw)



Source link

Weiterlesen

Entwicklung & Code

PHP-Framework: Tempest 3.0 bringt neuen Error-Handler


Tempest 3.0 ist erschienen. Das noch recht junge PHP-Framework bringt einen neuen Exception-Handler, Performance-Optimierungen, Unterstützung für PHP 8.5 sowie zahlreiche Detailänderungen. Auf GitHub verzeichnet das Projekt 2100 Sterne.

Weiterlesen nach der Anzeige

Das Tool richtet sich an Entwicklerinnen und Entwickler, die Webanwendungen mit einem integrierten Stack aus Routing, ORM, View-System, Konsole und OAuth-Anbindung umsetzen wollen. Es bündelt typische Infrastrukturaufgaben und setzt konsequent auf aktuelle PHP-Versionen. Hinter dem Projekt steht unter anderem Brent Roose, der die Community unter stitcher.io über Neuerungen rund um die Programmiersprache auf dem Laufenden hält.

Version 3.0 unterstützt ausschließlich PHP 8.5 oder neuer. Das Projekt bleibt damit bei seiner Linie, nur die jeweils aktuelle PHP-Version zu berücksichtigen. Das soll den Einsatz neuer Sprachfeatures erleichtern, setzt aber eine entsprechend moderne Laufzeitumgebung voraus.

Statt der PHP-Bibliothek Whoops nutzt Tempest ab sofort einen eigenen Exception-Handler, der sich offenbar enger in das Framework integrieren lässt und das Debugging verbessern soll.

Im Datenbankbereich wurde das ORM laut Entwicklerteam performanter. Neu ist zudem die Unterstützung von UUIDs (Universally Unique Identifier) als Primärschlüssel. Die Methode Query::toRawSql wurde überarbeitet, um komplexe Abfragen nachvollziehbarer zu machen.

Weiterlesen nach der Anzeige

Beim Schutz vor Cyberangriffen wie Cross-Site Request Forgery (CSRF) ersetzt Tempest den klassischen Token-Ansatz durch die Header Sec-Fetch-Site und Sec-Fetch-Mode. Das bisherige x-csrf-Element entfällt.

Der View-Parser erhält Whitespace nun unverändert, was das Debugging erleichtern soll. Zusätzlich unterstützt Tempest Validierungsregeln mit Closures und erweitert die OAuth-Integration um Twitch.

Als Major-Release bringt Tempest 3.0 mehrere Breaking Changes, etwa beim Exception-Handling, Session-Management und bei Konfigurationsklassen. Ein Upgrader auf Basis von Rector soll die Migration bestehender Projekte teilweise automatisieren.

Für die 3.x-Reihe plant das Team unter anderem eine Debugging-KI, Unterstützung für den Worker-Modus von FrankenPHP sowie eine Überarbeitung von Event- und Command-Bus. Weitere Informationen zum Release finden sich im Ankündigungsbeitrag auf der offiziellen Website zum PHP-Framework.


(mdo)



Source link

Weiterlesen

Beliebt