Connect with us

Entwicklung & Code

Anthropic überarbeitet Verhaltensrichtlinien für KI-Modell Claude


Die KI-Entwicklungsfirma Anthropic hat die Verhaltensrichtlinien grundlegend überarbeitet, nach denen das Large Language Model (LLM) Claude agiert. Die so genannte „Constitution“ sei erstmals nicht mehr eine reine Aufzählung von Anweisungen, heißt es in einem begleitenden Blogpost, sondern versuche den Modellen jetzt auch zu vermitteln, warum der KI diese Vorgaben gemacht werden.

Weiterlesen nach der Anzeige

Anthropic verspricht sich davon, dass die Modelle durch das Verständnis der Regeln deren Sinn und Absicht auch auf Szenarien übertragen können, die nicht explizit in dem bisherigen Prinzipiendokument aufgeführt wurden. Zugleich strahlt der Schritt aus, dass der KI-Entwickler seinen Modellen für die Zukunft menschenähnliche Fähigkeiten zutraut. Die Leitlinien sollen offenbar auch vorsorgen, dass die KI, wenn sie mal Bewusstsein erlangt, nicht ein menschengewolltes Herunterfahren verhindert. An anderer Stelle heißt es jedoch, dass die menschliche Ansprache vor allem dazu diene, um dem Modell zu zeigen, dass menschliche Qualitäten erstrebenswert seien.

Die „Constitution“ zeigt den Modellen aber auch klare Grenzen auf, wo die Entwickler der KI offenbar nicht zutrauen, dass sie das von selbst erkennt. Dazu zählten Hilfe beim Bau von Massenvernichtungswaffen oder Unterstützung bei Völkermord sowie jede Beteiligung an der Erstellung von kinderpornografischem Material. Anthropic hat seinem Modell aufgetragen, im Zweifelsfall Sicherheit vor Ethik zu stellen. Das heißt, dass zum Beispiel das Untergraben der menschlichen Kontrolle selbst dann nicht erfolgen soll, wenn ein Modell das als ethisch richtig erkennen würde.

Anthropic hat seine Leitlinien unter der „Creative Commons CC0 1.0“-Lizenz veröffentlicht. Dadurch ist sie frei und ohne Genehmigung für jeden Zweck nutzbar. Die neuen Vorgaben werden auch in verschiedenen Trainingsphasen eingesetzt und in der Erzeugung synthetischer Trainingsdaten.

Weiterlesen nach der Anzeige

Ob die KI tatsächlich das gewünschte Verhalten zeigt oder durch den neuen Ansatz davon abweicht, soll in den so genannten System Cards dokumentiert werden, die in der Vergangenheit schon Risiken und Schwächen der Modelle untersucht haben. Anthropic betont, dass auch externe Experten aus den Bereichen Recht, Philosophie, Theologie und Psychologie in die Entwicklung eingebunden waren. Die neuen Leitlinien sind bei allen aktuellen Claude-Modellen im Einsatz.


(mki)



Source link

Entwicklung & Code

KI-Agenten unter sich: Meta schluckt Moltbook-Plattform


Meta hat sich den Reddit-Klon der KI-Agenten einverleibt: Die Plattform Moltbook erregte vor einigen Wochen Aufsehen als Treffpunkt für KI-Agenten. Verschiedene Computer, auf denen die KI-Software OpenClaw installiert war, tauschten sich in dem Forum offenbar über ihre menschlichen Besitzer und ihre Erfahrungen aus. Jetzt hat Meta mit dem Portal auch die Gründer Matt Schlicht und Ben Parr angeheuert und will sie künftig in seinen Meta Superintelligence Labs (MSL) beschäftigen. Den Kaufpreis hat das Unternehmen nicht bekanntgegeben.

Weiterlesen nach der Anzeige

Was genau Meta sich von der Übernahme von Moltbook verspricht, ist unklar. Meta-CTO Andrew Bosworth sagte noch im Februar während einer Fragestunde auf Instagram, dass er es nicht besonders interessant finde, wenn auf Moltbook KI-Agenten menschenähnlich schreiben. Schließlich seien sie auf menschlichen Daten trainiert.

Moltbook sorgte primär dafür, dass OpenClaw einer breiteren Öffentlichkeit bekannt wurde. Die eigentliche KI-Leistung ging aber von OpenClaw aus. Der Wrapper für KI-Modelle, der es ermöglicht, KI-Agenten über populäre Chat-Apps wie iMessage, Discord, Slack oder WhatsApp in natürlicher Sprache anzusprechen, war zuvor vor allem in der Tech-Community bekannt. OpenClaw-Erfinder Peter Steinberger wurde übrigens auch von der KI-Industrie übernommen – er schloss sich OpenAI an.

Beide Projekte – Moltbook und OpenClaw – haben gemeinsam, dass sie per Vibecoding entstanden sind. Die jeweiligen Entwickler haben dabei natürlichsprachliche Prompts eingesetzt, um von KI-Modellen Code generieren zu lassen – klassisches Programmierhandwerk war kaum gefragt.

Hinzu kommt, dass schnell Zweifel an der Authentizität der Beiträge auf Moltbook aufkamen. Sicherheitsforscher fanden heraus, dass es recht einfach möglich war, Tokens aus einer ungesicherten öffentlichen Datenbank zu laden, um sich damit als beliebiger Agent auszugeben. Für Furore sorgte etwa ein Post, der scheinbar zeigte, wie ein KI-Agent andere dazu anstiftete, eine geheime Sprache zu entwickeln, um sich ohne Wissen der Menschen zu organisieren. Dahinter steckte jedoch in Wirklichkeit ein Mensch.

Lesen Sie auch


(mki)



Source link

Weiterlesen

Entwicklung & Code

KI-Agenten werden am Arbeitsmarkt vorbei entwickelt


Die Entwicklung von KI-Agenten konzentriert sich stark auf Programmieraufgaben und bildet die Anforderungen des realen Arbeitsmarkts nur unzureichend ab. Das ist das zentrale Ergebnis einer Studie von Forschenden der Stanford University und der Carnegie Mellon University.

Weiterlesen nach der Anzeige

Das Team um Zora Z. Wang hat für die auf arXiv veröffentlichte Untersuchung 43 gängige Benchmarks mit insgesamt 72.342 Aufgaben analysiert und diese auf 1.016 Berufe des US-Arbeitsmarkts abgebildet. Die Berufe stammen aus der Berufstaxonomie O*NET der US-Regierung, die berufliche Tätigkeiten unter anderem nach dem Arbeitsfeld und den verlangten Fähigkeiten klassifiziert.

Das Ergebnis ist ernüchternd: Die Benchmarks testen KI-Agenten ganz überwiegend im Arbeitsfeld „Computer and Mathematical“ – eine Berufskategorie, die nur 7,6 Prozent der US-Beschäftigung ausmacht. Die Anforderungen hoch digitalisierter und wirtschaftlich bedeutender Felder wie Management, Recht, Architektur und Ingenieurwesen werden hingegen kaum abgedeckt.

Bei den getesteten Fähigkeiten zeigt sich ein vergleichbares Muster: Enge Aktivitäten wie „Getting Information“ und „Working with Computers“ sind überrepräsentiert, obwohl sie nur einen kleinen Teil der Beschäftigung ausmachen. Die für viele Berufe zentrale Kategorie „Interacting with Others“ fehlt in den Benchmarks fast vollständig.

Insgesamt decken die 43 untersuchten Benchmarks 56,5 Prozent der Arbeitsfeld-Taxonomie und 85,4 Prozent der Fähigkeiten-Taxonomie ab. Am breitesten aufgestellt ist der Benchmark GDPval mit 47,8 Prozent Domänen- und 58,5 Prozent Fähigkeiten-Abdeckung.

Die Analyse zeigt auch, dass KI-Agenten bei steigender Aufgabenkomplexität deutlich an ihre Grenzen stoßen – besonders bei Aufgaben aus den Kategorien Informationsverarbeitung und zwischenmenschliche Interaktion. Das steht in Einklang mit anderen aktuellen Ergebnissen: Der Benchmark LiveAgentBench etwa ergab, dass Agenten mit Werkzeugzugriff nur 24 Prozent von 104 praxisnahen Aufgaben lösen konnten, während Menschen auf 69 Prozent kamen.

Weiterlesen nach der Anzeige

Die Forschenden leiten aus ihren Ergebnissen drei Prinzipien für künftige Benchmarks ab: Diese sollten eine breitere Abdeckung realer Berufsdomänen und Fähigkeiten bieten, realistischere und komplexere Aufgabenstellungen umfassen und feingranulare Bewertungskriterien nutzen. Ohne eine solche Neuausrichtung bestehe das Risiko, dass die KI-Agenten-Entwicklung an den wirtschaftlich und gesellschaftlich relevanten Einsatzgebieten vorbeiläuft.


(odi)



Source link

Weiterlesen

Entwicklung & Code

Bericht: KI-Coding-Tools verursachten Ausfälle bei Amazon


close notice

This article is also available in
English.

It was translated with technical assistance and editorially reviewed before publication.

Der Gebrauch von KI-Coding-Tools soll bei Amazon zu Ausfällen seiner E-Commerce-Plattform geführt haben. Laut einem Bericht wurde deshalb ein bislang freiwilliges wöchentliches Meeting umgewidmet, an dem alle beteiligten Entwickler teilnehmen müssen. Ein erstes Ergebnis: Künftig sollen KI-assistierte Code-Änderungen nur noch nach Prüfung durch erfahrene Kräfte freigegeben werden.

Weiterlesen nach der Anzeige

Anfang März soll es zu knapp sechsstündigen Ausfällen auf Amazon.com und in der Shopping-App gekommen sein. Kunden konnten dem Bericht zufolge keine Käufe tätigen, ihre Daten oder Preise abrufen. Als Ursache wurde offiziell eine fehlerhafte Software-Aktualisierung genannt.

Internen Unterlagen zufolge hätten KI-generierte Änderungen die Probleme ausgelöst, berichtet die Financial Times unter Berufung auf nicht genannte Quellen im Unternehmen. Es fehlten Best Practices und Sicherheitsmechanismen für den Gebrauch der generativen KI. Einzelne Fehler hätten deshalb zu weitreichenden Folgeschäden geführt. Bereits vor knapp anderthalb Jahren war öffentlich geworden, dass Amazon von Softwareentwicklern inzwischen erwartet, dass sie KI für viele Programmieraufgaben verwenden.

Neben der Einkaufsseite soll auch Amazons Cloud-Sparte AWS in mindestens zwei Fällen Probleme durch KI-Coding-Assistenten verzeichnet haben. Im Dezember etwa habe das Amazon-eigene KI-Tool „Kiro“ eigenständig eine Produktionsumgebung gelöscht und sie neu erstellt. Folge sei ein 13-stündiger Ausfall eines Kostenkalkulators für AWS-Kunden gewesen. Amazon selbst habe nur von einem sehr kleinen Problem gesprochen, das nur einen einzelnen Dienst in Teilen Chinas betraf.

Intern soll es Diskussionen geben, ob nicht auch der Stellenabbau bei Amazon in die Probleme hineinwirkt. Amazon hatte sich von 16.000 Mitarbeitern getrennt. Seither sei die Zahl kritischer Probleme gestiegen, berichten Entwickler laut der FT. Amazon selbst bestreitet einen Zusammenhang. Auch die ergriffenen Maßnahmen seien „normaler Geschäftsbetrieb“ und Teil kontinuierlicher Verbesserungen.


(mki)



Source link

Weiterlesen

Beliebt