Google DeepMind misstraut den eigenen KI-Agenten

Googles KI-Labor DeepMind hat ein Sicherheitskonzept für seine internen KI-Agenten vorgelegt. Die „AI Control Roadmap“ geht davon aus, dass die eigenen Systeme nicht zuverlässig im Sinne ihrer Entwickler handeln, und behandelt sie wie Sicherheitsrisiken von innen. Die KI-Agenten sollen nur schrittweise mehr Rechte bekommen, gemessen an ihrem nachgewiesenen Verhalten. Der Vergleich: ein Fahrlehrer mit Doppelsteuerung, der jederzeit eingreifen kann.

Nötig sei das, weil die Agenten tief in Googles Systemen arbeiten, Code schreiben und Zugang zu sensiblen Ressourcen haben. Zur Überwachung liest derzeit ein schwächeres, als vertrauenswürdig eingestuftes Modell die Gedankenkette und Aktionen des stärkeren Modells mit und schlägt bei Verdacht Alarm. Weil künftige Modelle ihr Reasoning verschleiern könnten, sieht ein Stufenplan strengere Kontrollen je nach Fähigkeitsniveau vor, von nachträglicher Protokollauswertung bis zu Echtzeit-Blockaden. DeepMind warnt zudem, das Zeitfenster für solche Standards sei schmal.

Medizin: Führende LLMs schlagen spezialisierte kleine Sprachmodelle klar

Große allgemeine KI-Modelle von OpenAI, Google und Anthropic beantworten medizinische Fragen besser als spezialisierte Systeme für Ärzte. Das zeigt eine Studie in Nature Medicine, für die ein Team aus New York die Programme in Wissenstests und echten Fragen aus dem Klinikalltag verglich. In allen Bereichen lagen die großen Modelle vorn. Die Forscher führen das auf ihre riesigen Datenmengen und die schnelle Weiterentwicklung zurück.

Ein Ersatz für Ärzte sind sie damit nicht. Andere Studien zeigen, dass Menschen mit Chatbot-Hilfe medizinische Probleme oft schlechter einschätzen, und die Systeme erkennen Notfälle oder psychische Krisen unzuverlässig. Das Ergebnis widerlegt die noch vor einem Jahr verbreitete Annahme, kleine, speziell trainierte Modelle lieferten in der Medizin bessere Ergebnisse. Fachleute streiten weiter, ob langfristig Allzweckmodelle oder Spezialsysteme gewinnen.

KI-Einsatz: Warum menschliche Expertise wichtiger ist als Automatisierung

Unternehmen, die KI zur Stärkung ihrer Mitarbeiter einsetzen, sind erfolgreicher als jene, die damit Menschen ersetzen. Das zeigt das Global AI Jobs Barometer 2026 von PwC, einer der größten Wirtschaftsprüfungsgesellschaften, das mehr als eine Milliarde Stellenanzeigen in 27 Ländern auswertete. Firmen, die stark auf KI setzen, wachsen beim Personal um 52 Prozent schneller und steigern ihre Produktivität deutlich.

Der Wandel trifft vor allem Berufseinsteiger: Klassische Einstiegsjobs für den Aufbau von Routine schwinden, gefragt sind stattdessen Urteilsvermögen und Führungsqualitäten. Zugleich hat sich die Zahl spezifischer KI-Jobs gegenüber 2024 fast verdoppelt, Stellen mit Prompt-Engineering oder Machine Learning wachsen achtmal schneller als der Gesamtmarkt. In Deutschland fühlen sich allerdings nur 21 Prozent der Beschäftigten fit genug, KI-Werkzeuge wirksam zu nutzen.

Midjourney: Nach KI-Bildgenerator nun ein Körperscanner für die Menschheit

Midjourney, bekannt für seinen gleichnamigen KI-Bildgenerator, will einen Körperscanner bauen. Das ultraschallbasierte Gerät soll in einer Minute ein 3D-Abbild des Körperinneren liefern, ähnlich einem MRT, nur schneller. Nutzer stellen sich in eine Röhre und werden in ein Wasserbecken abgesenkt. Das Unternehmen räumt ein, dass das Produkt nichts mit dem Bildgenerator zu tun hat.

Die Pläne sind hochtrabend: Bis 2031 will Midjourney 50.000 Scanner installieren, die monatlich eine Milliarde Scans schaffen und so die Zahl der Todesfälle um 30 Prozent senken sollen. Die Geräte sollen in Spas mit Sauna und Kaltwasser stehen, das erste Ende nächsten Jahres in San Francisco. Belege für den Nutzen fehlen. Die Rechnung verlangt Massenabfertigung statt Erholung, eine medizinische Bewertung der Scans steht aus, und die Zulassungsbehörden müssten erst zustimmen.

KI-Agenten sollen eigene Ausweise erhalten, aus Estland

Estland will als erstes Land digitale Identitäten für KI-Agenten einführen, wie Premierminister Kristen Michal ankündigte. KI-Agenten greifen für ihre Aufträge oft auf E-Mail-Konten, Cloud-Speicher oder Bankzugänge ihrer Auftraggeber zu. Das kann teuer werden, etwa wenn Daten abfließen, gelöscht werden oder Geld verschwendet wird.

Michal fordert deshalb beschränkte und überprüfbare Rechte. So ließe sich festlegen, ob ein Agent Daten nur lesen, Dokumente erstellen oder in einem finanziellen Rahmen handeln darf. Ein eigener Ausweis soll es dem Agenten ermöglichen, sich als solcher auszuweisen, statt die Identität des Auftraggebers zu übernehmen. Wann die Ausweise kommen und ob sie verpflichtend werden, ist offen.

Rheinmetall-Chef plädiert für Regulierung von KI-Waffeneinsatz

Rheinmetall-Chef Armin Papperger hat sich auf der Rüstungsmesse Eurosatory bei Paris für globale Regeln zum KI-Einsatz in Waffensystemen ausgesprochen. Der technische Fortschritt sei rasant, deshalb brauche es international verbindliche Grenzen, ähnlich wie bei Atomwaffen. Festlegen könne das weder ein Unternehmen noch eine Einzelperson, nötig seien ein Ethikrat oder eine UN-Resolution.

Rheinmetall baut Drohnen, Militärfahrzeuge und Schiffe, die teils autonom durch KI gesteuert werden. Über den Einsatz von Gewalt entscheide aber stets der Mensch, so Papperger. Technisch wäre es schon heute möglich, das der KI zu überlassen.

Weg von Big Tech: Deutschland und Frankreich beschließen Souveränitäts-Plan

Zum Auftakt der Pariser Technikmesse VivaTech haben Deutschland und Frankreich einen Plan für mehr digitale Unabhängigkeit von großen Tech-Konzernen vorgelegt. Eine gemeinsame Definition digitaler Souveränität sieht vor, dass sich Technologien in der EU unabhängig und sicher entwickeln lassen. Erreicht werden soll das durch bevorzugte Nutzung von Produkten aus der EU oder vertrauenswürdigen Partnerstaaten, durch Open Source, modulare Architekturen und eigene Recheninfrastrukturen für KI und Cloud.

Cyberangriffe und gestörte Lieferketten zeigten, so Bundesdigitalminister Karsten Wildberger, wie verwundbar Europa sei. Wer auf wenige außereuropäische Anbieter angewiesen sei, riskiere Ausfälle oder politische Erpressbarkeit. Frankreichs Digitalministerin Anne Le Hénanff nannte die Partnerschaft zwischen SAP und Mistral AI als Beispiel für eine souveräne europäische KI.

Schummeln mit KI: Was gegen ein Pauschalverbot spricht

Lehrerverbände beklagen zunehmend KI-gestütztes Schummeln in Prüfungen, per Smartphone, Smartwatch, Smart Glasses, Scan-Stiften oder KI-Pins an der Kleidung. Der Bayerische Lehrer- und Lehrerinnenverband fordert deshalb technische Sperren, etwa eine Blockade des Datenverkehrs während Prüfungen. Präsidentin Simone Fleischmann sieht die Chancengleichheit gefährdet.

Der Verband Bildung und Erziehung Baden-Württemberg hält ein pauschales Verbot für unzureichend. Statt auf Störsender zu setzen, plädiert er für neue Prüfungsformate wie mündliche oder projektorientierte Aufgaben, die individuelle Leistungen auch in einer von KI geprägten Welt erfassen. Schulen müssten lernen, mit der Technologie umzugehen.

Endgültige Fassung veröffentlicht: Rahmenwerk für KI-Kompetenzen in Schulen

Das von der EU-Kommission und der OECD vor rund einem Jahr versprochene Rahmenwerk für KI-Kompetenzen in Schulen liegt nun in abgestimmter Fassung vor. Gegenüber dem Entwurf bietet es keine Überraschungen, nur ausdifferenziertere Tipps für die Unterrichtsgestaltung auf verschiedenen Leistungsniveaus.

Auf ein tiefgreifendes Problem macht es unweigerlich aufmerksam: Fehlen KI-Kompetenzen schon in der Lehrerschaft, lassen sie sich auch nicht bald an Schüler vermitteln. Der Hinweis auf nötige Fortbildungen und KI-Schulungen schon in der Lehramtsausbildung wirkt deshalb hilflos. Die als wichtig eingestuften Kompetenzen dürften so erst in einigen Jahren gelehrt werden, nicht jetzt, wie es eigentlich nötig wäre.

Sicherheitsbedenken wegen China-Verbindungen belasten Anthropic

Auslöser der plötzlichen Abschaltung der Anthropic-Modelle Claude Mythos und Fable 5 war laut Wired die Sorge vor einer Datenweitergabe nach China. Der südkoreanische Telekommunikationskonzern SK Telecom hatte über das Partnerprogramm Project Glasswing Zugang zu Claude Mythos erhalten. US-Beamte verdächtigten SK Telecom angeblicher China-Verbindungen, woraufhin das Weiße Haus Anthropic zur sofortigen Sperrung aufforderte. Das Unternehmen kam dem umgehend nach.

SK Telecom weist jede Verbindung nach China zurück, unterhält als Teil des SK-Konzerns aber umfangreiche Geschäftsbeziehungen dort und war bis 2009 am Netzbetreiber China Unicom beteiligt. Kurz darauf meldete Amazon Schwachstellen im Modell Fable 5, über die sich Sicherheitsbeschränkungen umgehen ließen. Beide Vorfälle zusammen kosteten Anthropic das Vertrauen des Weißen Hauses.

ASML im „Krisenmodus“: EUV-Lithografie-System laut Washington nach China gelangt

Ein Lithografie-System des niederländischen Konzerns ASML soll trotz strenger Exportverbote nach China gelangt sein, berichtet Bloomberg unter Berufung auf anonyme Quellen. US-Handelsminister Howard Lutnick erhob den Vorwurf bereits im April. Bestätigt er sich, wäre es einer der schwersten bekannten Verstöße gegen US-Sanktionen. Die EUV-Belichtungsmaschine dient der Herstellung modernster Halbleiter, etwa für KI-Chips. ASML ist der einzige Hersteller solcher Anlagen und der wertvollste Konzern Europas.

ASML weist den Verdacht zurück: Weltweit seien alle Geräte erfasst, keines stehe in China, und ohne Beteiligung des Herstellers ließen sie sich nicht betreiben oder bewegen. Laut Bloomberg ist der Konzern dennoch im internen Krisenmodus. Welche Belege Washington hat, bleibt unklar.

KI-Forscher Yann LeCun warnt vor einer Marktbereinigung

KI-Forscher Yann LeCun, Gründer des Forschungsunternehmens AMI Labs, vermutet in einem Interview, dass OpenAI oder Anthropic in eine schwere Krise geraten könnten, wenn sie ihre Betriebskosten nicht drastisch senken oder die Preise erhöhen.

Seine Kritik ist nicht ganz uneigennützig. Während die großen Akteure auf Sprachmodelle setzen, entwickelt sein Unternehmen Weltmodelle auf Basis einer anderen Architektur. Ein Rückschlag für die Sprachmodelle könnte seiner eigenen Technologie mehr Aufmerksamkeit und Investitionen bringen.

Qwen-Robot Suite: Alibabas neue KI lässt Roboter simulieren, bevor sie handeln

Alibaba hat mit der „Qwen-Robot Suite“ drei KI-Modelle für Roboter vorgestellt. Sie gehören zur „Embodied AI“, die einen physischen Körper steuert und sprachliche Anweisungen in Bewegungen umsetzt. Qwen-Robot-Nav hilft Robotern, Räume zu verstehen und sich darin zu bewegen. Qwen-Robot-World ist ein Video-Weltmodell, mit dem Roboter Handlungen virtuell durchrechnen, bevor sie sie ausführen. Qwen-Robot-Manip unterstützt Greifen und Manipulieren wie Sortieren oder Zusammenbauen.

Ziel ist ein physischer KI-Agent, der sich frei bewegt, vielfältige Aufgaben übernimmt und Situationen vorhersieht. Daran arbeiten auch Nvidia, Google DeepMind und Start-ups wie Figure AI. In Deutschland gilt Neura Robotics als Vorreiter.

(mali)