Connect with us

Datenschutz & Sicherheit

Anthropic, OpenAI & Co. fordern Pause bei KI-Modellen


Nach mehreren aufsehenerregenden Hacking-Vorfällen mit KI-Systemen sprechen sich die führenden US-KI-Unternehmen dafür aus, das Entwicklungstempo besonders leistungsfähiger Modelle zu drosseln. Anthropic-Chef Dario Amodei etwa schlug eine koordinierte Pause vor, die der Branche ein bis zwei Jahre Zeit verschaffen soll, um Sicherheitsrisiken besser zu verstehen und einzudämmen. Binnen weniger Stunden bekam er dafür Zuspruch von Rivalen wie OpenAI-Chef Sam Altman und Tech-Milliardär Elon Musk, der mit seinem KI-Unternehmen xAI und dem Chatbot Grok zu den Konkurrenten zählt.

Weiterlesen nach der Anzeige

Amodei warnte konkret, dass KI-Agenten bereits innerhalb von sechs bis zwölf Monaten in der Lage sein könnten, große Teile der Internet-Infrastruktur anzugreifen und Schäden in dreistelliger Milliardenhöhe zu verursachen. Neben der von ihm angeregten, branchenweiten Pause der KI-Entwicklung kündigte Amodei auch konkrete Schritte bei Anthropic an. So will man in einem ersten Schritt dauerhaft unabhängige Beobachter ins Unternehmen lassen, die schon in der Trainingsphase die Sicherheit von KI-Modellen begutachten sollen.



Anthropic-Chef Dario Amodei warnt nicht das erste Mal vor den Risiken eines hohen Entwicklungstempos bei KI. Diesmal bekommt er dafür jedoch auch Zuspruch von der Konkurrenz.

(Bild: Anthropic)

OpenAI-Mann Altman nannte das eine gute Idee und kündigte an, dass OpenAI das ebenso machen werde. Tech-Milliardär Elon Musk, lange ein Kritiker Amodeis, schrieb auf X: „Dario hat recht.“

Die aktuelle Sicherheitsdebatte hat dabei offenbar bereits auch Folgen für die strategischen Entscheidungen der Unternehmen. Sam Altman sagte etwa dem Magazin „Fortune“, dass der mit Spannung erwartete Börsengang von OpenAI in diesem Jahr wohl nicht mehr stattfinden werde. Auch im Hinblick auf die aktuellen Entwicklungen sagte er: „Man wäre schlecht beraten, genau jetzt an die Börse zu gehen.“ Als offene Aufgaben nannte Altman insbesondere die „Sicherheit und Ausrichtung“ der Modelle.

Bei der jüngst bekannt gewordenen aufsehenerregenden Hacking-Attacke war Software von OpenAI in einem Testlauf eigenständig aus einer abgesicherten Umgebung ausgebrochen und drang auf eigene Faust in Systeme der KI-Firma HuggingFace ein. Für die Attacke nutzten die KI-Agenten unter anderem Sicherheitsschwachstellen aus und tauschten Informationen über einen selbst aufgebauten Kommunikationskanal aus. Zeitweise arbeiteten nach Angaben der beteiligten Unternehmen Hunderte Agenten koordiniert zusammen und teilten sich Aufgaben bei der Suche nach Schwachstellen und Zugangsdaten auf.

Weiterlesen nach der Anzeige

Für Anthropic-Chef Amodei zeigt der Vorfall, welches Schadenspotenzial solche Systeme im Schwarm künftig entwickeln könnten. Als besonders riskant stuft er die Fähigkeit der Software ein, sich selbst weiterzuentwickeln. Seit diesem Sommer sei Künstliche Intelligenz besser darin – und dies erhöhe das Tempo weiter. Er warnte davor, dass Menschen die Systeme künftig nicht mehr verstehen und damit die Kontrolle über sie verlieren könnten.

Amodei hatte schon in den vergangenen Jahren immer wieder vor Risiken bei der Entwicklung Künstlicher Intelligenz gewarnt – und war dafür aus Teilen der KI-Branche teils heftig kritisiert worden. Befürworter eines hohen Entwicklungstempos verweisen dabei auf den Wettbewerb mit China. Dieses Argument vertritt das Weiße Haus beziehungsweise Präsident Donald Trump.

Anthropic entwickelte zuletzt das KI-Modell Mythos, das besonders gut darin ist, bislang unentdeckte Software-Schwachstellen aufzuspüren. Die vollständige Version stellt das Unternehmen nur ausgewählten Behörden und Unternehmen zur Verfügung, damit diese ihre Computersysteme absichern können.

Zusätzlichen Schub erhielt die Debatte durch den Rücktritt des Anthropic-Forschers Jacob Coxon, der zuvor für OpenAI gearbeitet hatte. Er warf beiden Unternehmen vor, bei der Entwicklung leistungsfähiger KI nicht verantwortungsvoll zu handeln. Allerdings differenzierte er dabei auch: OpenAI habe die Tragweite der Risiken womöglich nicht erkannt, während Anthropic sich der Gefahren bewusst sei.

Das Unternehmen sehe sich jedoch zu einem Wettlauf gezwungen, weil es seinen Konkurrenten nicht zutraue, verantwortungsvoll zu handeln. Die großen KI-Entwickler „spielen mit unseren Leben“, schrieb Coxon auf X.

Unterstützung erhielt Coxon wenig später von seinem Anthropic-Kollegen Evan Hubinger, der daran arbeitet, KI-Systeme an menschlichen Interessen auszurichten. Er teile Coxons Sorgen und schätze die Wahrscheinlichkeit, dass KI im kommenden Jahrzehnt die Menschheit auslöschen könnte, auf mehr als zehn Prozent, schrieb Hubinger auf X.

Lesen Sie auch


(ssi)



Source link

Datenschutz & Sicherheit

KW 46: Die Woche, in der wir Richtung Geheimpolizei gehen


Liebe Leser*innen,

Deutschland ist auf dem Weg, eine Art Geheimpolizei zu schaffen. Und gemessen daran, was die schwarz-rote Koalition am gestrigen Freitag erfolgreich durch den Bundestag gebracht hat, sind die Reaktionen bisher erstaunlich zurückhaltend. Kaum jemand protestiert dagegen, dabei ist diese Reform aus dem Hause Dobrindt (CSU) wirklich ein Umbruch.

Agent*innen des Verfassungsschutzes sollen etwa das Recht bekommen, heimlich Wohnungen von Bürger*innen betreten zu dürfen. Sie sollen sogar Datenträger heimlich zerstören oder manipulieren dürfen, Informationen löschen.

Wer aus welchen Gründen auch immer auf dem Radar des Verfassungsschutzes landet, wird womöglich nie erfahren, wer in der Wohnung war und warum. Denn anders als die Polizei, die bisher erst nach richterlicher Anordnung eine Wohnung durchsuchen und dabei viele Regeln befolgen muss, müssen „echte Geheimdienste“, wie Dobrindt sie jetzt nennt, kaum Rechenschaft ablegen.

Das ist eine ganz schön harte Gangart für einen Rechtsstaat. Besonders für einen Rechtsstaat wie Deutschland, wo die Aufgaben von Geheimdiensten und Polizei ganz bewusst getrennt wurden, als Lehre aus dem Nationalsozialismus und der Brutalität, mit der die Geheime Staatspolizei damals gegen Jüd*innen und politisch Andersdenkende vorging. Das Trennungsgebot war ein wichtiger Pfeiler der Vorsicht, um den Sicherheitsapparat einzuhegen und Menschen vor Übergriffen des Staates zu schützen.

Das heimliche Betreten von Wohnungen ist nur eine von vielen problematischen neuen Befugnissen. Meine Kollegin Anna Biselli hat sie nochmal hier aufgezählt. Die Linken-Abgeordnete Clara Bünger hielt gestern im Bundestag eine flammende Gegenrede. Flankiert wurde sie von den Warnrufen vieler Menschenrechtsorganisationen. Konstantin von Notz von den oppositionellen Grünen lobte hingegen die Arbeit der Koalition: „Heute ist ein guter Tag für die Sicherheit der Bundesrepublik Deutschland“.

Öl ins Feuer

Die Bundesregierung gießt mit dieser Reform Öl ins Feuer: Sie rüstet den Überwachungsstaat auf und beschneidet Grundrechte. Das ist besonders gefährlich in einer Zeit, in der Rechtsextreme in Richtung Regierung drängen. Denn der Schutz demokratischer Werte und Errungenschaften beginnt schon, bevor die Rechtsradikalen an den Hebeln der Macht sitzen.

Auch deswegen haben wir eng und detailliert über dieses Gesetz berichtet. Wie so oft haben wir es nicht verhindern können. Doch wir wollen wenigstens, dass die kritischen Stimmen so laut wie möglich sind und dass das historische Ausmaß klar wird, in dem diese Reform unsere Demokratie verändert. Es ist wahrlich eine „Jahrhundertreform“, wie Alexander Dobrindt sagt – nur nicht im guten Sinne.

Wir sagen nicht nur laut, was schief läuft und gefährlich für unsere Verfassung ist. Wir denken Sicherheit auch anders und neu. Als echte Sicherheit, die schon bei unseren Lebensgrundlagen anfängt, bei Bildung, sozialer Sicherung oder Klimaschutz.

Damit Grund- und Freiheitsrechte eine hörbare Stimme haben, suchen wir derzeit Unterstützung. Bis Sonntag läuft noch unsere Suche nach Brandschutzhelfer*innen: Menschen, die uns mit einem monatlichen Betrag unterstützen.

Für uns macht das einen großen Unterschied, denn regelmäßige Unterstützung wirkt nachhaltiger als eine Einzelspende.Wir können damit Recherchen langfristig anlegen und zugleich in die Tiefe gehen. Wir müssen seltener um Unterstützung bitten und können mehr Energie in die redaktionelle Arbeit stecken.

Wenn du unsere Arbeit mit einer Dauerspende unterstützt, können wir dranbleiben – an der Geheimdienstreform, an dieser Bundesregierung und an allen Versuchen, die unsere Verfassung gefährden. Wir wühlen uns durch die Bleiwüsten von Gesetzen, um klar und deutlich zu sagen, was passiert.

Das geht nur mit Deiner Hilfe.

Chris



Source link

Weiterlesen

Datenschutz & Sicherheit

Amazon Ring rüstet auf: Endlich autonome Drohnen für die Heimüberwachung!


Es gibt solche Meldungen, wo man einfach nur noch den Kopf schütteln kann. Also einerseits darüber, wie man als Journalist eine Drohne zur Heimüberwachung so genügsam heruntererzählen kann, als habe irgendwer gerade ein neues Druckermodell oder eine elektrische Zahnbürste herausgebracht.

Andererseits über das Produkt selbst: Wir sind jetzt also bei autonomen Überwachungsdrohnen für den Heimgebrauch angekommen. Fliegende Kameras, die mit der notorischen Amazon-Videoüberwachung gekoppelt das Eigenheim absichern sollen.

Zunächst soll die Drohne nur in den USA verkauft werden. Bei Heise heißt es dazu nüchtern:

Sie harrt in ihrer Ladestation aus und startet ihre Kontrollflüge anhand zuvor festgelegter Routen und Zeitpläne. Zudem kann die Drohne in ein bestehendes Ring-Ökosystem eingebunden werden. Dann führt die Ring Drone automatisch einen Kontrollflug in Innenbereichen zu festgelegten Punkten durch, wenn ein Alarm von einer Ring-Kamera, einem Sensor oder einem Alarmsystem ausgelöst wird. Dort erfasst die Drohne dann die Umgebung durch eine 360-Grad-Flugbewegung und sendet die Bilder an Smartphones von Nutzerinnen und Nutzern.

Schöne neue Welt.

 

Wie die Polizei mit vernetzten privaten Kameras amerikanische Kleinstädte überwacht

Eigentlich ist Sarkasmus fehl am Platze. Denn Amazon Ring rüstet seit Jahren private Haushalte mit Überwachungs-Gagdets aller Art auf – und erweitert dadurch die Überwachungssphäre des Staates massiv.

Behörden bekommen zum Nulltarif eine Überwachung von Wohnungen, Vorgärten und Straßen aufgebaut.
Sie können die Aufnahmen per Knopfdruck beim Bürger anfragen oder sie von Amazon bekommen, manchmal ohne richterlichen Beschluss und machmal auch mit. Schon vor fünf Jahren arbeiteten 2.000 US-Behörden mit Amazon bei dieser Form der Überwachung zusammen.

Nie war der Ausbau der Videoüberwachung so billig. Die Bürger:innen protestieren nicht dagegen. Sie schrauben die Kameras selbst an die Wand. Sie zahlen sie sogar mit Freude.

Win Win Win für den Überwachungsstaat – und für Amazon.



Source link

Weiterlesen

Datenschutz & Sicherheit

Operation Endgame: Weltweiter Schlag gegen Cybercrime


In einer international von Europol koordinierten Aktion aus dem Umfeld der „Operation Endgame“ sind Strafverfolger gegen 235 Server und 257 Domains aus dem Malware-Umfeld von Gootloader, CastleRAT und StealC vorgegangen. Die Malware-Verteilungsnetzwerke seien dadurch empfindlich gestört, teilt Europol zur jüngsten Runde der Operation mit.

Weiterlesen nach der Anzeige

Europol erklärt in der Mitteilung, dass sie mit „Operation Endgame“ insbesondere „Cybercrime-as-a-Service“-Geschäftsmodelle im Visier haben. Die dabei eingesetzten Tools ermöglichten weitere Straftaten wie Ransomware-Angriffe und Datendiebstahl. Die Strafverfolger haben zudem mit Unternehmen aus der Wirtschaft zusammengearbeitet. Sie sind gegen drei bösartige Toolkits vorgegangen: Bei Gootloader handelt es sich um einen Dropper/Loader, der unbefugten Zugriff auf Computer ermöglicht. Er kommt üblicherweise in Form gefälschter juristischer Dokumente auf kompromittierten Webseiten – oftmals geknackte WordPress-Seiten – auf die Rechner der Opfer. Die Täter setzen oft auf Erpressung durch Installation von Ransomware. Allein zu Gootloader haben die Ermittler 14 Server und 218 Domains vom Netz genommen, 681 infizierte Webseiten wurden bereinigt.

Der Remote-Access-Trojan (RAT) CastleRAT ist demnach seit dem Jahr 2025 bekannt. Er ermöglicht den Missbrauch infizierter Computer aus der Ferne. CastleRAT liefere eine moderne technische Architektur, erörtern die Ermittler. Er lasse sich flexibel verteilen und nutze Mechanismen, die die Erkennung erschweren. Auch mit CastleRAT haben die Angreifer zahlreiche Daten verschlüsselt und ganze IT-Systeme lahmgelegt, um die Betroffenen um Lösegeld zu erpressen. 120 der Server betrafen das RAT, dazu gehören zudem 39 der beschlagnahmten Domains. Die Daten von Opfern wurden zudem weitergegeben, um sie zu warnen. Außerdem waren 102 der Server für den Infostealer StealC zuständig. Der wurde über zahlreiche Angriffsvektoren verteilt und dient dazu, sensible Informationen wie Zugangsdaten und Passwörter, digitale Identitäten und mehr von infizierten Computern auszuleiten. Die Täter missbrauchen die Daten dann etwa für Handel und Betrügereien.

Mehr als 6 Millionen Zugangsdaten von Opfern haben die Ermittler in der kriminellen Infrastruktur ausfindig gemacht. Die Angreifer hätten die Daten verkauft, sodass sie später auch für Cyberangriffe etwa mit Ransomware missbraucht werden können. Die Daten der Opfer haben die Ermittler etwa mit dem Have-I-Been-Pwned-Projekt, DIVD, CheckjeHack, NoMoreLeaks, Sekoia, der Shadowserver Foundation und dem NL-NCSC geteilt, damit diese die Opfer über den Diebstahl durch die CastleRAT-Malware informieren können. Europol rät WordPress-Nutzerinnen und -Nutzern, ihre Zugangsdaten zu erneuern und Mehr-Faktor-Authentifizierung einzusetzen – außerdem sollen sie Schwachstellen in ihren Installationen patchen.

An der Aktion waren zahlreiche internationale Strafverfolgungsbehörden aus Europa, Kanada und den USA beteiligt. Aus Deutschland wirkte das Bundeskriminalamt mit. Beim Infostealer StealC knüpft die jetzige Aktion an die Juni-Runde an, in der die Ermittler auch gegen die Malware „SocGholish“ vorgegangen waren.


(dmk)



Source link

Weiterlesen

Beliebt