Eigentlich gibt es sogar zwei gpt-oss-safeguard-Modelle – nämlich in den Größen 120b und 20b. Beides sind Open-Weight-Reasoning-Modelle von OpenAI und dafür gedacht, in Unternehmen eingesetzt zu werden. Fokus bei der Entwicklung lag auf der möglichen Durchsetzung von Sicherheitsmaßnahmen – daher auch der Name. Unternehmen haben ganz unterschiedliche Anforderungen an das, was ein Modell kann, beziehungsweise, wo die Grenzen der darauf aufbauenden Anwendungen liegen.

Zudem können die Modelle an die eigene Infrastruktur angepasst werden. Sie stehen unter Apache 2.0-Lizenz. Sie sind bei Hugging Face verfügbar. Wie üblich bei KI handelt es sich um eine Preview.

Dass die Modelle spezialisiert sind auf Sicherheitsmaßnahmen, bedeutet, dass sie besonders gut Richtlinien befolgen können. Dafür nutzt das jeweilige Modell Schlussfolgerungen – also die Reasoning-Fähigkeit. Richtlinien, die Entwickler selbst festlegen können, werden laut OpenAI bereits zum Zeitpunkt der Inferenz interpretiert. Zudem können die Gedankenketten des Modells eingesehen und überprüft werden. Das soll dabei helfen, zu verstehen, wie Modelle zu Entscheidungen gekommen sind. Darauf aufbauend lassen sich dann wiederum weitere Maßnahmen ergreifen. Da die Modelle beim Verarbeiten einer Anfrage die vorgegebenen Richtlinien abarbeiten, ist es besser möglich, iterativ weitere Richtlinien festzulegen, wenn der Bedarf entsteht. Andere Modelle, so schreibt es OpenAI, die Richtlinien bereits im Training lernten, könnten nicht so gut auf neue Anforderungen reagieren.

Da im Blogbeitrag von OpenAI auch steht, dass die neuen Modelle Anwendung finden, wenn Latenz nicht so wichtig sei wie qualitativ hochwertige Reaktionen, dürfte der Reasoning-Prozess das Antworten etwas verlangsamen.

Bei der Entwicklung von gpt-oss-safeguard hat OpenAI mit ROOST zusammengearbeitet. Das ist eine Community, die sich dem Aufbau einer robusten, offenen und sicheren KI-Infrastruktur verschrieben hat.

Sicherheitsmaßnahmen für geschlossene Modelle

Wer OpenAIs geschlossene Modelle nutzt, kann beispielsweise über die Realtime-API auf ein integriertes Moderationssystem zugreifen. Entwickler können hier die Ausgabe abbrechen, sobald das Gespräch in eine unerwünschte Richtung geht. Freilich kommen alle gpt-Modelle mit bereits eingebauten Richtlinien und Leitplanken daher.

Zuletzt hatte OpenAI weitere Sicherheitsmaßnahmen für ChatGPT eingeführt. Dabei geht es um den Schutz von Personen mit mentalen Gesundheitsproblemen.

(emw)

Für den KI-Dienst GitHub Copilot lassen sich nun benutzerdefinierte Agenten (Custom Agents) erstellen. Microsoft, der Mutterkonzern von GitHub, hat das bereits für seine Programmiersprache C# und sein .NET-GUI-Toolkit Windows Forms (WinForms) umgesetzt. Die neuen Agenten sollen unter anderem helfen, Best Practices einzuhalten. Weitere Custom Agents haben schon unter anderem die GitHub-Partner Dynatrace, HashiCorp, Databricks und JFrog erstellt.

Custom Agents für GitHub Copilot können mit Informationen zu Team-Workflows, Konventionen und individuellen Anforderungen gefüttert werden. Anschließend lassen sie sich durch Prompts, Toolauswahl und das Model Context Protocol (MCP) weiter spezialisieren. Dabei können sowohl Unternehmen als auch Teams oder einzelne Entwicklerinnen und Entwickler einen solchen Agenten erstellen.

Derzeit lassen sich die benutzerdefinierten Agenten auf github.com und im Copilot-CLI verwenden. Künftig soll auch Visual Studio Code folgen. Einen ersten Blick darauf bietet das VS-Code-Insiders-Programm.

KI-Agenten für C# und WinForms

Microsoft hat bereits Custom Agents für C# und WinForms erstellt: unter den Namen C# Expert und WinForms Expert. Der C#-Agent ist darauf ausgelegt, sich wie ein C#-Experte zu verhalten und sauberen, gut designten, fehlerfreien, sicheren, les- und wartbaren Code zu erstellen, der .NET-Konventionen folgt. Der WinForms-Experte folgt analog dazu den Design- und Codingprinzipien von Windows Forms. Unter anderem bevorzugt er beim Erstellen neuer Projekte das anstehende Release .NET 10.0 sowie bekannte, stabile und weitverbreitete NuGet-Pakete in ihrer aktuellsten Stable-Major-Version (zum Beispiel 2.x).

Beide Agenten sind noch experimentell. Um sie zu verwenden, laden Entwicklerinnen und Entwickler die Markdown-Dateien CSharpExpert.agent.md und WinFormsExpert.agent.md aus dem Repository @github/awesome-copilot herunter. Anschließend fügen sie die Dateien zum Ordner .github/agents in ihrem Repo hinzu.

Dann lässt sich der entsprechende KI-Experte auswählen, etwa im Insider-Programm für Visual Studio Code per Dropdown-Menü:

Weitere Informationen zu Custom Agents lassen sich einem GitHub-Blogeintrag entnehmen. Die experimentellen C#- und WinForms-Agenten stellt Microsoft auf seinem Entwicklerblog vor.

(mai)

Im JavaScript-Paketmanager npm waren seit Anfang Juli Pakete mit gut verstecktem Schadcode verfügbar. Das auf Software-Supply-Chain-Security spezialisierte Unternehmen Socket hat zehn Pakete gefunden, die zusammen auf 9900 Downloads kommen. Laut dem Socket-Blog waren sie am 28. Oktober noch auf npm verfügbar, sind dort inzwischen aber nicht mehr zu finden.

Die Pakete laden einen für das Betriebssystem passenden Infostealer nach, der unter Windows, macOS und Linux Zugangsdaten abgreift. Der Angriff ist mehrfach verschleiert.

Typosquatting als Türöffner

Die Angreifer setzen bei der Verteilung des Schadcodes auf Typosquatting: Die npm-Pakete tragen ähnliche Namen wie legitime Packages, darunter typescriptjs statt TypeScript und dizcordjs statt discord.js. Socket hat folgende Pakete mit Schadcode gefunden: typescriptjs, deezcord.js, dizcordjs ,dezcord.js, etherdjs, ethesjs, ethetsjs, nodemonjs, react-router-dom.js und zustand.js.

Die Installationsroutine, die sich im "postinstall" der Konfiguration in package.json befindet, öffnet betriebssystemabhängig ein neues Terminalfenster, in dem sie dann mittels Node die Anwendung app.js startet. Auf die Weise bleibt die Ausführung im Hauptfenster verborgen.

Mehrfach verschleierter Schadcode

Die Datei app.js verschleiert den Schadcode mit unterschiedlichen Methoden, darunter URL-Encoding und Switch-Anweisungen mit hexadezimalen und oktale Berechnungen:

// Control flow obfuscation makes it difficult to follow execution path
var kMvc = (0x75bcd15-0O726746425);  // Evaluates to 0
while(kMvc < (0o1000247%0x10023)) {  // Loop condition with mixed bases
  switch(kMvc) {
    case (0x75bcd15-0O726746425):  // Case 0
      kMvc = condition ? (262270%0o200031) : (0o204576-67939);
      break;
    case (0o203030-67070):  // Case 1
      // Actual logic here
      break;
  }
}

Die Kommentare im Codeausschnitt stammen von Socket. Um authentisch zu wirken, zeigt die Malware schließlich vor dem Start ein CAPTCHA als ASCII Art an.

Nach der Eingabe einer beliebigen Zeichensequenz – das CAPTCHA ist eine reine Ablenkungsmaßnahme – sendet der Schadcode die IP-Adresse des Zielsystems an einen Server der Angreifer und lädt ein Binary herunter, das zum zuvor ermittelten Betriebssystem passt.

Cross-Plattform-Infostealer

Dafür wechselt die Schadsoftware die Programmiersprache auf Python: Der Schadcode findet sich in dem PyInstaller-Paket mit dem in keinster Weise verschleierten Namen „data_extracter“. PyInstaller verpackt eine Python-Anwendungen mit allen Dependencies in ein Paket und führt es auf dem Zielsystem aus. PyInstaller ist für Linux, Windows und macOS verfügbar und benötigt keine Python-Installation.

data_extracter sucht in zahlreichen Verzeichnissen und Dateien nach Zugangsdaten, darunter Firefox- und Chromium-Datenverzeichnisse, Directories für SSH-Schlüssel und Konfigurationsverzeichnisse wie ~/.aws/credentials. Das Programm durchsucht unter anderem SQLite-Datenbankdateien und JSON-Konfigrautionsdateien auf API-Keys und andere Credentials.

Die Anwendung greift zudem Cookie-Daten aus dem Browser ab und untersucht betriebssystemabhängig die Keyrings. Außerdem versucht sie Authentifizierungs-Token abzugreifen. Die gesammelten Credentials verpackt der data_extracter in eine Zip-Datei, die er schließlich an einen Server der Angreifer sendet.

Wer eins der genannten Pakete installiert hat, muss davon ausgehen, dass die Angreifer Daten abgegriffen haben. Auch wenn die gefundenen Pakete inzwischen nicht mehr zu finden sind, waren sie über drei Monate im Umlauf, und schon aufgrund der ausgefeilten Verschleierungstechniken könnten andere Pakete mit einer Variante des Angriffs betroffen sein.

Weitere Details zu den betroffenen Paketen, der Netzwerkinfrastruktur und den verwendeten MITRE ATT&CK-Techniken finden sich im Socket-Blog.

Der Vorfall ist ein erneutes Indiz, dass npm für Supply-Chain-Angrffe anfällig bleibt. Entwickler können jedoch einige Schutzmaßnahmen ergreifen.

(rme)