Connect with us

Entwicklung & Code

Neu in .NET 10.0 [39]: JSON Patch


close notice

This article is also available in
English.

It was translated with technical assistance and editorially reviewed before publication.

.

Die JSON-Bibliothek System.Text.Json beherrscht nun den JSON Patch-Standard nach RFC 6902. JSON Patch ist ein standardisiertes Format, um Änderungen an JSON-Dokumenten in Form einer Sequenz von Operationen auszudrücken. Jede Operation spezifiziert dabei den Typ der Änderung (add, remove, replace, move, copy oder test) sowie den Pfad innerhalb des JSON-Dokuments, auf den sich die Modifikation bezieht.

Weiterlesen nach der Anzeige


Der Dotnet-Doktor – Holger Schwichtenberg

Der Dotnet-Doktor – Holger Schwichtenberg

Dr. Holger Schwichtenberg ist technischer Leiter des Expertennetzwerks www.IT-Visions.de, das mit 53 renommierten Experten zahlreiche mittlere und große Unternehmen durch Beratungen und Schulungen sowie bei der Softwareentwicklung unterstützt. Durch seine Auftritte auf zahlreichen nationalen und internationalen Fachkonferenzen sowie mehr als 90 Fachbücher und mehr als 1500 Fachartikel gehört Holger Schwichtenberg zu den bekanntesten Experten für .NET und Webtechniken in Deutschland.

Durch diese strukturierte Beschreibung lassen sich inkrementelle Änderungen effizient übertragen, ohne das gesamte Dokument erneut austauschen zu müssen. Insbesondere in RESTful Web-APIs ist JSON Patch ein etabliertes Mittel, um partielle Updates über HTTP-PATCH zu implementieren.


betterCode() .NET 11.0

betterCode() .NET 11.0

(Bild: King / stock.adobe.com)

Das ist neu in .NET 11.0: Dr. Holger Schwichtenberg und weitere Experten präsentieren am 17. November 2026 auf der Online-Konferenz betterCode() .NET 11.0 die Änderungen für Entwicklerinnen und Entwickler. Tickets zum Frühbucherpreis sind im Online-Shop verfügbar.

Ein wesentliches Merkmal von JSON Patch ist die strikte Definition der Pfadangaben über JSON Pointer (RFC 6901), siehe Beispiel in folgender Tabelle. Dadurch werden Änderungen eindeutig und positionsgenau adressiert. JSON Patch eignet sich auch für komplexe Datenmodelle mit tiefen Verschachtelungen oder Arrays.

Operation Beschreibung Felder Beispiel
add Fügt einen Wert an einem bestimmten Pfad hinzu. path, value { „op“: „add“, „path“: „/a/b/c“, „value“: „foo“ }
remove Entfernt den Wert an einem bestimmten Pfad. path { „op“: „remove“, „path“: „/a/b/c“ }
replace Ersetzt den Wert an einem Pfad durch einen neuen. path, value { „op“: „replace“, „path“: „/a/b/c“, „value“: 42 }
move Verschiebt einen Wert von einem Pfad zu einem anderen. from, path { „op“: „move“, „from“: „/a/b/c“, „path“: „/a/b/d“ }
copy Kopiert einen Wert von einem Pfad zu einem anderen. from, path { „op“: „copy“, „from“: „/a/b/c“, „path“: „/a/b/e“ }
test Prüft, ob ein Wert an einem Pfad einem bestimmten Wert entspricht. path, value { „op“: „test“, „path“: „/a/b/c“, „value“: „foo“ }

Der Vorteil von JSON Patch zeigt sich insbesondere bei großen Objekten und eingeschränkter Bandbreite, da nur inkrementelle Änderungen übertragen werden. Bei sehr kleinen Datenstrukturen kann der Mehraufwand für das Erzeugen und Verarbeiten eines Patch-Dokuments größer sein als der Gewinn gegenüber einem vollständigen Update.

Bisher musste man für JSON Patch die ältere Community-Bibliothek Newtonsoft.Json einsetzen. Nun geht es auch mit der neueren Microsoft-Bibliothek System.Text.Json.

Weiterlesen nach der Anzeige

Für JSON Patch mit System.Text.Json gibt es eine Erweiterung für System.Text.Json in Form des neuen NuGet-Pakets Microsoft.AspNetCore.JsonPatch.SystemTextJson, das erstmalig zusammen mit .NET 10.0 Preview 4 erschienen ist.

Trotz des „AspNetCore“ im Namen funktioniert dieses Zusatzpaket auch außerhalb von ASP.NET Core.

Microsoft verspricht in der neuen Implementierung „eine verbesserte Leistung und weniger Speichernutzung im Vergleich zu der existierenden Implementierung in Newtonsoft.Json“ in Verbindung mit einem ähnlichen Design wie bei Newtonsoft.Json, einschließlich der Aktualisierung eingebetteter Objekte und Arrays. Bisher nicht verfügbar ist JSON Patch für dynamische Objekte, weil Newtonsoft.Json dafür Reflection einsetzt. System.Text.Json soll aber auch mit dem NativeAOT-Compiler funktionieren.

Leider funktioniert das neue JSON-Patch-Paket nicht in Verbindung mit dem NativeAOT-Compiler des modernen .NET, sondern nur mit dem Just-in-Time-Compiler.

Im NuGet-Paket Microsoft.AspNetCore.JsonPatch.SystemTextJson gibt es eine Klasse Microsoft.AspNetCore.JsonPatch.SystemTextJson.JsonPatchDocument mit einer Methode ApplyTo(obj), die eine JSON-Patch-Operation auf das übergebene Objekt anwendet. Vor dem Anwenden von ApplyTo() lädt man das JSON-Patch-Dokument via JsonSerializer.Deserialize>() in eine Instanz von JsonPatchDocument.

ApplyTo() erwartet im zweiten Parameter vom Typ Action eine Methode, die als Parameter Objekte vom Typ JsonPatchError entgegennimmt. Als JsonPatchError signalisiert ApplyTo() fehlerhafte Operationsnamen, fehlerhafte Pfade und fehlgeschlagene Test-Operationen. Wenn bei einer oder mehreren Operationen ein Fehler auftritt, werden die übrigen fehlerfreien Operationen dennoch verarbeitet.

Folgender Code zeigt ein Beispiel für eine Objekthierarchie:


public class Person
 {
  public string FirstName { get; set; }
  public string LastName { get; set; }
  public string PrivateWebsite { get; set; }
  public string CompanyWebsite { get; set; }
  public string PrivateEmail { get; set; }
  public string OfficeEmail { get; set; }
  public List PhoneNumbers { get; set; } = new();
  public Address Address { get; set; }
 }
 
 public class Address
 {
  public string Street { get; set; }
  public string City { get; set; }
  public string State { get; set; }
  public string ZipCode { get; set; }
 }
 
 public enum PhoneNumberType
 {
  Mobile,
  Home,
  Work,
  Other
 }
 
 public class PhoneNumber
 {
  public string? Number { get; set; }
  public PhoneNumberType Type { get; set; }
 }


Der folgende Codeausschnitt verändert die Objekthierarchie mit JSON Patch:


public void JSONPatchDemo()
 {
  CUI.Demo();

  // Originalobjekt
  var person = new Person
  {
   FirstName = "Holger",
   LastName = "Schwichtenberg",
   PrivateEmail = "buero@IT-Visions.de",
   PrivateWebsite = "www.dotnet-doktor.de",
   CompanyWebsite = "www.IT-Visions.de",
   PhoneNumbers = [new PhoneNumber() { Number = "0201 649590-0", Type = PhoneNumberType.Work }],
   Address = new Address
   {
    Street = "Fahrenberg 40b",
    City = "Essen",
    State = "NRW"
   }
  };

  CUI.H2("Ausgabe des Objekts in seinem alten Zustand");
  CUI.Print(ITVisions.ObjectDumper.Dump(person));

  #region ------------------- Beispiel 1: Anwenden eines JSON-Patch-Dokuments auf ein Objekt
  // JSON-Patch-Dokument: Erlaubte Operationen nach RFC 6902 sind: "add", "remove", "replace", "move", "copy" und "test"
  string jsonPatch = """
[
    { "op": "test", "path": "/FirstName", "value": "Holger" },
    { "op": "test", "path": "/LastName", "value": "Schwichtenberg" },
    { "op": "replace", "path": "/FirstName", "value": "Dr. Holger" },
    { "op": "move", "from": "/PrivateEmail", "path": "/OfficeEmail" },
    { "op": "remove", "path": "/PrivateWebsite" },
    { "op": "add", "path": "/Address/ZipCode", "value": "45257" },
    { "op": "add", "path": "/PhoneNumbers/-", "value": { "Number": "0201 649590-40" } }
]
""";

  // JSON-Patch-Dokument laden
  JsonPatchDocument patchDoc = JsonSerializer.Deserialize>(jsonPatch);

  // JSON-Patch-Dokument anwenden auf das Person-Objekt mit ApplyTo()
  patchDoc!.ApplyTo(person, patchError => CUI.PrintError(patchError.ErrorMessage));

  CUI.H2("Ausgabe des Objekts in seinem neuen Zustand");
  CUI.Print(ITVisions.ObjectDumper.Dump(person));
#endregion
}



Screenshot

Screenshot

Ausgabe des Beispielcodes (Abb. 1).

Alternativ kann man das Objekt auch als JSON ausgeben. Das habe ich im obigen Listing bewusst ausgelassen, damit nicht der Eindruck entsteht, man müsse das Objekt als JSON weiterverwenden. Folgender Code zeigt die Ausgabe als JSON:


// Ausgabe des Resultats
var serializerOptions = new JsonSerializerOptions()
  {
   IndentSize = 1, WriteIndented=true, IncludeFields = true,
  };
 
Console.WriteLine(JsonSerializer.Serialize(person, serializerOptions));



Screenshot

Screenshot

Ausgabe des geänderten Objekts im JSON-Format (Abb. 2).


(rme)



Source link

Verwandte Themen:
Weiterlesen

Entwicklung & Code

AWS Emulator im Detail: Die ganze Cloud auf dem eigenen Rechner?


close notice

This article is also available in
English.

It was translated with technical assistance and editorially reviewed before publication.

.

Amazon Web Services (AWS) hat einen eigenen AWS Emulator veröffentlicht. Er bildet die AWS-APIs auf dem eigenen Rechner nach, AWS CLI, SDKs und Coding-Agenten schicken ihre Aufrufe an einen lokalen HTTPS-Endpunkt. Mit seinem Stolz darauf, dass der Emulator vollständig von KI-Agenten entwickelt wurde, setzte sich AWS aber direkt in die Nesseln: Die Rezeption fiel kritisch aus – wie bei hundertprozentig KI-generierter Software zurzeit üblich – und dem Vergleich mit etablierten Drittanbieter-Tools wie LocalStack hält der Emulator wohl noch nicht stand.

Weiterlesen nach der Anzeige

Entwickler könnte er dennoch interessieren: AWS-Anwendungen lassen sich ohne Deployment lokal testen, CI/CD-Pipelines brauchen keine AWS-Zugangsdaten mehr und – was AWS besonders unterstreicht – Coding-Agenten können schneller und risikoärmer Ressourcen anlegen und Ergebnisse prüfen. AWS bringt also agentisch entwickelte Software für die Entwicklung mit Agenten. Es fällt keine Servicegebühr an, ein AWS-Konto braucht es nicht und der Quellcode steht unter der CC0-Lizenz auf GitHub.

iX-plore ist die Online-Serie des iX-Magazins für alle, die neue Tools und Technologien entdecken möchten. In kurzen Beiträgen stellen wir vor, was sie können, wofür sie sich eignen und warum sich ein genauerer Blick lohnen könnte.

Realismus dank Fidelity-Tests

Der Emulator ist in Rust geschrieben, die Dienste erzeugt AWS aus denselben API-Modellen, aus denen auch die SDKs entstehen. Kommt ein Dienst oder eine API hinzu, tauchen sie im Emulator auf. Alle Dienste, für die ein Modell im öffentlichen Repository AWS API Models liegt, werden auch unterstützt.

Wie genau der Emulator AWS nachbildet, misst AWS mit Fidelity-Tests. Jeder Test ist ein kurzes Python-Programm, das über das AWS-SDK boto3 einen Ablauf durchspielt, etwa ein Objekt zu speichern, zu lesen und wieder zu löschen. Die Abläufe werden dann gegen die echte Cloud geprüft, als Referenz dient die Region US West (Oregon), während globale Dienste in US East (N. Virginia) geprüft werden. Der Emulator besteht einen Test nur, wenn bei jedem Aufruf Statuscode, Antwort, Fehlercode und Fehlermeldung mit der Cloud übereinstimmen, dasselbe gilt für die Ressourcen und Daten, die der Ablauf erzeugt. Die Testsuite umfasst Zehntausende Tests, ist öffentlich und enthält auch die, die noch scheitern. Mit dem Python-Programm fidelity_tests_runner können Nutzer die Tests lokal gegen den Emulator laufen lassen.

Trotz der hohen API-Abdeckung hat die Emulation aber bewusste Grenzen: Für Sicherheitstests eignet sich das Tool laut AWS nicht, da es weder IAM- noch ressourcenbasierte Richtlinien wie die echte Cloud auswertet. Auch Cross-Account- und Cross-Region-Szenarien bildet es nicht ab, sämtliche Aufrufe laufen unter einer festen Dummy-Konto-ID.

Jede Instanz des Emulators bekommt einen eigenen Port, eigene Schlüssel und einen eigenen Zustand im Arbeitsspeicher. Mehrere Agenten oder CI-Jobs teilen sich also keine Buckets, Tabellen oder Queues und arbeiten parallel, ohne sich gegenseitig Ressourcen zu überschreiben. Nutzer des AWS SDK for Rust können den Emulator außerdem im Embedded-Modus betreiben, wobei er direkt ins Test-Binary kompiliert wird. Er läuft dann im selben Prozess und der Test übergibt dem SDK einen HTTP-Client des Emulators statt des Netzwerk-Connectors. Auch hier sind die Instanzen voneinander isoliert, sodass Tests parallel laufen können.

Weiterlesen nach der Anzeige

Installation und Betrieb

Coding-Agenten können den Emulator mit dem Skill aws-emulator direkt installieren, starten und verbinden, dafür braucht es allerdings die AWS CLI ab Version 2.35.0. Solche Skills sind im Prinzip Markdown-Anleitungen, die der Agent bei Bedarf lädt. Der Befehl aws agent-toolkit add-skill in der AWS CLI installiert sie für alle Agenten, die es auf dem Rechner findet. Unter Linux gibt es RPM- und Debian-Pakete, unter Windows und macOS einen Docker-Container. Ein fertiges Docker-Image gibt es nicht, das müssen Nutzer aus einem kurzen Dockerfile aus der Dokumentation zusammenbauen. Standardmäßig sendet der Emulator anonymisierte Nutzungsdaten an AWS, was sich jedoch per Start-Flag oder Umgebungsvariable abschalten lässt.

Wer den Emulator selbst kompiliert, braucht Linux auf x86_64 oder aarch64, eine Rust-Toolchain, einen C-Compiler und mindestens 100 GByte freien Speicherplatz für die Build-Artefakte. Jeder emulierte Dienst ist ein eigenes Rust-Paket (Crate), weshalb schon ein Debug-Build sehr groß wird. Das gilt auch für den Embedded-Modus, denn der erste cargo test-Lauf kompiliert sämtliche Service-Crates des Emulators mit. AWS empfiehlt, das Build-Verzeichnis in der CI zu cachen und den Emulator auf einen Release-Commit festzulegen.

„Vibecode“ von AWS?

Matthew Goldberg, Senior Principal Engineer im Developer-Tools-Team von AWS, setzt mit dem Emulator eine KI-Duftnote: Nicht nur ist die Software vor allem auf das schnelle Testen von agentischer KI zugeschnitten, sondern sie ist laut Amazons Firmenblog auch ausschließlich von autonomen Agenten geschrieben. Das Team hat den Code weder verfasst noch geprüft. Goldberg beschreibt, wie ihn der autonome Bau eines C-Compilers von Agenten dazu inspirierte und der Emulator aus einem simplen Wochenendprojekt hervorging. Ein Team von Agenten pflegt die Testsuite, ein zweites sucht Abweichungen von der echten Cloud, ein drittes setzt die Korrekturen um. Jede Änderung muss zudem vor dem Merge ein automatisiertes Quality Gate passieren, an dem weitere Agenten unter anderem die Sicherheit des Codes kontrollieren.

Die autonome Entwicklung lässt sich in den Repository-Verzeichnissen issues/things-that-now-work und issues/things-that-do-not-work nachvollziehen, in die die Agenten hineinschreiben. Menschliche Hilfe von außen ist dabei nicht vorgesehen: Zwar können Nutzer auf GitHub Fehler melden, Pull-Requests nimmt AWS für das Projekt aber nicht an. Ganz unabhängig von dem Tool an sich ist hier also anschaulich zu sehen, in welche Richtung Softwareentwicklung gerade steuert – und wie die großen Systemhäuser versuchen, Vibe-Coding sinnvoll anzugehen.


(kki)



Source link

Weiterlesen

Entwicklung & Code

Gestohlene Token: Secret-Stealer in Tausenden GitHub-Repositories


Mit gestohlenen Zugriffstoken für GitHub-Konten schleusen unbekannte Angreifer seit Dienstag Schadcode in Repositories ein, der die Secrets aus GitHub Actions und Cloudzugangsdaten abgreift.

Weiterlesen nach der Anzeige

Das Sicherheitsunternehmen Aikido zählt im Rahmen der auf den Namen wfx-loot getauften Kampagne bereits 4837 übernommene Konten, über die die Angreifer 61.764 Repositories attackiert haben. In mehr als 1800 Fällen sollen Workflows den Schadcode bereits ausgeführt haben.

Die Angreifer nutzen anscheinend keine Lücke in GitHub Actions aus, sondern missbrauchen die Schreibrechte gestohlener Token. Woher diese stammen, ist nur teilweise geklärt. Laut Fly.io wurden Token seiner GitHub-App missbraucht, die aus öffentlich erreichbaren .git/config-Dateien stammten; der Hoster widerruft sie. Eine Stellungnahme von GitHub liegt noch nicht vor.

Das Sicherheitsunternehmen SafeDep hat Schadcode-Commits bereits in über 8000 öffentlichen Repositories gefunden. Noch am Donnerstagmittag listete die GitHub-Suche mehr als 66.000 der typischen Test-Pull-Requests, rund 4300 davon vom selben Tag.

Ähnlich wie zuletzt beim Wurm testmetest erreichen Angreifer laut Aikido über Mitwirkenden- und Organisationsrechte mit über 10.000 Test-Pull-Requests auch Repositories, die den übernommenen Konten nicht selbst gehören. Damit können auch Organisationen betroffen sein, deren eigene Zugangsdaten gar nicht gestohlen wurden. Dürfen die Workflows eines Repositorys auf AWS oder Azure zugreifen, nutzt der Schadcode die erbeuteten Zugänge, um Hintertüren in den Cloudkonten einzurichten.

Spuren oft binnen einer Minute verwischt

Die Angreifer lassen ihren Opfern kaum Zeit zu reagieren. Sie öffnen zunächst einen Pull Request, um die Schreibrechte zu bestätigen. Dann folgt der eigentliche Schadcode: ein Shellskript, das die Angreifer in einen bestehenden Workflow einfügen, als neuen Workflow ablegen oder in npm-Projekten bei jeder Installation starten lassen.

Meist schon innerhalb einer Minute machen die Angreifer die Änderungen rückgängig und löschen den Workflow-Lauf samt Logs. Oft weist nur eine fehlende Laufnummer auf den Angriff hin. Eine Branch-Protection für vorgeschriebene Status-Checks kann das Skript mit gefälschten Erfolgsmeldungen aushebeln. Aikido zufolge setzt das Skript solche gefälschten Status-Checks tatsächlich ab; in den von SafeDep untersuchten Proben war diese Funktion dagegen nicht aktiviert.


Mit einem gestohlenen Token testen die Angreifer zuerst ihre Schreibrechte, bevor sie den Stealer auf einem von drei Wegen einschleusen und die Änderung wieder zurücknehmen.

Mit einem gestohlenen Token testen die Angreifer zuerst ihre Schreibrechte, bevor sie den Stealer auf einem von drei Wegen einschleusen und die Änderung wieder zurücknehmen.

Mit einem gestohlenen Token testen die Angreifer zuerst ihre Schreibrechte, bevor sie den Stealer auf einem von drei Wegen einschleusen und die Änderung wieder zurücknehmen.

(Bild: SafeDep)

Neben Token für KI-Dienste wie OpenAI, Anthropic oder Cursor fischt das eingeschleuste Skript insbesondere die Secrets aus GitHub Actions ab, außerdem Zugangsdaten für Clouddienste, Container-Umgebungen, Paketregister und SSH.

Weiterlesen nach der Anzeige

Haben die Bedrohungsakteure erst einmal Zugang zu Sitzungen bei AWS, Google Cloud und Azure, geht der Angriff weiter: Bei AWS öffnet das Skript eine IAM-Rolle für jedes AWS-Konto, in Azure trägt es zusätzliche Anmeldewege für Workflows aus dem kompromittierten Repository ein. Erbeutete Daten schickte das Skript laut Aikido in dieser Kampagne per HTTP an Server der Angreifer. SafeDep fand in untersuchten Payloads zudem eine Exfiltration über Telegram.

Selbsttest: Ein Pull Request verrät das gekaperte Konto

Entwicklerinnen und Entwickler, die seit Dienstag einen Branch wfx-docs, den Pull-Request docs: dependency audit notes oder Commits wie ci: refresh build cache, chore: add ci helper und chore: add dependency audit workflow in ihren Repositories finden, sollten das zugehörige Konto als kompromittiert ansehen, auch wenn noch kein Schadcode folgte. Verdächtig sind laut den Sicherheitsforschern von Aikido zudem kurzlebige Branches, die mit chore/ beginnen und auf acht Zufallszeichen enden. Betroffene sollten Token, OAuth-Freigaben und SSH-Schlüssel ihres Kontos widerrufen.

Wurde bereits Schadcode ausgeführt, müssen Betroffene neben dem Austausch der Secrets auch die Hintertüren eigens entfernen, etwa AWS-Rollen, die jedem Konto vertrauen, oder in Azure Federated Credentials mit dem Präfix wfx-ci-. Wer npm install auf einem betroffenen Commit ausgeführt hat, muss auch den eigenen Rechner als kompromittiert betrachten.

Der Schadcode gelangte auch in Paketdistributionen. Aikido nennt das Packagist-Paket digitalelvis/neuronai-studio 3.14.3 sowie die Go-Modul-Versionen github.com/onuragtas/docker-env v1.0.278 und v1.0.280. SafeDep führt darüber hinaus github.com/onuragtas/redock, eine weitere docker-env-Version und eine über den Go-Modul-Proxy verfügbare Pseudo-Version von github.com/vkuznet/gocurl auf. Bei den Go-Modulen liegt der Schadcode in einer GitHub-Actions-Workflow-Datei; ein gewöhnlicher Go-Build führt diese nicht aus. Wer ein solches Modul lediglich als Go-Abhängigkeit einbindet, ist dadurch wahrscheinlich nicht betroffen.


(mro)



Source link

Weiterlesen

Entwicklung & Code

htop für die Grafikkarte: GPU Taskman leuchtet den Grafikspeicher aus


close notice

This article is also available in
English.

It was translated with technical assistance and editorially reviewed before publication.

.

Mit GPU Taskman hat Microsoft-Vizepräsident und Softwareentwickler Scott Hanselman einen quelloffenen Task-Manager für Grafikkarten veröffentlicht. Das auf GitHub entwickelte Programm läuft unter Windows, Linux einschließlich WSL und macOS auf Apple Silicon. Seine Terminaloberfläche verbindet eine Prozessliste mit Gerätedaten zu Speicherbelegung, Auslastung, Temperatur, Leistungsaufnahme und Taktraten. Zu einzelnen Prozessen liefert es außerdem Hinweise auf erkannte Runtimes und Modelle. Welche Messwerte verfügbar sind, hängt von Betriebssystem, GPU, Treiber und Zugriffsrechten ab.

Weiterlesen nach der Anzeige

GPU-Metriken treffen auf Modellinformationen

GPU Taskman liest dafür nicht beliebige Inhalte des Grafikspeichers aus, sondern kombiniert mehrere Informationsquellen. Unter Windows stammen die prozessbezogenen Speicher- und Aktivitätswerte aus den Performance-Countern des Betriebssystems, Nvidias NVML und AMDs ADL ergänzen Gerätedaten. Geladene Bibliotheken geben Hinweise auf die Runtime. Per Memory-Mapping eingebundene Dateien und Kommandozeilenargumente helfen bei der Modellerkennung. Unterstützte lokale Server-APIs liefern zusätzliche Angaben.

Bei Modellen im GGUF-Format kann das Programm unter anderem Modellname, Parameterzahl und Quantisierung anzeigen sowie den Speicherbedarf von Gewichten und KV-Cache abschätzen. Der KV-Cache hält bereits berechnete Key- und Value-Vektoren der Attention-Schichten vor. Ein größeres Kontextfenster kann deshalb mehr Speicher erfordern, obwohl die Modellgewichte unverändert bleiben. GPU Taskman stellt solche Schätzungen dem gemessenen Speicherverbrauch des Prozesses gegenüber.

Dabei kennzeichnet das Tool die Herkunft seiner Angaben: Messungen, Schlussfolgerungen, Schätzungen und Angaben einer Laufzeitumgebung sind nicht gleichzusetzen. Eine Modelldatei auf der Festplatte beweist beispielsweise noch nicht, dass ein Prozess sie gerade verwendet. Nicht verfügbare Zähler erscheinen als unbekannt, nicht als null Speicherverbrauch. In Summen gehen nur gemessene Speicherwerte ein.

Mehr Hardware und Messwertaufzeichnung

Laut den Release Notes ergänzte Version 0.3.5 die Unterstützung für Intel-GPUs unter Linux mit den Treibern i915 und xe. Hinzu kamen eine Übersicht für CPU- und RAM-Auslastung sowie entsprechende Spalten je Prozess. Der Befehl gputaskman record zeichnet in regelmäßigen Abständen JSON-Snapshots auf. Damit lässt sich zum Beispiel verfolgen, wie sich die Speicherbelegung während eines Testlaufs verändert.

Version 0.4.0 ergänzt unter Linux weitere Intel-Messwerte: die Auslastung der GPU und ihrer Video-Engine sowie die Leistungsaufnahme integrierter Intel-GPUs. Für diese zusätzlichen Messwerte benötigt das Programm unter Linux Root-Rechte. Ohne sie zeigt es die betreffenden Werte als nicht verfügbar an und nennt den Grund. Außerdem bringt das jüngste Update ein Linux-Backend für Huaweis Ascend-NPUs vom Typ 310P. Über npu-smi erfasst es jetzt Geräte- und Prozessspeicher sowie Aktivitätsdaten der KI-Beschleuniger.

Python-Paket und portable Windows-Versionen

GPU Taskman ist in Python geschrieben und steht unter der MIT-Lizenz. Für die Installation als Python-Paket setzt es Python 3.11 oder neuer voraus. Mit uv tool install gputaskman oder pipx install gputaskman lässt es sich in einer isolierten Umgebung installieren. Anschließend startet es mit gputaskman oder gtm.

Weiterlesen nach der Anzeige

Für Windows bietet das Projekt außerdem portable ZIP-Pakete für x64 und ARM64, die keine separate Python-Installation benötigen. Beim Entpacken muss das vollständige Paket einschließlich des Verzeichnisses _internal erhalten bleiben. Die Entwickler bezeichnen das Programm ausdrücklich als frühe, experimentelle Software – insbesondere die Modellzuordnungen und berechneten Speicheraufteilungen sind keine direkten Messungen.


(fo)



Source link

Weiterlesen

Beliebt