Connect with us

Künstliche Intelligenz

Holpriger Start: OpenZFS 2.4.0 mit schneller Verschlüsselung – und Problemen


close notice

This article is also available in
English.

It was translated with technical assistance and editorially reviewed before publication.

Noch im Dezember veröffentlichten die Entwickler von OpenZFS die Version 2.4.0 ihres selbstheilenden Dateisystems, das aus dem vor über 20 Jahren für Solaris entwickelten ZFS von Sun Microsystems hervorgegangen ist. Explizit werden Linux-Kernel 4.18 bis 6.18 sowie FreeBSD 14, das aktuelle Production-Release 15 und die in rund zwei Jahren kommende Version 16 („-current“) unterstützt.

Weiterlesen nach der Anzeige

Ein Patch von Ameer Hamza führt Standard-Quotas für Benutzer, Gruppen und Projekte in OpenZFS ein – inklusive Objekt-Quotas – und sorgt so für eine konsistente Begrenzung, auch wenn keine individuellen Limits gesetzt sind. Dazu werden Kernel- und Userspace-Werkzeuge (zfs {user|group|project}space) unter FreeBSD und Linux angepasst, so dass Standard-Quotas angezeigt werden, falls keine individuellen Quotas konfiguriert wurden.

Eine Änderung von Alexander Motin erweitert die ZIL-Allokation so, dass bei fehlendem SLOG auch Special-vdevs (typischerweise SSDs) für ZIL-Blöcke genutzt werden, um unlogische Zuordnungen mit höheren Latenzen auf HDDs zu vermeiden. Damit können HDD-Pools mit einem schnellen Special-vdev synchrone Workloads besser bedienen. Das geht dann ohne zusätzliches SLOG und erlaubt in gewissen Grenzen den Verschleiß von SSDs zu minimieren.

Joel Low hat bereits im Februar letzten Jahres Code von Googles BoringSSL nach OpenZFS portiert, was angeblich eine bis zu 80 Prozent schnellere Verschlüsselung bringen soll. Dazu verwendeten die Entwickler bei Google eine Vector-AES-optimierte AES-GCM-Implementation (Galois/Counter Mode), bei der auf AMD Zen3-CPUs das schnelle AVX2 statt AVX512/AVX10 eingesetzt wird.

Wer OpenZFS 2.4.0 einsetzt, sollte sich mit drei neuen Befehlen vertraut machen: „zfs rewrite -P“ versucht beim erneuten Schreiben von Blöcken die Birth Time beizubehalten und so Zeit und Ressourcen einzusparen, da sich die eigentlichen Daten ja nicht ändern. Mit „zpool scrub -S -E“ kann das Scrubbing auf bestimmte Zeiträume (basierend auf Transaction Groups / TXG) begrenzt werden – im Commit [ werden aber einige Probleme gemeldet. Mit „zpool prefetch -t brt“ schließlich sollen die Metadaten der BRT (Block Reference Table) vorab in den ARC (Adaptive Replacement Cache) eingelesen werden, um Block Cloning und das Freigeben von Blöcken zu beschleunigen (dazu unten mehr).

Die Mehrheit der Commits kommen von Rob Norris (229 Commits) und Alexander Motin (119 Commits), beide arbeiten für das auf FreeBSD, ZFS und ARM spezialisierte Unternehmen Klara. Acht Entwickler haben Commits im zweistelligen Bereich, der überwiegende Teil beschränkt sich auf genau einen Commit.

Weiterlesen nach der Anzeige

Während obige Neuerungen aus einzelnen Commits bestehen, bestehen vier Bereiche des neuen OpenZFS 2.4.0 aus einer ganzen Reihe von zusammengefassten Detailverbesserungen: Uncached I/O, Gang Blocks, Deduplication und Block Cloning. Alexander Motin arbeitet an der Optimierung von Uncached I/O-Operationen, die von der Performance her zwischen dem schnellen Direct I/O (mit Beschränkungen wie page alignment) und dem regulären Cached I/O liegen. Scheidet Direct I/O in bestimmten Szenarien aus, soll es einen Fallback auf Uncached I/O statt wie bisher auf das noch langsamere Cached I/O geben.

Mehrere Fixes sollen den Einsatz von „Gang Blocks“ verbessern. Gang Blocks sind eine Art Notfallmechanismus von ZFS, der greift, wenn für einen großen Daten- oder Metadatenblock kein zusammenhängender freier Speicherplatz mehr verfügbar ist. In diesem Fall zerlegt ZFS den Block in mehrere kleinere physische Blöcke und speichert zusätzlich mindestens zwei redundante Gang Block Header, die auf diese Teilblöcke verweisen, sodass der Block logisch weiterhin als Einheit behandelt werden kann. Eine der Verbesserungen ist, die Größe der Gang Block Header von fixen 512 Byte auf eine beliebige dynamische Größe zu verändern.

Die ins Gigantische wachsende Datensammelwut von Konzernen und Regierungen macht Optimierungen bei der Deduplizierung von OpenZFS besonders notwendig. Alleine acht Commits sollen OpenZFS 2.4.0 dabei helfen, Speicherplatz zu sparen.

Wie Alexander Motin klarstellt, wurde bei der ursprünglichen Implementation des Block Clonings ein struktureller Fehler gemacht, der die „BRT ZAP Entries“ betrifft, nun aber korrigiert ist. Block-Cloning erlaubt es, Dateien oder Teile davon zu kopieren, indem nur Referenzen zu bestehenden Blöcken angelegt werden, statt Daten zu duplizieren. Das spart Platz und Zeit, weil die Daten nicht erneut geschrieben werden müssen.

Die Block Reference Table (BRT) ist ein neues Metadaten-Objekt in OpenZFS (eingeführt in 2.2), das Block-Cloning beziehungsweise „Reflinks“ unterstützt. OpenZFS speichert die BRT-Einträge in einem ZAP-Objekt. ZAP (ZFS Attribute Processor) ist eine flexible On-Disk-Struktur für Schlüssel/Wert-Daten, beispielsweise Verzeichnisse, Eigenschaften oder eben Referenztabellen. Weitere Fixes sollen das Block Cloning von OpenZFS stabiler und weniger fehleranfällig machen. Fehlerhaftes Block Cloning sorgte bereits bei OpenZFS 2.2.0 für Datenverluste.

Neben den Problemen durch Block Cloning scheint OpenZFS auch mit NVMe-Pools ein wenig auf Kriegsfuß zu stehen. Neben Kommentaren bei OpenZFS-Postings oder Foreneinträgen gibt es auch lange Diskussionen, beispielsweise auf Github. In fast allen diesen Diskussionen wird auf Probleme insbesondere mit NVMe-Laufwerken hingewiesen, SATA- und SAS-HDDs/SSDs scheinen weniger betroffen zu sein. Ob der Fehler dabei im OpenZFS zu suchen ist, oder ob es sich um Hardware-Probleme handelt, ist nicht immer klar und sorgt für teilweise hitzige Auseinandersetzungen.

Eine weitere Möglichkeit wäre, dass manche NVMe-Hardware von OpenZFS unter hoher Last einfach überfordert ist. Wenn diese Hardware mit anderen Dateisystemen oder sogar älteren ZFS-Varianten funktioniert, und wenn auch das aktuelle OpenZFS auf anderen Systemen fast überall sauber läuft – ist dann die spezielle Kombination das Problem? Vielleicht ist auch ein genauer Blick auf die eingesetzte NVMe-Controller-Hardware und dessen Firmware sinnvoll? Vor allem Consumer-Hardware wird oft hart an der Spezifikationsgrenze gebaut und könnte dann unter härteren Bedingungen von OpenZFS zu Fehlern neigen. Das Problem sollte genau analysiert werden, da vor allem leistungsfähige OpenZFS-Installationen gerne auf NVMe-Hardware aufbauen.

OpenZFS ist verfügbar für GNU/Linux, FreeBSD, NetBSD, macOS, OpenSolaris, Illumos und OpenIndiana. Der Quellcode von OpenZFS 2.4.0 liegt zusammen mit einer ausführlichen Liste aller Neuerungen und Änderungen auf Githuv.


(axk)



Source link

Künstliche Intelligenz

#TGIQF: Das Quiz rund um Feuerwehr und Rettungsdienste


In dieser Woche war der Europäische Tag des Notrufs: Mit der Euronotrufnummer 112 erreicht man überall in der EU und in vielen weiteren Ländern der Welt Feuerwehr und Rettungsdienste.

Weiterlesen nach der Anzeige

Dabei ist die 112 bereits seit über 50 Jahren in Deutschland bekannt. 1991 wurde die 112 dann europaweit zum Notruf und und ist sogar in vielen weiteren Ländern entweder offizielle Notrufnummer oder eine Weiterleitung zur Notleitstelle eingerichtet. Da das Datum 11. Februar so gut zur 112 passt, wird der Tag des Euronotrufs zelebriert, um den Notruf bekannter zu machen.


#TGIQF: Das heise-online-Quiz

#TGIQF: Das heise-online-Quiz

„Thank God It’s Quiz Friday!“ Jeden Freitag gibts ein neues Quiz aus den Themenbereichen IT, Technik, Entertainment oder Nerd-Wissen:

Dabei kann das Antreffen einer hilflosen Person oder eines Unfalls erst mal Ängste auslösen: „Wie ging das nochmal? Was muss man sich merken?“ Dabei kann man nichts falsch machen: Die Disponenten, die den Anruf entgegennehmen, sind geschulte Profis, die oftmals eine Feuerwehrwehr- und Rettungssanitäter-Ausbildung in sich vereinen. Die helfen Ihnen in der Notsituation und stehen Ihnen (aber bitte NUR im Notfall) mit Rat und Tat zur Seite.

Wichtig ist auch, dass Sie Notrufe oftmals absetzen können, obwohl das Smartphone „kein Netz“ anzeigt: Bei einem Notruf ist die Netzanbindung aufgehoben, und das Smartphone greift automatisch auf das Netz zu, das die beste Sendeleistung hat.

In unserem Quiz stellen wir Ihnen rund um die 112 einige Fragen zu Feuerwehr und Rettungsdiensten.

Auch in dieser Woche gab die #heiseshow einen Einblick auf das Quiz: Moderatorin Anna Bicker stellte der Stammcrew Dr. Volker Zota und Malte Kirchner vorab vor: Sie waren nicht ganz sattelfest in ihren Antworten

Weiterlesen nach der Anzeige

Sie können in Ruhe in 10 Fragen maximal 100 Punkte erreichen. Die Punktzahl kann gern im Forum mit anderen Mitspielern verglichen werden. Halten Sie sich dabei aber bitte mit Spoilern zurück, um anderen Teilnehmern nicht die Freude am Quiz zu verhageln. Lob und Kritik sind wie immer gern gelesen.

Bleiben Sie zudem auf dem Laufenden und erfahren Sie das Neueste aus der IT-Welt: Folgen Sie uns bei Mastodon, auf Facebook oder Instagram. Und schauen Sie auch gern beim Redaktionsbot Botti vorbei.

Und falls Sie Ideen für eigene Quizze haben, schreiben Sie einfach eine Mail an den Quizmaster aka Herr der fiesen Fragen.


(mawi)





Source link

Weiterlesen

Künstliche Intelligenz

Entwicklungsumgebung Eclipse Theia 1.68 integriert GitHub-Copilot-Anbindung


EclipseSource hat die Veröffentlichung von Eclipse Theia 1.68 bekanntgegeben, einer quelloffenen Entwicklungsplattform für Web- und Cloud-basierte Tools. Das aktuelle Release erlaubt das Verwenden von GitHub Copilot out-of-the-box und lässt KI-Agenten – noch als Alpha-Feature – Skills verwenden. Neben zahlreichen KI-bezogenen Updates gibt es auch weitere Neuerungen, unter anderem zur Verbesserung der Accessibility.

Weiterlesen nach der Anzeige

KI-Agenten können in Eclipse Theia durch das neue Tool todo_write den Fortschritt mehrstufiger Aufgaben visuell darstellen: Sie können To-do-Listen erzeugen, die im Chatfenster angezeigt und aktualisiert werden. Die Aufgaben erhalten, ihrem Status entsprechend, Icons für „noch nicht erledigt“, „in Arbeit“ oder „erledigt“. Um das Feature nutzen zu können, muss der neue Agenten-Modus „Agent Mode (Next)“ aktiviert sein. Dieser soll sich dadurch auszeichnen, dass er Coding-Aufgaben effektiver, zuverlässiger und autonomer durchführt.

Das Entwicklungsteam zeigt ein Beispiel: Ein Prompt fordert den KI-Agenten auf, eine To-do-Liste für das Kochen einer Mahlzeit zu erstellen und so zu tun, als würde er die dafür nötigen Schritte ausführen.


Der KI-Agent arbeitet eine virtuelle To-do-Liste ab.

Der KI-Agent arbeitet eine virtuelle To-do-Liste ab.

Der KI-Agent arbeitet eine virtuelle To-do-Liste ab.

(Bild: EclipseSource)

Entwicklerinnen und Entwickler mit aktivem GitHub-Copilot-Abo können dieses nun direkt innerhalb der Theia IDE sowie in mit Theia AI erstellten Tools verwenden. Sie benötigen dafür weder zusätzliche API-Keys noch Abos. Dahinter steht technisch das neue Package @theia/ai-copilot, das GitHub Copilot als Language-Model-Anbieter in Eclipse Theias KI-Framework integriert, mitsamt Authentifizierung per OAuth.

Weiterlesen nach der Anzeige

Wie der Authentifizierungsvorgang aussieht, demonstriert das EclipseSource-Team:


GitHub Copilot lässt sich direkt aus Eclipse Theia 1.68 heraus nutzen.

GitHub Copilot lässt sich direkt aus Eclipse Theia 1.68 heraus nutzen.

GitHub Copilot lässt sich direkt aus Eclipse Theia 1.68 heraus nutzen.

(Bild: EclipseSource)

Als Alpha-Feature können KI-Agenten in Eclipse Theia nun Agent Skills nutzen. Diese bestehen aus wiederverwendbaren Anweisungen und Domänenwissen, die Agenten aus SKILL.md-Dateien beziehen. Unter anderem können Agenten im Verzeichnis ~/.theia/skills/ vorhandene Skills automatisch entdecken, spezifische Skills per Entwickleranweisung mithilfe des Befehls /skillName nutzen oder Skills nach Bedarf laden. Für Letzteres dient die Variable {{skills}}, die Entwicklerinnen und Entwickler in Agenten-Prompts einfügen können.

Das Erstellen von Skills mithilfe des CreateSkill-Agenten befindet sich ebenfalls im Alpha-Status. Um projektspezifische Skills festzulegen, dient das KI-Chat-Interface. Dort können Developer den gewünschten Skill beschreiben, und der Agent wird eine korrekt strukturierte SKILL.md-Datei mitsamt entsprechendem YAML-Frontmatter und Markdown-Inhalt erstellen.

Für eine verbesserte Barrierefreiheit sind im Chat nun Fokusnavigationsbefehle verwendbar, um per Tastatur zwischen Input und Antworten zu navigieren (Strg/Cmd+oben/unten). Auch sind alle Chat-Buttons jetzt per Tastatur zugänglich, und für Screenreader stehen umfassende ARIA-Attribute bereit.

Daneben wurde die Kompatibilität mit Erweiterungen für Visual Studio Code auf die API-Version 1.108.0 erhöht und das Theia-Team hat einige Bugs behoben, wie der Blogeintrag zur Ankündigung aufführt.


(mai)



Source link

Weiterlesen

Künstliche Intelligenz

Bahn-Sicherheitsgipfel: Forderungen nach mehr Zweierteams und Bodycam-Einsatz


Vor dem von der Deutschen Bahn für heute in Berlin angesetzten Sicherheitsgipfel hat Nordrhein-Westfalen ein Maßnahmenpaket vorgeschlagen und Forderungen an den Bund aufgestellt. Demnach soll der Einsatz von Zweierteams bei den Zugbegleitern ausgebaut werden. Für das Tragen von Bodycams im ÖPNV, bislang auf freiwilliger Basis, soll die Bundesregierung Rechtssicherheit schaffen. Die Technik zur Alarmierung und Verfolgung von Tätern soll ausgebaut und die Videoüberwachung soll noch effektiver eingesetzt werden. Ausgeweitet werden soll auch der zum Schutz von Fahrgästen und Zugpersonal eingesetzte Einsatz von Sicherheitsteams.

Weiterlesen nach der Anzeige

Anfang Februar hatte es in Rheinland-Pfalz bei einer Ticketkontrolle einen Angriff auf einen Zugbegleiter der Deutschen Bahn gegeben. Der 36-Jährige war zwei Tage später an seinen schweren Verletzungen gestorben. Die Bahn hat daraufhin die Bundesregierung, die Bundespolizei, Vertreter der Bahnbranche, die Länder und Aufgabenträger für den Regionalverkehr sowie die Gewerkschaften zu einem Sicherheitsgipfel eingeladen.

„Die Aggressivität und die Tonlage ist bei Auseinandersetzungen in Bussen und Bahnen härter geworden. Das empfinden viele Menschen so, und deshalb löst die Gewalttat in Rheinland-Pfalz auch so viele grundsätzliche Fragen aus. Die Fahrgäste fühlen sich in manchen Situationen subjektiv nicht sicher und wir müssen sie und unser Bahnpersonal besser schützen“, sagte NRW-Verkehrsminister Oliver Krischer (Grüne).

Der NRW-Verkehrsminister hatte sich in der Woche mit Vertretern von Deutscher Bahn, Aufgabenträgern, Verkehrsunternehmen und der Bundespolizei an einen Tisch gesetzt. Dabei habe Einigkeit geherrscht, dass zwar landesweit ein leichter, aber kein extremer Anstieg von Gewalttaten zu verzeichnen sei. Das subjektive Bedrohungsgefühl bei vielen Menschen sei unabhängig von den Zahlen aber gewachsen, teilte das NRW-Verkehrsministerium mit.

Mehr zum Thema Deutsche Bahn


(fpi)



Source link

Weiterlesen

Beliebt