Connect with us

Künstliche Intelligenz

So funktioniert ArcticDB: Vom Dataframe zur Hochleistungsdatenbank


Data-Scientists sind häufig mit enormen Mengen an Zeitreihendaten konfrontiert, beispielsweise bei der quantitativen Analyse. Um diese Herausforderung zu meistern, entwickelte die Man Group, ein britischer Finanzdienstleister, eine eigene, Dataframe-zentrierte Datenbank: ArcticDB. Das Besondere: Das System speichert pandas-Dataframes spaltenorientiert und stellt jede Änderung als neue Version bereit. Durch diese Art der Speicherung, unveränderliche (immutable) Versionierung und native pandas-Integration erleichtert ArcticDB den Umgang mit riesigen Datensätzen.

  • Klassische Datenbanken und Dateiformate stoßen beim Verarbeiten riesiger Datenmengen an ihre Grenzen.
  • Die Open-Source-Datenbank ArcticDB ist speziell für Big Data und High-Performance Computing konzipiert: Sie speichert spaltenbasiert statt zeilenweise, nutzt Versionierung sowie Append-Streaming und integriert pandas nativ.
  • Alternative Produkte wie ClickHouse, TimescaleDB und InfluxDB oder Formate und Techniken wie Apache Parquet und Delta Lake haben eine andere Ausrichtung. Sie verwenden SQL und klassische Time-Series-Konzepte.


Dr. Fabian Deitelhoff

Dr. Fabian Deitelhoff

Dr. Fabian Deitelhoff ist IT-Leiter Head of Software Development und Head of Product bei der Education Partners GmbH. Zudem ist er als Autor, Dozent und Softwareentwickler tätig.

Herkömmliche Dateiformate und Data-Warehouse-Systeme reichen nicht immer aus, um Dataframes mit Milliarden Zeilen effizient zu verarbeiten. Das Konzept von ArcticDB stellt Dataframes in den Mittelpunkt des Datenmodells (siehe Artikel „Our Journey Creating ArcticDB: Solving the Challenge of Dataframes at Scale“ von William Dealtry, einem der Hauptentwickler von ArcticDB). Zwei Ideen sind dabei zentral: günstiger Cloud-Speicher und Immutabilität. Statt Daten nachträglich zu ändern, erzeugt ArcticDB bei jeder Schreiboperation eine neue Version, was Skalierung und Zeitreisen ermöglicht. Daraus leiten sich die Kerneigenschaften des Datenbanksystems ab:

  • pandas in, pandas out: Die Python-API arbeitet direkt mit Dataframes und verzichtet auf SQL.
  • Serverlos und unveränderlich: ArcticDB läuft als Embedded-Engine auf dem Client, nutzt Objektspeicher (S3, LMDB) und speichert Daten als unveränderliche Versionen.
  • Spaltenorientiert und leistungsfähig: Die Datenbank nutzt spaltenbasierte, komprimierte Segmente, um sehr große Dataframes schnell zu lesen und zu schreiben. Persistente Strukturen schützen ältere Versionen vor Beschädigung.

Die genannten Prinzipien bestimmen Architektur, API und Anwendungsfälle.


Das war die Leseprobe unseres heise-Plus-Artikels „So funktioniert ArcticDB: Vom Dataframe zur Hochleistungsdatenbank“.
Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.



Source link

Künstliche Intelligenz

Geräte-Kompatibilität: Kleinere Updates für iOS, iPadOS und macOS


Nicht nur viel neue Hardware gab es von Apple in dieser Woche, sondern auch frische Software. In der Nacht zum Donnerstag brachte Apple iOS, iPadOS und macOS auf einen aktuelleren Stand. Alle drei Updates hören auf die Versionsnummer 26.3.1 und dienen dazu, iPhones, iPads und Macs zu den neuen Produkten kompatibel zu machen.

Weiterlesen nach der Anzeige

macOS 26.3.1 alias Tahoe passt kompatible Macs – wozu Intel-Maschinen nicht gehören – an Studio Display 2 und Studio Display XDR an. Die Geräte erscheinen am 11. März. Ob noch weitere Inhalte und Fehlerbehebungen in der Aktualisierung stecken, blieb zunächst unklar. iOS 26.3.1 und iPadOS 26.3.1 enthalten solche laut Apple, rüsten aber ansonsten ebenfalls nur die Unterstützung für die beiden neuen Screens nach. iPhone und iPad lassen sich an diese anschließen und zur Darstellung von Inhalten nutzen, wie dies bereits bei anderen Bildschirmen der Fall ist.

Das Studio Display 2 ist der direkte Nachfolger des Studio Display und bringt nur wenige Neuerungen – darunter bessere Lautsprecher und Thunderbolt 5. Das Studio Display XDR löst das Pro Display XDR ab. Beide Screens haben 5K-Auflösung bei 27 Zoll großer Bildschirmdiagonale. Die XDR-Variante für 3500 Euro kommt mit HDR dank Mini-LED-Hintergrundbeleuchtung und einer Bildwiederholfrequenz von bis zu 120 Hertz. Das veraltete Pro Display XDR hatte Apple aus dem Programm genommen.

Neben iOS, iPadOS und macOS 26.3.1 hat Apple auch noch ein Update 18.7.6 für iOS publiziert, das auf älteren Geräten läuft, die iOS 26 nicht mehr nutzen können – konkret iPhone XR und XS. Die Aktualisierung behebt Probleme beim Kontaktieren von Notrufnummern in Australien, die nach einer Systemänderung entstanden waren. Den wichtigen Fix hatte Apple bereits in noch älteren iOS-Versionen ausgeliefert, darunter sogar iOS 16.

Der Hersteller benötigte allerdings mehrere Anläufe für die notwendigen Anpassungen, Updates wurden daher zwischenzeitlich sogar zurückgezogen. Sicherheitsrelevante Fehlerkorrekturen enthalten die frisch veröffentlichten Aktualisierungen hingegen nicht. Keine veröffentlichten CVE-Einträge lägen für diese vor, schreibt Apple auf seinem Security-Updates-Portal.

Weiterlesen nach der Anzeige


(bsc)



Source link

Weiterlesen

Künstliche Intelligenz

heise+ Expertentalk: Der eigene Homeserver: Speicher, Backup, Mediensammlung




Source link

Weiterlesen

Künstliche Intelligenz

Robotik-Start-up entwickelt Universal-Industrieroboter in unter zwei Jahren


Dem US-Robotik-Start-up Noble Machines ist es gelungen, innerhalb von weniger als zwei Jahren den universellen Industrieroboter Moby zu entwickeln, zu bauen und an einen ersten Kunden auszuliefern. Möglich wurde das durch die geballte Erfahrung in dem Unternehmen: Ingenieure der NASA, von SpaceX, des Caltech und von Apple arbeiteten an dem KI-gestützten Roboter zusammen, der innerhalb von nur acht Monaten auf die Beine gestellt wurde.

Weiterlesen nach der Anzeige

Das Start-up Noble Machines wurde 2024 gegründet, um einen Roboter mit Armen und Beinen für industrielle Anwendungen zu entwickeln, der den dortigen Daueranforderungen gewachsen ist. Die Ingenieure wollten einen robusten Industrieroboter konstruieren, der sich auch skalieren lässt und der hauptsächlich in Arbeitsumgebungen tätig ist, in denen schwere, körperliche Arbeit verrichtet wird, die anstrengend und gefährlich sein kann. Der Roboter adressiert dadurch Arbeitsbereiche, für die sich immer seltener Personal finden lässt.

Entsprechend seiner Arbeitsumgebung ist Moby konstruiert. Er hat einen massigen Oberkörper mit kräftigen Armen und Beinen. Gewichte bis zu 27 kg soll der Roboter damit stemmen können. Zum Vergleich: Der ähnlich aufgebaute Digit von Agility Robotics schafft lediglich knapp 14 kg, Figures humanoider Figure 03 kann bis zu knapp 20 kg tragen, Boston Dynamics Atlas dagegen bis zu etwa 50 kg.

Trotz seiner Robustheit ist der Moby-Roboter so konzipiert, dass der rund 70 kg schwere Roboter mit Menschen kollaborativ arbeiten kann, verspricht Noble Machines.

Hard- und Software hat das Robotik-Start-up komplett selbst entwickelt. Von vornherein setzten die Entwickler auf verkörperte Intelligenz und autonomes Handeln. Sie nutzten dabei Nvidias Robotik-Framework ISAAC Sim, um zu schnellen Ergebnissen im KI-Training zu kommen. Die Ingenieure haben den Roboter so verfeinert, dass er neue Aufgaben innerhalb weniger Stunden lernen können soll. Der Bediener kann den Roboter dabei mit Anweisungen in natürlicher Sprache, Demonstrationen und Gesten trainieren.

Noble Machines betreibt mittlerweile Kooperationen mit Solomon, Adlink und Schaeffler, um die Roboter praxisnah weiterentwickeln zu können. An wen der erste Moby-Roboter ausgeliefert wurde, verrät Noble Machines nicht. Es soll sich aber um ein Unternehmen der Fortune-Global-500 handeln.

Weiterlesen nach der Anzeige


(olb)



Source link

Weiterlesen

Beliebt