Airbyte 2.0: Datenintegration bis zu sechsmal schneller

Airbyte hat Version 2.0 seiner freien Datenintegrationsplattform veröffentlicht und verspricht damit eine deutliche Beschleunigung der Datenverarbeitung. Nach Angaben der Entwickler synchronisiert die neue Version Daten im Durchschnitt vier- bis sechsmal schneller als bisher, während sie gleichzeitig den Ressourcenverbrauch optimiert. Die Funktion „Faster Sync Speed“ ist nun allgemein verfügbar und soll ELT-Prozesse (Extract, Load, Transform) deutlich effizienter gestalten.

Die wichtigsten neuen Features

Gut ein Jahr nach der Veröffentlichung von Airbyte 1.0 überarbeitet das neue Major Release die Architektur der Open-Source Plattform. Neben der Performance-Steigerung führt Version 2.0 zwei zentrale neue Funktionen ein: Data Activation und Enterprise Flex. Data Activation ermöglicht es Unternehmen, aufbereitete Daten aus ihrem Data Warehouse direkt in operative Systeme wie CRM-Plattformen, Marketing-Tools oder Support-Systeme zurückzuspielen. Damit lassen sich Business-Entscheidungen nicht mehr nur auf Basis von Dashboards und Reports treffen, sondern direkt in den Arbeitstools umsetzen, die Teams täglich nutzen.

Enterprise Flex richtet sich speziell an Unternehmen mit strengen Compliance- und Data-Sovereignty-Anforderungen. Die hybride Architektur kombiniert eine vollständig verwaltete Cloud-Control-Plane mit separaten Data Planes, die Nutzer in ihrer eigenen Infrastruktur betreiben können. Das ist besonders für Organisationen relevant, die aus regulatorischen Gründen – etwa Datenschutz mit der DSGVO – die vollständige Kontrolle über Datenbewegungen behalten müssen, und trotzdem Managed Services einsetzen wollen. Bestehende Airbyte-Cloud-Kunden können auf Enterprise Flex umsteigen.

Der Connector Builder, mit dem Entwickler eigene Konnektoren für APIs und Datenquellen erstellen können, wurde grundlegend überarbeitet. Die Benutzeroberfläche orientiert sich nun stärker an der zugrundeliegenden YAML-Spezifikation, was den Wechsel zwischen UI- und YAML-Modus intuitiver gestalten soll. Nahezu alle Funktionen, die bisher nur im YAML-Modus verfügbar waren, lassen sich nun über die grafische Oberfläche nutzen. Bestehende Custom Connectors migrieren automatisch zur neuen Oberfläche, ohne dass Entwickler eingreifen müssen.

OAuth 2.0 und flexible Stream-Konfiguration

Eine wesentliche Neuerung im Connector Builder ist die vollständige Unterstützung von OAuth-2.0-Flows, einschließlich asynchroner Streams. Jeder Stream lässt sich jetzt mit einer eigenen API-Endpoint-URL und einer individuellen Authentifizierungsmethode konfigurieren – die bisherige globale Konfiguration für Base-URL und Authentifizierung entfällt. Das neue Feld API Endpoint URL ersetzt die vorherigen separaten Felder für URL-Pfad und API-Base-URL. Zudem hat Airbyte die Panels für Parent Streams und Parameterized Requests im neuen Partition Router zusammengeführt. Ein zusätzliches Advanced-Panel macht Funktionen wie Dateitransfers zugänglich, die zuvor nur im YAML-Modus nutzbar waren.

Helm Chart V1 läuft aus – Migration erforderlich

Für Administratoren selbst gehosteter Airbyte-Installationen bringt Version 2.0 eine wichtige Änderung: Es ist die letzte Version, die Helm Chart V1 unterstützt. Ab Version 2.1 wird also Helm Chart V2 zur Pflicht. Neue Deployments sollten daher direkt auf Helm Chart V2 setzen; bestehende Installationen sollten zeitnah migrieren, um künftige Updates nicht zu blockieren. Die Airbyte-Dokumentation bietet separate Migrations-Guides für Core und Self-Managed Enterprise. Wer Airbyte mit dem Tool abctl einrichtet, muss vor dem Upgrade auf Version 2.0 zunächst auf abctl Version 0.30.2 aktualisieren.

Überarbeitete Organisations-Verwaltung

Die Benutzeroberfläche für Organisationen und Workspaces haben die Entwickler ebenfalls neu strukturiert. Die Navigationsleiste trennt nun klar zwischen Organisations- und Workspace-Ebene, die allgemeinen Einstellungen haben sie in separate Bereiche für Organisation und Workspace aufgeteilt. Nutzer-Einstellungen und Anwendungs-Tokens finden sich ab sofort unter dem Benutzernamen im Menü. Organisationen erhalten eine neue Startseite, die alle Workspaces sowie laufende, erfolgreiche und fehlgeschlagene Syncs übergreifend darstellt – eine Art Dashboard-Ansicht für alle zugänglichen Workspaces. Darüber hinaus liefert Version 2.0 mit dem Helm Chart nun standardmäßig Ingress-Konfigurationen aus, was die Einrichtung neuer Deployments vereinfachen soll.

Airbyte 2.0 steht ab sofort sowohl als selbst gehostete Open-Source-Version als auch über Airbyte Cloud zur Verfügung. Die vollständigen Release Notes mit allen technischen Details finden sich im GitHub-Repository des Projekts.

(fo)