Connect with us

Entwicklung & Code

AWS DynamoDB: Vektorsuche jetzt allgemein verfügbar


Die Vektorsuche für Amazon DynamoDB steht jetzt allgemein zur Verfügung, eine separate Vektordatenbank ist nicht mehr nötig. DynamoDB ist AWS’ serverlose NoSQL-Datenbank; bei einer Vektorsuche übersetzt ein ML-Modell Inhalte wie Produktbeschreibungen oder Dokumente in Zahlenvektoren, sogenannte Embeddings. So kann eine Anfrage nicht nur identische, sondern auch inhaltlich ähnliche Einträge in einer Datenbank finden.

Weiterlesen nach der Anzeige

Bislang mussten Nutzer von Amazon DynamoDB für solche semantischen Suchen allerdings eine eigene Vektordatenbank betreiben. Beide mussten Anwender außerdem miteinander synchronisieren. Dieser zusätzliche Betriebsaufwand fällt jetzt weg, operative Daten und Embeddings liegen am selben Ort. Praktisch ist das primär für Anwendungen, deren Daten ohnehin bereits in der Amazon DynamoDB liegen – für reine KI- und Recherche-Workloads kann eine spezialisierte Vektordatenbank die bessere Wahl bleiben.

Um das umzusetzen, führt AWS einen neuen Vektorindex-Typ ein, der auf einem Attribut mit Embeddings angelegt wird. Embeddings speichert die DynamoDB als Liste von Float-Werten im bereits vorhandenen Datentyp List. Entsprechend müssen sich Anwender nicht mit einem neuen Datentyp auseinandersetzen und auch keinen umfassenden Schemaumbau vornehmen. Embeddings lassen sich mit einem beliebigen Modell erzeugen. Allerdings müssen Entwickler beachten, dass sie den Anfragevektor mit demselben Embedding-Modell erzeugen, das auch die zu durchsuchenden Inhalte in Vektoren übersetzt hat.

Für die Abfrage ist die neue API SearchVectors vorgesehen: Entwickler übergeben einen Anfragevektor, legen die Anzahl der Treffer fest (maximal 100) und definieren optional Filterbedingungen. Anschließend sendet die DynamoDB die nach Ähnlichkeit sortierten Datensätze einschließlich weiterer Tabellenattribute zurück. Wie üblich bei Vektorsuchen setzt AWS auf eine ANN-Suche (Approximate Nearest Neighbor), die auf niedrige Latenzen und hohe Trefferraten optimiert ist, nicht auf mathematische Exaktheit.

Die Vektorindizes sollen laut AWS horizontal mit den Daten wachsen und keine Speichergrenzen haben. DynamoDB unterstützt Embeddings mit bis zu 4096 Dimensionen. Dabei stehen drei Distanzmaße zur Verfügung: Cosine ist für die semantische Textähnlichkeit üblich und vergleicht primär die Richtung der Vektoren. Euklidische Distanz bietet sich an, wenn auch der Abstand beziehungsweise die Größe der Werte relevant ist. Dot Product eignet sich für Empfehlungslogiken, in denen die Richtung und die Länge der Vektoren einfließen sollen.

Weiterlesen nach der Anzeige

Optional kann man beim Anlegen des Vektorindex Inline-Filterattribute definieren, zum Beispiel eine Produktkategorie. Die Suche lässt sich dann auf spezifische Werte dieser Attribute einschränken. Spezifisch, weil die Filter laut AWS ausschließlich exakte Wertevergleiche unterstützen – Bereichs- und Präfixabfragen sind nicht vorgesehen. Wer größere Datenmengen durchsuchen muss oder einen hohen Abfragedurchsatz hat, sollte im Vektorindex einen Partition Key hinterlegen. Anschließend ist jede Suche auf einen konkreten Partition-Key-Wert eingegrenzt.

Laut Ankündigung ist die neue Vektorsuche in allen kommerziellen AWS-Regionen verfügbar. Es handelt sich nicht um ein kostenpflichtiges Add-on, die Einsatzkosten hängen von den DynamoDB-Preiskomponenten und der Nutzung ab.


(fo)



Source link

Entwicklung & Code

Microsoft leitet letzte Phase für SQL Data Sync ein


Microsoft hat die nächste Stufe bei der Einstellung von SQL Data Sync gezündet: Seit dem 9. September lassen sich in Azure-Abonnements, die den Dienst bislang nicht genutzt haben, keine neuen SQL-Data-Sync-Bereitstellungen mehr anlegen. Bestehende Nutzer können Sync-Gruppen und Mitgliedsdatenbanken dagegen noch bis zum vollständigen Aus des Dienstes am 30. September 2027 erstellen, ändern und betreiben.

Weiterlesen nach der Anzeige

Die Einstellung hatte Microsoft bereits 2024 mit dreijähriger Übergangsfrist angekündigt. SQL Data Sync gleicht ausgewählte Daten zwischen mehreren Datenbanken ab, sowohl zwischen Azure SQL Database als auch mit SQL-Server-Instanzen im eigenen Rechenzentrum. Die Daten können dabei je nach Konfiguration in beide Richtungen fließen. Microsoft beschreibt die Einstellung und die vorgesehenen Migrationspfade in seiner Dokumentation.

Die neue Einschränkung trifft ausdrücklich ausschließlich Azure-Abonnements, die SQL Data Sync zuvor nie eingesetzt haben. Für Abonnements, die SQL Data Sync bereits nutzen, ändert sich zunächst nichts: Administratoren dürfen weiterhin Sync-Gruppen anlegen und verwalten sowie Datenbanken als Mitglieder hinzufügen. Microsoft will damit verhindern, dass kurz vor dem Endtermin noch neue Abhängigkeiten von dem auslaufenden Dienst entstehen. Die Details zur nun begonnenen letzten Ausmusterungsphase nennt Microsoft im Azure-SQL-Blog.

SQL Data Sync organisiert die Replikation in Sync-Gruppen nach einem Hub-and-Spoke-Prinzip. Als Hub dient stets eine Azure SQL Database; weitere Azure-SQL-Datenbanken oder SQL-Server-Datenbanken können als Mitglieder teilnehmen. Bei lokalen SQL-Server-Datenbanken ist zusätzlich ein lokaler Sync-Agent nötig. Der Dienst kann Daten in beide Richtungen oder nur vom Hub zu einem Mitglied beziehungsweise umgekehrt übertragen.

Microsoft rät betroffenen Organisationen, zunächst alle vorhandenen Bereitstellungen zu erfassen – auch inaktive Sync-Gruppen. Dazu gehören Hub- und Mitgliedsdatenbanken, gegebenenfalls installierte Sync-Agenten sowie die Anwendungen, die auf replizierte Daten angewiesen sind. In kleineren Umgebungen lassen sich die Sync-Gruppen über den Bereich „Sync to other databases“ einer Azure SQL Database im Azure-Portal prüfen. Für größere Azure-Landschaften verweist Microsoft auf die PowerShell und die Azure-SQL-Management-REST-API.

Vor der Umstellung sollten Administratoren außerdem Datenfluss, Synchronisierungsrichtung, Intervall, Datenvolumen sowie Anforderungen an Latenz und Verfügbarkeit festhalten. Das ist wichtig, weil SQL Data Sync kein einheitliches Nachfolgeprodukt erhält. Je nach bisherigem Einsatz kann die Migration eine bloße Umkonfiguration sein oder einen Umbau der Replikationsarchitektur erfordern.

Weiterlesen nach der Anzeige

Für geplante oder inkrementelle Übertragungen nennt Microsoft Azure Data Factory als Alternative. Das eignet sich etwa, wenn Daten in festen Intervallen für ein Data Warehouse oder einen Reporting-Bestand kopiert werden sollen. Für die einseitige Verteilung von SQL Server zu Azure SQL Database verweist der Konzern auf die transaktionale Replikation.

Geht es vor allem um lesende Replikate oder regionale Verfügbarkeit, kommen etwa aktive Georeplikation und Read Replicas infrage. Für Reporting-Replikate vollständiger Datenbanken nennt Microsoft Always On Availability Groups bei SQL Server auf Azure-VMs sowie Managed Instance Link bei Azure SQL Managed Instance. Daneben führt die Migrationsdokumentation Azure Functions mit Azure-SQL-Triggern für anwendungsspezifische Synchronisation sowie Mirroring in Microsoft Fabric für Analyseumgebungen auf. Welche Variante passt, hängt unter anderem von Quell- und Zielplattform, Datenrichtung, Topologie, zulässiger Verzögerung und Durchsatz ab. Die Migrationsdokumentation enthält dazu eine Übersichtstabelle, die alle Pfade nach Quell- und Zielplattform aufschlüsselt.

Nach erfolgreicher Validierung der Ersatzlösung in einer Nicht-Produktivumgebung empfiehlt Microsoft, die automatische Synchronisierung der bisherigen Gruppe vorübergehend abzuschalten. Erst wenn Anwendungen nicht mehr auf SQL Data Sync angewiesen sind, sollten Unternehmen die alten Ressourcen entfernen. Spätestens zum 30. September 2027 muss der Umstieg abgeschlossen sein.


(fo)



Source link

Weiterlesen

Entwicklung & Code

Neu in .NET 10.0 [40]: JSON Patch zum reinen Testen von Werten


Um Werte zu testen, ohne etwas zu ändern, lässt sich in .NET 10.0 JSON Patch verwenden.

Weiterlesen nach der Anzeige


Der Dotnet-Doktor – Holger Schwichtenberg

Der Dotnet-Doktor – Holger Schwichtenberg

Dr. Holger Schwichtenberg ist technischer Leiter des Expertennetzwerks www.IT-Visions.de, das mit 53 renommierten Experten zahlreiche mittlere und große Unternehmen durch Beratungen und Schulungen sowie bei der Softwareentwicklung unterstützt. Durch seine Auftritte auf zahlreichen nationalen und internationalen Fachkonferenzen sowie mehr als 90 Fachbücher und mehr als 1500 Fachartikel gehört Holger Schwichtenberg zu den bekanntesten Experten für .NET und Webtechniken in Deutschland.

Das folgende Beispiel zeigt die Anwendung der neuen Klasse JsonPatchDocument aus System.Text.Json Version 10.0 auf ein JSON-Patch-Dokument, dass nur aus Test-Operationen besteht:


CUI.H2("Testen mit JSON Patch-Dokument");
string jsonPatchTest = """
[
    { "op": "test", "path": "/FirstName", "value": "Dr. Holger" },
{ "op": "test", "path": "/PrivateEmail", "value": null},
    { "op": "test", "path": "/PrivateWebsite", "value": null},
    { "op": "test", "path": "/Address/ZipCode", "value": "45257" }
]
""";
 
// JSON Patch-Dokument laden
JsonPatchDocument? patchTestDoc = JsonSerializer.Deserialize>(jsonPatchTest);
 
// JSON Patch-Dokument anwenden auf das Person-Objekt
patchTestDoc!.ApplyTo(person, patchError => CUI.PrintError(patchError.ErrorMessage));


In diesem Fall gibt es keine Fehlerausgabe. Wenn man das JSON-Patch-Dokument aber verändert


CUI.H2("Reines Testen eines Objekts mit JSON Patch-Dokument (absichtlich mit drei Fehlern!)");
string jsonPatchTest = """
[
    { "op": "test", "path": "/FirstName", "value": "Dr.Holger" },
    { "op": "test", "path": "/PrivateEmail", "value": null},
    { "op": "test", "path": "/PrivateWebsite", "value": ""},
    { "op": "test", "path": "/Address/ZipCode", "value": "45251" }
]
""";


bekommt man drei Fehlermeldungen:


Screenshot

Screenshot

Drei Fehler zeigt die Ausgabe (Abb. 1).

Dabei ist die Fehlermeldung bei 'PrivateWebsite' ungünstig, denn sie unterscheidet nicht zwischen Leerstring und Null. Im Objekt steht null, getestet wird auf Leerstring. In der Fehlermeldung steht jedoch in beiden Fällen ' '.

Weiterlesen nach der Anzeige


(rme)



Source link

Weiterlesen

Entwicklung & Code

Kommentar: Wenn Transparenz mit einem Rätsel beginnt


In weniger als vier Monaten sollen die Deutschen ihren Ausweis, Führerschein und vielleicht irgendwann auch ihr Schulzeugnis und den Kaninchenzuchtstammbaum auf dem Smartphone vorzeigen können. Eine Brieftasche als App halt. Ein echter, guter Fortschritt – den die EU ja auch erzwingt. Angesichts des offensichtlichen Security-Schabernacks ist das aber auch ein Projekt, das dringend Vertrauen bei den Bürgern aufbauen muss. Der neue Name, den Bundesdigitalminister Karsten Wildberger (CDU) dafür bei einer Veranstaltung in Berlin verkündet hat, lautet: d-you.

Weiterlesen nach der Anzeige


Ein Kommentar von Moritz Förster

Ein Kommentar von Moritz Förster

Moritz Förster schreibt seit 2012 für die iX und heise online. Er betreut neben dem iX-Channel den Bereich Arbeitsplatz.

Stop mal – d-you. Was ist denn das? Eine Dating-App? Ein Jugendportal? Ein Motivationspodcast? Wer nicht ohnehin schon von der EUDI-Wallet gehört hat, wird daraus niemals schlau und installiert die App schon einmal gar nicht. So wird ein dämlicher Name zu einem unnötigen Problem.

Natürlich entscheidet kein Name allein darüber, ob eine Technologie bei IT-affinen Nutzern angenommen wird oder nicht. Sicherheit, Datenschutz, einfache Einrichtung und echte Anwendungsfälle zählen da mehr. Aber der Name ist der erste Berührungspunkt für den Otto-Normal-Bürger. Der kommt dann noch nicht einmal zum Download, liest den verklausulierten Datenschutzhinweis oder erkundet die tollen Funktionen in der App. Ein guter Name beantwortet schon davor und in Millisekunden die Frage: Worum geht es hier, und ist das etwas für mich?

Die Technikakzeptanzforschung weiß das seit Jahrzehnten. Fred Davis zeigte bereits 1989 in seinem Technology Acceptance Model, dass Menschen neue Technologien vor allem dann nutzen, wenn sie deren Nutzen verstehen und sie als leicht handhabbar wahrnehmen. Spätere Forschung ergänzte soziale Einflüsse und Rahmenbedingungen. Was all diese Modelle gemeinsam haben: Der erste kognitive Eindruck zählt. Und im Gegensatz dazu erzeugt ein Name, der keine Orientierung gibt, Reibung – und zwar noch bevor jemand die Funktionen der App überhaupt wahrgenommen hat.

Weiterlesen nach der Anzeige

Die berechtigte Kritik an d-you ist keine Kulturkritik an Anglizismen. Kunstnamen können funktionieren. Apple erklärt keine Computer, O2 erklärt keinen Mobilfunk. Aber private Marken kaufen sich über Jahre Bedeutung ein: durch Werbung, durch Nutzung, durch Wiederholung. Eine staatliche Identitätsinfrastruktur startet unter anderen Bedingungen. Sie und das Technikkonzept sind für die Bürger neu. Sie berührt sensible Daten. Und sie muss von möglichst vielen Menschen verstanden und genutzt werden, damit sie sich durchsetzt. Dafür genügen nicht nur wenige Early Adopter, die sich ohnehin für digitale Verwaltung interessieren.

d-you ist dabei nicht einmal ein besonders starker Kunstname. Das „d“ könnte für Deutschland stehen, muss es aber nicht. „you“ verspricht Individualität, sagt aber nichts über die Funktion. Der Bindestrich macht die Schreibweise erklärungsbedürftig. Und die Aussprache? „Di-ju“? „Dü“? In Behördenbriefen, Suchmaschinen und mündlicher Weitergabe werden schon bald Varianten kursieren. Vor allem aber: Kein Wort im Namen verrät, dass es hier um Ausweis, Nachweise oder digitale Identität geht. d-you ist also nicht zu Englisch, sondern zu leer.

Mein Gegenvorschlag: schlicht „Digitale Brieftasche“ und gut ist. Das ist technisch gesehen natürlich keine perfekte Bezeichnung. Eine Brieftasche liegt in der Tasche, ist offline, gehört einem allein. Und eine staatliche Wallet ist Software, Sicherheitsarchitektur und Schnittstelle zu Behörden und Unternehmen zugleich. Die EU-Kommission beschreibt die EUDI-Wallet als Ort für digitale Identitätsdaten und attestierte Nachweise. Die Metapher hängt sich also in vielen Details auf.

Aber sie stimmt im Wesentlichen: Eine Brieftasche verwahrt persönliche Dokumente, gibt sie auf Nachfrage vor und bleibt unter der Kontrolle ihres Besitzers. Das ist genau das, was die Wallet verspricht. Die Metapher ist eben ein brauchbarer Einstieg. Und genau deshalb hätte man sie nicht durch einen Fantasienamen ersetzen müssen.

Wildberger betonte bei der Vorstellung, wie wichtig ihm Kontrolle und Transparenz für die Bürgerinnen und Bürger seien. Das ist das offensichtlich richtige Versprechen. Aber wer Datensouveränität verspricht, sollte nicht mit sprachlicher Intransparenz beginnen.


(fo)



Source link

Weiterlesen

Beliebt