Veröffentlicht am: Nov 22, 2022
HAQM EMR Serverless gibt Unterstützung für das Lesen und Schreiben von Daten in HAQM DynamoDB mit Ihren Spark- und Hive-Workflows bekannt. Sie können jetzt Tabellen in HAQM DynamoDB direkt von Ihren Anwendungen in EMR Serverless Spark und/oder Hive aus exportieren, importieren, abfragen und zusammenfügen. HAQM DynamoDB ist eine vollständig verwaltete NoSQL-Datenbank, die die Latenz- und Durchsatzanforderungen äußerst anspruchsvoller Anwendungen erfüllt, indem sie Latenz im einstelligen Millisekundenbereich und vorhersagbare Leistung mit nahtloser Durchsatz- und Speicherskalierbarkeit bietet.
AWS-Benutzer müssen in HAQM DynamoDB gespeicherte Daten häufig effizient und im großen Maßstab verarbeiten, um eine nachgelagerte Analyse zu ermöglichen. Das HAQM-EMR-Team hat einen Open-Source emr-dynamodb-connector entwickelt, der Kunden den Zugriff auf und die Konfiguration von HAQM DynamoDB mit ihren Apache-Spark- und Apache-Hive-Anwendungen erleichtert. Dieser Connector ermöglicht mehrere Analyse-Anwendungsfälle, darunter die effiziente Datenverarbeitung in HAQM DynamoDB oder das Zusammenfügen von Tabellen in HAQM DynamoDB mit externen Tabellen in HAQM S3, HAQM RDS oder anderen Datenspeichern, auf die HAQM EMR Serverless zugreifen kann. Mit HAQM EMR Version 6.9 erhalten Sie bei Ihren HAQM-EMR-Serverless-Anwendungen alle Vorteile des HAQM-DynamoDB-Connector. Sie können sowohl regions- als auch kontoübergreifend auf HAQM-DynamoDB-Tabellen zugreifen.
Wir geben außerdem bekannt, dass EMR Serverless den Zugriff auf spezifische HAQM-S3-Buckets von anderen AWS-Konten aus unterstützt, um Daten aus Ihren Spark- und Hive-Anwendungen zu verarbeiten. AWS-Kunden nutzen mehrere AWS-Konten, um unterschiedliche Projekte oder Geschäftsbereiche besser voneinander zu trennen. Durch die kontoübergreifenden Funktionen lassen sich verteilte Data Lakes leichter mit einem zentralisierten Ansatz über mehrere Konten hinweg sichern und verwalten. Mit dem kontoübergreifenden Zugriff auf HAQM S3 können Sie Ihre EMR-Serverless-Spark- oder Hive-Anwendung in einem AWS-Konto verwenden und für die Bearbeitung auf Daten zugreifen, die in spezifischen Buckets von anderen AWS-Konten gespeichert sind.
Diese Funktion ist jetzt in allen EMR-Serverless-Regionen verfügbar. Weitere Informationen finden Sie in der Dokumentation zu HAQM EMR Serverless.