Veröffentlicht am: Feb 10, 2022
HAQM Redshift launcht die Unterstützung der Streaming-Erfassung für Kinesis Data Streams (KDS). Mit der Streaming-Erfassung in HAQM Redshift entfällt die Notwendigkeit der Bereitstellung von Daten in HAQM S3, bevor sie in HAQM Redshift erfasst werden. So können Kunden eine geringe Latenz im Bereich von Sekunden erzielen, während hunderte von Megabytes an Streamingdaten pro Sekunde in ihrem Data Warehouse erfasst werden.
Dateneningenieure, Datenanalysten und Big-Data-Entwickler stellen ihre Analytik von Batch auf Echtzeit um und setzen Streaming-Engines wie HAQM Kinesis ein, um eine responsive Logik und Analytik nahezu in Echtzeit in Streaming-Anwendungsdaten zu implementieren. Momentan müssen Kunden, die Echtzeit-Daten aus Diensten wie HAQM Kinesis in HAQM Redshift erfassen wollen, die Daten zunächst in HAQM S3 bereitstellen und den Kopierbefehl ausführen, was eine Latenz im Bereich von Minuten bedeutet. Mit der neuen Möglichkeit der Streaming-Erfassung in HAQM Redshift können Sie SQL (Structured Query Language) in Redshift einsetzen, um die Verbindung und direkte Erfassung von Daten aus mehreren Kinesis-Datenströmen gleichzeitig zu ermöglichen. Die Streaming-Erfassung in HAQM Redshift vereinfacht Data Pipelines durch die Möglichkeit der Erstellung materialisierter Ansichten direkt auf Streams. Die materialisierten Ansichten können als Teil Ihrer ELT-Pipeline (Extract Load Transform) auch SQL-Transformationen enthalten. Sobald die materialisierten Ansichten definiert sind, können Sie sie manuell aktualisieren und so die neuesten Streamdaten abrufen. Auf diese Weise können Sie die nachgelagerte Verarbeitung und Transformation von Streamingdaten mit vorhandenen und Ihnen bereits vertrauten Tools und SQL vornehmen, ohne dass zusätzliche Kosten anfallen.
Die Vorversion der Streaming-Erfassung in HAQM Redshift steht jetzt in allen Regionen der HAQM Web Services (AWS) zur Verfügung, in denen HAQM Redshift verfügbar ist. Stellen Sie zum Einstieg in die Streaming-Erfassung in HAQM Redshift einen HAQM-Redshift-Cluster im AKTUELLEN Pfad bereit und prüfen Sie, ob Ihr Cluster in der Version 1.0.35480 oder einer neueren Version läuft. Beachten Sie bitte, dass die Funktionen der Vorversion vornehmlich zu Evaluierungs- und Testzwecken dienen. Sie sollten nicht in Produktionssystemen oder mit Produktionsdaten eingesetzt werden. Die Bedingungen für die Vorversion können Sie der Beta Service Participation in den AWS-Servicebedingungen entnehmen. Weitere Informationen über den Einstieg in die Streaming-Erfassung in HAQM Redshift finden Sie auf der Seite HAQM Redshift-Dokumentation. Bei Fragen oder Feedback kontaktieren Sie uns bitte unter: redshiftstreamingingestion@haqm.com.