Veröffentlicht am: Nov 29, 2022
HAQM Redshift unterstützt jetzt Echtzeit-Streaming-Einspeisung für HAQM Kinesis Data Streams (KDS) und HAQM Managed Streaming for Apache Kafka (MSK). Mit der Streaming-Einspeisung in HAQM Redshift entfällt die Notwendigkeit der Bereitstellung von Streaming-Daten in HAQM S3, bevor sie in HAQM Redshift erfasst werden. So können Kunden eine geringe Latenz im Bereich von Sekunden erzielen, während hunderte von Megabytes an Streamingdaten pro Sekunde in ihrem Data Warehouse erfasst werden.
Dateneningenieure, Datenanalysten und Big-Data-Entwickler stellen ihre Analytik von Batch auf Echtzeit um und setzen Streaming-Engines wie HAQM KDS und HAQM MSK ein, um eine responsive Logik und Analytik nahezu in Echtzeit in Streaming-Anwendungsdaten zu implementieren. Momentan müssen Kunden, die Echtzeit-Daten aus Diensten wie HAQM KDS und HAQM MSK in HAQM Redshift erfassen wollen, die Daten zunächst in HAQM S3 bereitstellen und den Kopierbefehl ausführen, was eine Latenz im Bereich von Minuten bedeutet. Mit der neuen Möglichkeit der Streaming-Erfassung in HAQM Redshift können Sie SQL (Structured Query Language) in Redshift einsetzen, um die Verbindung und direkte Erfassung von Daten aus mehreren HAQM KDS-Streams oder mehreren HAQM MSK-Topics gleichzeitig zu ermöglichen. Die Streaming-Erfassung in HAQM Redshift vereinfacht Data Pipelines durch die Möglichkeit der Erstellung materialisierter Ansichten direkt auf Streams. Die materialisierten Ansichten können als Teil Ihrer ELT-Pipeline (Extract Load Transform) auch SQL-Transformationen enthalten.
Sobald die materialisierten Ansichten definiert sind, werden Streaming-Daten automatisch und kontinuierlich aus dem KDS-Stream oder MSK-Topic in die materialisierte Streaming-Ansicht von HAQM Redshift aufgenommen, wenn die Funktion zur automatischen Aktualisierung aktiviert ist. Sie können die materialisierte Streaming-Ansicht auch manuell aktualisieren, wenn Sie eine direkte Kontrolle über die Einspeisungsplanung wünschen. Auf diese Weise können Sie die nachgelagerte Verarbeitung und Transformation von Streamingdaten mit vorhandenen und Ihnen bereits vertrauten HAQM Redshift-Tools und SQL vornehmen, ohne dass zusätzliche Kosten anfallen.
Die Vorversion der Streaming-Erfassung in HAQM Redshift steht jetzt allgemein in allen Regionen der HAQM Web Services (AWS) zur Verfügung, in denen HAQM Redshift verfügbar ist. Um mit der HAQM Redshift-Streaming-Einspeisung zu beginnen, stellen Sie einen HAQM Redshift-Cluster in der CURRENT-Spur bereit. Weitere Informationen über den Einstieg in die Streaming-Einspeisung in HAQM Redshift finden Sie in der HAQM Redshift-Dokumentation.