HAQM Data Firehose

Echtzeit-Streams zuverlässig in Data Lakes, Warehouses und Analytik-Services laden

Vorteile

Einfaches Erfassen, Transformieren und Laden von Streaming-Daten. Erstellen Sie einen Bereitstellungsdatenstrom, wählen Sie Ihr Ziel aus und starten Sie mit wenigen Klicks das Streaming von Echtzeitdaten.

Automatische Bereitstellung und Skalierung von Computing-, Arbeitsspeicher- und Netzwerkressourcen ohne laufende Verwaltung.

Wandeln Sie Streaming-Rohdaten in Formate wie Apache Parquet um und partitionieren Sie Streaming-Daten dynamisch, ohne eigene Verarbeitungspipelines zu entwickeln.

Funktionsweise:

HAQM Data Firehose bietet die einfachste Möglichkeit, Datenströme innerhalb von Sekunden zu erfassen, zu transformieren und an Data Lakes, Data Warehouses und Analyseservices weiterzuleiten. Um HAQM Data Firehose zu verwenden, richten Sie einen Stream mit einer Quelle, einem Ziel und den erforderlichen Transformationen ein. HAQM Data Firehose verarbeitet den Stream kontinuierlich, skaliert automatisch auf Grundlage der verfügbaren Datenmenge und liefert ihn innerhalb von Sekunden.

Wählen Sie die Quelle für Ihren Datenströme aus, z. B. ein Thema in HAQM Managed Streaming for Kafka (MSK), einen Stream in Kinesis Data Streams, oder schreiben Sie Daten mithilfe der Firehose-Direct-PUT-API. HAQM Data Firehose ist in über 20 AWS-Services integriert, sodass Sie einen Stream aus Quellen wie Datenbanken (Vorversion), HAQM CloudWatch Logs, Web-ACL-Protokollen der AWS WAF, AWS-Network-Firewall-Protokollen, HAQM SNS oder AWS IoT einrichten können.

Geben Sie an, ob Sie Ihren Datenstrom in Formate wie Parquet oder ORC konvertieren, die Daten dekomprimieren, benutzerdefinierte Datentransformationen mit Ihrer eigenen AWS-Lambda-Funktion durchführen oder Eingabedatensätze dynamisch auf der Grundlage von Attributen partitionieren möchten, um sie an verschiedene Speicherorte zu übertragen.

Wählen Sie ein Ziel für Ihren Stream aus, z. B. HAQM S3, HAQM OpenSearch Service, HAQM Redshift, Splunk, Snowflake, Apache-Iceberg-Tabellen, HAQM S3 Tables (Vorversion) oder einen benutzerdefinierten HTTP-Endpunkt.

Weitere Informationen zu HAQM Data Firehose finden Sie in der Dokumentation zu HAQM Data Firehose.

Anwendungsfälle

Streamen Sie Daten in HAQM S3 und konvertieren Sie Daten in die für die Analyse erforderlichen Formate, ohne Verarbeitungspipelines zu erstellen.

Überwachen Sie die Netzwerksicherheit in Echtzeit und erstellen Sie Warnungen, wenn potenzielle Bedrohungen auftreten, indem Sie unterstützte SIEM-Tools (Security Information and Event Management) verwenden.

Reichern Sie Ihre Datenströme mit Modellen des Machine Learning (ML) an, um Daten zu analysieren und Inferenzendpunkte vorherzusagen, während die Datenströme ihr Ziel erreichen.


Entdecken Sie mehr von AWS