HAQM Data Firehose – Funktionen

Sie können mit nur wenigen Klicks in der AWS-Managementkonsole HAQM Data Firehose starten und einen Liefer-Datenstrom erstellen, um Daten in HAQM S3, HAQM Redshift, HAQM OpenSearch Service, Snowflake, Apache-Iceberg-Tabellen, HAQM-S3-Tabellen (Vorschau), HTTP-Endpunkte, Datadog, New Relic, MongoDB oder Splunk zu laden. Sie können Daten an den Liefer-Datenstrom senden, indem Sie die Firehose-API aufrufen oder den von uns bereitgestellten Linux-Agenten in der Datenquelle ausführen. Anschließend lädt Data Firehose die Daten kontinuierlich in die angegebenen Ziele.

Nach dem Start werden Ihre Firehose-Streams automatisch nach oben skaliert, um den Eingang von Daten mit einer Datenrate von mehreren Gigabyte pro Sekunde zu verarbeiten und die Datenlatenz auf einem Wert zu halten, den Sie für den Datenstrom innerhalb der Grenzwerte festgelegt haben. Weder Eingriff noch Wartung ist erforderlich.

Sie können eine Stapelgröße oder ein Stapelintervall angeben und so steuern, wie schnell Daten zu Zielen hochgeladen werden. Beispielsweise können Sie das Stapelintervall auf einen beliebigen Wert zwischen 0 Sekunden und 15 Minuten festlegen. Darüber hinaus können Sie festlegen, ob die Daten komprimiert werden sollen oder nicht. Der Service unterstützt gängige Komprimierungsalgorithmen wie GZip, Hadoop-Compatible Snappy, Zip und Snappy. Mit Batchverarbeitung und Komprimierung von Daten vor dem Hochladen können Sie steuern, wie schnell Sie neue Daten auf den Zielen empfangen.

Firehose liest problemlos Daten aus über 20 Datenquellen, darunter HAQM-MSK- und MSK-Serverless-Cluster, HAQM Kinesis Data Streams, Datenbanken (Vorschau), HAQM CloudWatch Logs, HAQM SNS, AWS IoT Core und mehr.

Firehose unterstützt Datenformate mit Spalten wie z. B. Apache Parquet und Apache ORC, die für eine kosteneffiziente Speicherung und für Analysen mit Services wie HAQM Athena, HAQM Redshift Spectrum, HAQM EMR und anderen Hadoop-basierten Tools optimiert sind. Firehose kann das Format von eingehenden Daten von JSON- zu Parquet- oder ORC-Formaten vor der Speicherung der Daten in HAQM S3 konvertieren. Dadurch sparen Sie Speicherplatz und Analysekosten.

Sie können Ihre Streamingdaten dynamisch partitionieren, bevor Sie sie an S3 liefern, indem Sie statische oder dynamisch definierte Schlüssel wie “customer_id” oder “transaction_id” verwenden.  Firehose gruppiert Daten nach diesen Schlüsseln und stellt sie in schlüsseleindeutigen S3-Präfixen bereit, Dies vereinfacht die Durchführung leistungsstarker und kosteneffizienter Analytik in S3 mit Athena, EMR und Redshift Spectrum. Weitere Informationen

Sie können HAQM Data Firehose so konfigurieren, dass Ihre Streaming-Daten vor dem Laden in die Datenspeicher vorbereitet werden. Wählen Sie einfach eine AWS Lambda-Funktion auf der Registerkarte zur Konfiguration des HAQM-Kinesis-Data-Firehose-Streams in der AWS-Managementkonsole aus. HAQM Data Firehose wird diese Funktion automatisch auf alle eingegebenen Datensätze anwenden und die umgewandelten Daten an die Ziele laden. HAQM Data Firehose bietet integrierte Lambda-Blueprints für die Konvertierung allgemeiner Datenquellen wie Apache-Protokolle und Systemprotokolle in die Formate JSON und CSV. Sie können diese integrierten Blueprints ohne jede Änderung verwenden oder diese weiter anpassen bzw. Ihre eigenen benutzerdefinierten Funktionen schreiben. Sie können HAQM Data Firehose auch für die automatische Wiederholung fehlgeschlagener Aufträge und das Sichern der unbearbeiteten Streaming-Daten konfigurieren. Weitere Informationen

Firehose liest problemlos Daten aus über 20 Datenquellen, darunter HAQM-MSK- und MSK-Serverless-Cluster, HAQM Kinesis Data Streams, HAQM CloudWatch Logs, HAQM SNS, AWS IoT Core und mehr. HAQM Data Firehose unterstützt derzeit HAQM S3, HAQM Redshift, HAQM OpenSearch Service, Snowflake, Apache-Iceberg-Tabellen, HAQM-S3-Tabellen (Vorschau), HTTP-Endpunkte, Datadog, New Relic, MongoDB und Splunk als Ziele. Sie können den HAQM-S3-Ziel-Bucket, die HAQM-Redshift-Tabelle, die HAQM-OpenSearch-Service-Domain, generische HTTP-Endpunkte oder einen Serviceanbieter als Ladeziel für die Daten angeben.

HAQM Data Firehose bietet Ihnen die Option, die Daten automatisch zu verschlüsseln, nachdem sie in das Ziel hochgeladen wurden. Im Rahmen der Konfiguration des Firehose-Streams können Sie einen Verschlüsselungsschlüssel für AWS Key Management System (KMS) festlegen.

HAQM Data Firehose stellt mehrere Metriken über die Konsole und HAQM CloudWatch bereit. Dazu gehören das Volumen der übertragenen Daten, das Volumen der in das Ziel hochgeladenen Daten, die Zeit von der Quelle bis zum Ziel, die Limits des Firehose-Streams, eine eingeschränkte Datensatzanzahl und die Erfolgsrate beim Hochladen.

Bei HAQM Data Firehose zahlen Sie nur für die Datenmengen, die Sie über den Dienst übertragen, und ggf. für die Datenformatkonvertierung. Sie zahlen ggf. außerdem für die HAQM-VPC-Bereitstellung und -Datenübertragung. Es fallen weder Mindestgebühren noch Vorausleistungen an. Sie benötigen keine Mitarbeiter, um die Infrastruktur zu betreiben, zu skalieren und zu pflegen. Es sind auch keine benutzerdefinierten Anwendungen nötig, um Streaming-Daten zu erfassen und zu laden.