Features von HAQM Managed Service für Apache Flink

Warum HAQM Managed Service für Apache Flink?

HAQM Managed Service für Apache Flink vereinfacht die Entwicklung und Ausführung von Anwendungen zur Echtzeit-Stream-Verarbeitung mit Apache Flink. HAQM Managed Service für Apache Flink stellt Ihre Flink-Cluster bereit und konfiguriert sie. Außerdem wird die Verwaltung von Flink-Aufträgen orchestriert. Es richtet Überwachung und Alarme ein, bietet Auto Scaling und ist für hohe Verfügbarkeit ausgelegt (einschließlich Failover für Verfügbarkeitszonen). Der Service bietet Zugriff auf die ausdrucksstarken APIs von Apache Flink. Mit HAQM Managed Service für Apache Flink Studio können Sie in wenigen Schritten interaktiv Datenströme abfragen oder zustandsbehaftete Anwendungen starten. Mit diesem verwalteten Service können Sie mit Apache Flink loslegen und Ihre Anwendungen zur Verarbeitung von Datenströmen schnell bereitstellen und ausführen.

Mit HAQM Managed Service für Apache Flink haben Sie Zugriff auf die gesamte Palette der branchenführenden Funktionen von Apache Flink, einschließlich Datenverarbeitung mit geringer Latenz und hohem Durchsatz, genau einmaliger Verarbeitung und dauerhaftem Anwendungsstatus. Mit HAQM Managed Service für Apache Flink können Sie sichere, konforme und hochverfügbare Anwendungen bereitstellen. HAQM Managed Service für Apache Flink repliziert Daten und Workloads mühelos über mehrere Availability Zones hinweg und sorgt so für unterbrechungsfreie Leistung und Zuverlässigkeit, ohne für zusätzliche Kapazitäten bezahlen zu müssen.

Die Anwendungsentwicklung ist mit HAQM Managed Service für Apache Flink einfacher, da der Service die flexiblen APIs von Flink in Java, Scala, Python und SQL unterstützt. HAQM Managed Service für Apache Flink lässt sich mit Hunderten von Datenquellen und -zielen integrieren, z. B. HAQM Managed Streaming für Apache Kafka (HAQM MSK), HAQM Kinesis Data Streams, HAQM Kinesis Data Firehose, HAQM Simple Storage Service (HAQM S3), HAQM DynamoDB, JDBC-Konnektoren und benutzerdefinierte Konnektoren.

Anwendungen zur Stream-Verarbeitung unter Verwendung von Apache Flink

Open all

Open-Source

HAQM Managed Service für Apache Flink beinhaltet Open-Source-Bibliotheken wie Apache Flink, Apache Beam, Apache Zeppelin, AWS-SDK und AWS-Serviceintegrationen. Apache Flink ist ein Framework und eine Engine zum Erstellen hochverfügbarer und präziser Streaming-Anwendungen. Apache Beam ist ein einheitliches Modell zur Definition von Streaming- und Batch-Anwendungen für die Datenverarbeitung, die über mehrere Laufzeit-Engines ausgeführt werden. AWS-SDKs tragen dazu bei, die Komplexität der Codierung für viele AWS-Services zu reduzieren, indem diese APIs in Ihrer bevorzugten Sprache bereitstellen und AWS-Bibliotheken, Codebeispiele und Dokumentation enthalten.

Flexible APIs

HAQM Managed Service für Apache Flink unterstützt die flexiblen APIs von Flink in Java, Scala, Python und SQL, die auf verschiedene Anwendungsfälle spezialisiert sind, einschließlich zustandsbehafteter Ereignisverarbeitung, Streaming-ETL („Extract, Transform and Load“) und Echtzeitanalysen. Mit vorgefertigten Operatoren und Analysefunktionen können Sie eine Apache Flink Streaming-Anwendung in Stunden statt in Monaten erstellen. Die Bibliotheken sind erweiterbar, so dass Sie Echtzeitverarbeitung für eine Vielzahl von Anwendungsfällen durchführen können.

AWS-Service-Integrationen

Sie können eine Datenquelle oder ein Datenziel mit minimalem Code einrichten und integrieren. Verwenden Sie den HAQM Managed Service für Apache-Flink-Bibliotheken zur Integration mit den folgenden AWS-Services:

Erweiterte Integrationsmöglichkeiten

Zusätzlich zu den AWS-Integrationen enthalten die Bibliotheken von HAQM Managed Service für Apache Flink mehr als 40 Apache-Flink-Konnektoren und die Möglichkeit, benutzerdefinierte Integrationen zu erstellen. Mit ein paar weiteren Codezeilen können Sie das Verhalten jeder Integration mit erweiterten Funktionen ändern. Sie können auch benutzerdefinierte Integrationen mit einer Reihe von Apache-Flink-Primitiven erstellen. Dadurch können Sie von Dateien, Verzeichnissen, Sockets oder anderen Quellen, auf die über das Internet zugegriffen wird, lesen und schreiben.

Exactly-once-Verarbeitung

Mit HAQM Managed Service für Apache Flink können Sie Anwendungen erstellen, bei denen verarbeitete Datensätze die Ergebnisse genau einmal beeinflussen, was als genau einmalige Verarbeitung bezeichnet wird. Selbst im Falle einer Anwendungsunterbrechung, wie z. B. einer internen Servicewartung oder einer vom Benutzer initiierten Anwendungsaktualisierung, stellt der Service sicher, dass alle Daten verarbeitet werden und keine doppelten Daten vorhanden sind.

Statusbehaftete Verarbeitung

Der Service speichert frühere und laufende Berechnungen oder Status im laufenden Anwendungsspeicher. Vergleichen Sie Echtzeit- und vergangene Ergebnisse über einen beliebigen Zeitraum hinweg und gewährleisten Sie eine schnelle Wiederherstellung bei Anwendungsunterbrechungen. Der Status wird immer verschlüsselt und schrittweise im laufenden Anwendungsspeicher gespeichert.

Dauerhafte Anwendungsdatensicherungen

Über einen einfachen API-Aufruf dauerhafte Anwendungsdatensicherungen erstellen und löschen. Sie können Ihre Anwendungen nach einer Unterbrechung sofort aus dem letzten Backup wiederherstellen oder auf eine frühere Version zurücksetzen.

ML-Integration

HAQM Managed Service für Apache Flink unterstützt Machine-Learning-Algorithmen (ML). Sie können Echtzeitanwendungen für Klassifizierung, Clustering, Auswertung, Empfehlungen für die Feature Engineering, Regressionen und Statistik erstellen.

Kompatibilität mit AWS Glue Schema Registry

HAQM Managed Service für Apache Flink ist mit AWS Glue Schema Registry kompatibel. Die Schema Registry hilft Ihnen dabei, die Datenqualität zu verbessern und sich vor unerwarteten Änderungen zu schützen. Dabei werden Kompatibilitätsprüfungen durchgeführt, die die Schemaentwicklung für Ihre Schemas in Workloads von HAQM Managed Service für Apache Flink steuern, die mit Apache Kafka, HAQM MSK oder HAQM Kinesis Data Streams als Quell- oder Senken-Konnector verbunden sind.