Häufig gestellte Fragen zu HAQM Managed Service für Apache Flink

Ja, durch die Verwendung von Apache-Flink-DataStream-Konnektoren können Anwendungen von HAQM Managed Service für Apache Flink AWS Glue Schema Registry verwenden, ein Serverless-Feature von AWS Glue. Sie können Apache Kafka, HAQM MSK und HAQM Kinesis Data Streams als Senke oder Quelle in Ihre Workloads für HAQM Managed Service für Apache Flink integrieren. Besuchen Sie das Entwicklerhandbuch zu AWS Glue Schema Registry, um loszulegen und mehr zu erfahren.

Bei einer Anwendung handelt es sich um die Entität von HAQM Managed Service für Apache Flink, mit der Sie arbeiten. Anwendungen von HAQM Managed Service für Apache Flink lesen und verarbeiten kontinuierlich Streaming-Daten in Echtzeit. Sie schreiben Anwendungscode in einer von Apache Flink unterstützten Sprache, um die eingehenden Streaming-Daten zu verarbeiten und eine Ausgabe zu erstellen. Anschließend schreibt HAQM Managed Service für Apache Flink die Ausgabe an ein konfiguriertes Ziel.

Jede Anwendung besteht aus drei Primärkomponenten:

1. Eingabe: Die Eingabe ist die Streaming-Quelle für Ihre Anwendung. In der Eingabekonfiguration ordnen Sie die Streaming-Quellen Datenströmen zu. Daten fließen von Ihren Datenquellen in Ihre Datenströme. Sie verarbeiten Daten aus diesen Datenströmen mithilfe Ihres Anwendungscodes und senden verarbeitete Daten an nachfolgende Datenströme oder Ziele. Sie fügen Eingaben innerhalb des Anwendungscodes für Apache-Flink-Anwendungen und Studio-Notebooks sowie über die API für Anwendungen von HAQM Managed Service für Apache Flink hinzu. 
2. Anwendungscode: Der Anwendungscode besteht aus einer Reihe von Apache-Flink-Operatoren, die Eingaben verarbeiten und Ausgaben erzeugen. In seiner einfachsten Form kann Anwendungscode ein einzelner Apache-Flink-Operator sein, der aus einem mit einer Streaming-Quelle verknüpften Datenstrom liest und in einen anderen mit einer Ausgabe verknüpften Datenstrom schreibt. Für ein Studio-Notebook könnte dies eine einfache Flink-SQL-Auswahlabfrage sein, wobei die Ergebnisse im Kontext innerhalb des Notebooks angezeigt werden. Sie können Apache-Flink-Code in den unterstützten Sprachen für Anwendungen von HAQM Managed Service für Apache Flink oder Studio-Notebooks schreiben.
3. Ausgabe: Anschließend können Sie optional eine Anwendungsausgabe konfigurieren, um Daten an einem externen Ziel beizubehalten. Sie fügen diese Ausgaben in den Anwendungscode für Anwendungen von HAQM Managed Service für Apache Flink und Studio-Notebooks ein. 

AWS bietet verschiedene Tools, mit denen Sie Ihre Anwendungen von HAQM Managed Service für Apache Flink überwachen können, einschließlich Zugriff auf das Flink-Dashboard für Apache-Flink-Anwendungen. Sie können einige dieser Tools für die Überwachung ignorieren. Weitere Informationen zur Überwachung Ihrer Anwendung finden Sie in den folgenden Entwicklerhandbüchern: 

• Die Überwachung von HAQM Managed Service für Apache Flink finden Sie im Entwicklerhandbuch zu HAQM Managed Service für Apache Flink.
• Die Überwachung von HAQM Managed Service für Apache Flink finden Sie im Entwicklerhandbuch zu HAQM Managed Service für Apache Flink Studio.

HAQM Managed Service für Apache Flink benötigt Berechtigungen zum Lesen von Datensätzen aus den Streaming-Datenquellen, die Sie in Ihrer Anwendung angeben. HAQM Managed Service für Apache Flink benötigt außerdem Berechtigungen zum Schreiben Ihrer Anwendungsausgabe an angegebene Ziele in der Ausgabekonfiguration Ihrer Anwendung. Sie können diese Berechtigungen gewähren, indem Sie AWS Identity and Access Management (IAM)-Rollen erstellen, die HAQM Managed Service für Apache Flink übernehmen kann. Die Berechtigungen, die Sie dieser Rolle gewähren, legen fest, was HAQM Managed Service für Apache Flink tun kann, wenn der Service die Rolle übernimmt. Weitere Informationen finden Sie in den folgenden Entwicklerhandbüchern:

• Gewähren von Berechtigungen im Entwicklerhandbuch zu HAQM Managed Service für Apache Flink.
• Gewähren von Berechtigungen im Entwicklerhandbuch zu HAQM Managed Service für Apache Flink Studio.

HAQM Managed Service für Apache Flink skaliert Ihre Anwendung elastisch, um den Datendurchsatz Ihres Quellstreams und Ihre Abfragekomplexität für die meisten Szenarien zu berücksichtigen. HAQM Managed Service für Apache Flink stellt Kapazität in Form von HAQM-KPUs bereit. Ein KPU stellt Ihnen 1 vCPU und 4 GB Speicher zur Verfügung. 

Für Apache-Flink-Anwendungen und Studio-Notebooks weist HAQM Managed Service für Apache Flink 50 GB laufenden Anwendungsspeicher pro KPU zu, den Ihre Anwendung für Prüfpunkte verwendet und der Ihnen über eine temporäre Festplatte zur Nutzung zur Verfügung steht. Ein Prüfpunkt ist eine aktuelle Sicherung Ihrer laufenden Anwendung, die verwendet wird, um sofort eine Anwendungsstörung zu beheben. Sie können auch die parallele Ausführung Ihrer Anwendungsaufgaben von HAQM Managed Service für Apache Flink (z. B. Lesen aus einer Quelle oder Ausführen eines Operators) mithilfe der Parameter Parallelism und ParallelismPerKPU in der API steuern. Parallelität definiert die Anzahl der gleichzeitigen Instances einer Aufgabe. Alle Operatoren, Quellen und Senken werden standardmäßig mit einer definierten Parallelität ausgeführt. Parallelität pro KPU definiert die Anzahl paralleler Aufgaben, die pro KPU Ihrer Anwendung standardmäßig geplant werden können. Weitere Informationen finden Sie unter Skalierung im Entwicklerhandbuch zu HAQM Managed Service für Apache Flink. 

Informationen zu bewährten Methoden für Apache Flink finden Sie im Abschnitt Bewährte Methoden im Entwicklerhandbuch zu HAQM Managed Service für Apache Flink. Der Abschnitt behandelt bewährte Methoden für Fehlertoleranz, Leistung, Protokollierung, Codierung und mehr. 

Informationen zu bewährten Methoden für HAQM Managed Service für Apache Flink Studio finden Sie im Abschnitt Bewährte Methoden im Entwicklerhandbuch zu HAQM Managed Service für Apache Flink Studio. Neben bewährten Methoden enthält dieser Abschnitt Beispiele für SQL-, Python- und Scala-Anwendungen, Anforderungen für das Bereitstellen Ihres Codes als kontinuierlich ausgeführte Anwendung zur Stream-Verarbeitung, Leistung, Protokollierung und vieles mehr.

Ja. Sie können auf Ressourcen hinter einer HAQM VPC zugreifen. Wie Sie Ihre Anwendung für den VPC-Zugriff konfigurieren, erfahren Sie im Abschnitt Verwenden einer HAQM VPC im Entwicklerhandbuch zu HAQM Managed Service für Apache Flink.

Anwendungen von HAQM Managed Service für Apache Flink und Notebooks von HAQM Managed Service für Apache Flink Studio, die für den Zugriff auf Ressourcen in einer bestimmten VPC konfiguriert sind, verfügen standardmäßig nicht über Zugriff auf das Internet. Wie Sie den Zugriff auf das Internet für Ihre Anwendung konfigurieren, erfahren Sie im Abschnitt Internet- und Servicezugriff im Entwicklerhandbuch zu HAQM Managed Service für Apache Flink.

Mit HAQM Managed Service für Apache Flink zahlen Sie nur für das, was Sie tatsächlich nutzen. Mit HAQM Managed Service für Apache Flink müssen Sie weder Ressourcen bereitstellen noch Vorabkosten zahlen. 

Ihnen wird ein Stundensatz berechnet, der auf der Anzahl der HAQM KPUs basiert, die zum Ausführen Ihrer Streaming-Anwendung verwendet werden. Eine einzelne KPU ist eine Einheit für die Stream-Verarbeitungskapazität, die aus 1 vCPU für Datenverarbeitung und 4 GB Speicher besteht. HAQM Managed Service für Apache Flink skaliert automatisch die Anzahl der KPUs, die Ihre Anwendung zur Stream-Verarbeitung benötigt. Die Anforderungen an Speicher und Rechenleistung variieren je nach Komplexität der Verarbeitung und dem Durchsatz der verarbeiteten Streaming-Daten. 

Für Apache-Flink- und Apache-Beam-Anwendungen wird Ihnen für die Orchestrierung der Anwendung eine einzige zusätzliche KPU pro Anwendung berechnet. Apache-Flink- und Apache-Beam-Anwendungen werden auch für das Ausführen von Anwendungsspeicher und dauerhafte Anwendungs-Backups berechnet. Die Ausführung von Anwendungsspeicher wird für zustandsbehaftete Verarbeitungsfunktionen im HAQM Managed Service für Apache Flink verwendet und pro GB/Monat berechnet. Dauerhafte Anwendungs-Backups sind optional, werden pro GB und Monat berechnet und bieten eine zeitpunktbezogene Wiederherstellung für Anwendungen. 

Für HAQM Managed Service für Apache Flink Studio wird Ihnen im Entwicklungs- oder interaktiven Modus ein zusätzlicher KPU für die Anwendungsorchestrierung und 1 KPU für die interaktive Entwicklung berechnet. Die Kosten für die Ausführung von Anwendungsspeicher werden Ihnen ebenfalls in Rechnung gestellt. Für dauerhafte Anwendungssicherungen werden Ihnen keine Gebühren berechnet.

Weitere Preisinformationen finden Sie auf der Preisseite für HAQM Managed Service für Apache Flink.

Für Apache-Flink- und Apache Beam-Anwendungen werden Ihnen mindestens 2 KPUs und 50 GB laufender Anwendungsspeicher in Rechnung gestellt, wenn Ihre Anwendung von HAQM Managed Service für Apache Flink ausgeführt wird.

Für Notebooks von HAQM Managed Service für Apache Flink Studio werden Ihnen mindestens 3 KPUs und 50 GB laufender Anwendungsspeicher berechnet, wenn Ihre Anwendung ausgeführt wird.

Apache Flink ist ein Open-Source-Framework und Engine für Streaming und Batch-Datenverarbeitung. Es vereinfacht die Erstellung von Streaming-Anwendungen, da es leistungsstarke Operatoren bereitstellt und zentrale Streaming-Probleme wie die doppelte Verarbeitung löst. Apache Flink bietet Datenverteilung, Kommunikation und Fehlertoleranz für verteilte Berechnungen über Datenströme.

Sie können damit beginnen, die Open-Source-Bibliotheken herunterzuladen, darunter das AWS-SDK, Apache Flink und Konnektoren für AWS-Services. Anweisungen zum Herunterladen der Bibliotheken und zum Erstellen Ihrer ersten Anwendung erhalten Sie im Entwicklerhandbuch zu HAQM Managed Service für Apache Flink.

Sie schreiben Ihren Apache Flink-Code mit Daten-Streams und Stream-Operatoren. Anwendungs-Daten-Streams sind die Datenstruktur, die Sie in Ihrem Code verarbeiten. Die Daten fließen kontinuierlich von den Quellen in die Anwendungs-Datenströme. Ein oder mehrere Stream-Operatoren werden verwendet, um Ihre Verarbeitung des Anwendungs-Datenströme zu definieren, einschließlich transform, partition, aggregate, join und window. Datenströme und Operatoren können in seriellen und parallelen Ketten zusammengefügt werden. Ein kurzes Beispiel für die Verwendung von Pseudocode ist unten dargestellt.

DataStream <GameEvent> rawEvents = env.addSource(

New KinesisStreamSource(“input_events”));

DataStream <UserPerLevel> gameStream =

rawEvents.map(event - > new UserPerLevel(event.gameMetadata.gameId,

event.gameMetadata.levelId,event.userId));

gameStream.keyBy(event -> event.gameId)

.keyBy(1)

.window(TumblingProcessingTimeWindows.of(Time.minutes(1)))

.apply(...) - > {...};

gameStream.addSink(new KinesisStreamSink("myGameStateStream"));

Operatoren nehmen einen Anwendungs-Datenstrom als Eingabe und senden verarbeitete Daten als Ausgabe zu einem Anwendungs-Datenstrom. Operatoren können zusammengefügt werden, um Anwendungen in mehreren Schritten zu erstellen, und benötigen für die Implementierung und den Betrieb keine fortgeschrittenen Kenntnisse verteilter Systeme.

HAQM Managed Service für Apache Flink unterstützt alle Operatoren von Apache Flink, die zur Lösung einer Vielzahl von Anwendungsfällen verwendet werden können, darunter Map, KeyBy, Aggregationen, Window Join und mehr. Mit dem Map-Operator können Sie beispielsweise eine beliebige Verarbeitung durchführen, indem Sie ein Element aus einem eingehenden Datenstrom entnehmen und ein anderes Element erstellen. KeyBy organisiert Daten logisch mithilfe eines angegebenen Schlüssels, sodass Sie ähnliche Datenpunkte gemeinsam verarbeiten können. Aggregationen führen die Verarbeitung über mehrere Schlüssel hinweg durch, z. B. Summe, Min. und Max. Window Join verbindet zwei Datenströme auf einem bestimmten Schlüssel und Fenster. 

Sie können benutzerdefinierte Operatoren erstellen, wenn diese Ihren Anforderungen nicht entsprechen. Weitere Beispiele finden Sie im Abschnitt Operatoren im Entwicklerhandbuch zu HAQM Managed Service für Apache Flink. Eine vollständige Liste der Apache-Flink-Operatoren finden Sie in der Apache-Flink-Dokumentation. 

Sie können vorgefertigte Integrationen von Apache Flink mit minimalem Code einrichten oder Ihre eigene Integration erstellen, um eine Verbindung zu praktisch jeder Datenquelle herzustellen. Die auf Apache Flink basierenden Open-Source-Bibliotheken unterstützen Streaming-Quellen und -Ziele oder Senken, um die Datenbereitstellung zu verarbeiten. Dazu gehört auch die Unterstützung der Datenanreicherung durch asynchrone E/A-Konnektoren. Einige dieser Konnektoren beinhalten Folgendes:

• Streaming-Datenquellen: HAQM Managed Streaming für Apache Kafka (HAQM MSK), Ziele von HAQM Kinesis Data Streams oder Senken: HAQM Kinesis Data Streams
• HAQM Kinesis Data Firehose, HAQM DynamoDB, HAQM Elasticsearch Service und HAQM S3 (durch die Senken-Integrationen)

Ja. Sie können Anwendungen von HAQM Managed Service für Apache Flink verwenden, um Daten zwischen HAQM Kinesis Data Streams, HAQM MSK und anderen Systemen zu replizieren. Ein Beispiel aus unserer Dokumentation zeigt, wie ein HAQM-MSK-Thema ausgelesen und ein anderes beschrieben wird.

Sie können eine Quelle oder ein Ziel zu Ihrer Anwendung hinzufügen, indem Sie diese auf einem Satz Primitives aufbauen, die es Ihnen ermöglichen, von Dateien Verzeichnissen, Sockets und allem, auf das Sie über das Internet zugreifen können, zu lesen und zu schreiben, Apache Flink stellt diese Primitives für Datenquellen und Daten-Sinks bereit. Die Primitives werden mit Konfigurationen geliefert, wie der Möglichkeit Daten kontinuierlich oder einmal, asynchron oder synchron zu lesen und zu schreiben, und vieles mehr. Sie können beispielsweise eine Anwendung so einrichten, dass sie kontinuierlich von HAQM S3 liest, indem Sie die vorhandene dateibasierte Quellintegration erweitern.

Apache-Flink-Anwendungen im HAQM Managed Service für Apache Flink nutzen ein Modell der einmaligen Bereitstellung, wenn eine Anwendung mithilfe von idempotenten Operatoren entwickelt wird, einschließlich Quellen und Senken. Dies bedeutet, dass sich die verarbeiteten Daten nur einmal und ein einziges Mal auf die nachgelagerten Ergebnisse auswirken.

Standardmäßig verwenden Anwendungen von HAQM Managed Service für Apache Flink die einmalige Apache-Flink-Semantik. Ihre Anwendung unterstützt die einmalige Verarbeitungssemantik, wenn Sie Ihre Anwendungen mithilfe von Quellen, Operatoren und Senken entwickeln, die die einmalige Semantik von Apache Flink verwenden.

HAQM Managed Service für Apache Flink sichert den Status Ihrer laufenden Anwendung automatisch mithilfe von Prüfpunkten und Snapshots. Prüfpunkte speichern den aktuellen Anwendungsstatus und ermöglichen Anwendungen von HAQM Managed Service für Apache Flink, die Anwendungsposition wiederherzustellen, um dieselbe Semantik wie eine fehlerfreie Ausführung bereitzustellen. Prüfpunkte verwenden laufenden Anwendungsspeicher. Prüfpunkte für Apache-Flink-Anwendungen werden über die Funktionalität von Prüfpunkten von Apache Flink bereitgestellt. Snapshots speichern einen Point-in-Time-Wiederherstellungspunkt für Anwendungen und verwenden dauerhafte Anwendungs-Backups. Snapshots ähneln Flink-Speicherpunkten.

Weitere Informationen zu den unterstützten Apache-Flink-Versionen finden Sie auf der Seite mit den Versionshinweisen zu HAQM Managed Service für Apache Flink. Diese Seite enthält auch die Versionen von Apache Beam, Java, Scala, Python und AWS-SDKs, die HAQM Managed Service für Apache Flink unterstützt. 

Ja, HAQM Managed Service für Apache Flink unterstützt Streaming-Anwendungen, die mit Apache Beam erstellt wurden. Sie können Apache-Beam-Streaming-Anwendungen in Java erstellen und sie in verschiedenen Engines und Services ausführen, einschließlich der Verwendung von Apache Flink im HAQM Managed Service für Apache Flink. Informationen zu unterstützten Apache-Flink- und Apache-Beam-Versionen finden Sie im Entwicklerhandbuch zu HAQM Managed Service für Apache Flink. 

Sie können in wenigen Schritten von den Konsolen von HAQM Managed Service für Apache Flink Studio, HAQM Kinesis Data Streams oder HAQM MSK aus ein Serverless-Notebook starten, um sofort Datenströme abzufragen und interaktive Datenanalysen durchzuführen.

Interaktive Datenanalyse: Sie können im Notebook Code in SQL, Python oder Scala schreiben, um mit Ihren Streaming-Daten zu interagieren, wobei die Reaktionszeiten für Abfragen im Sekundenbereich liegen. Sie können integrierte Visualisierungen verwenden, um Daten zu erkunden, Echtzeit-Einblicke in Ihre Streaming-Daten von Ihrem Notebook aus anzeigen und Anwendungen zur Stream-Verarbeitung entwickeln, die von Apache Flink unterstützt werden.

Sobald Ihr Code für die Ausführung als Produktionsanwendung bereit ist, können Sie mit einem einzigen Schritt zu einer Anwendung zur Stream-Verarbeitung übergehen, die Gigabytes an Daten pro Sekunde ohne Server verarbeitet.

Anwendung zur Stream-Verarbeitung: Sobald Sie bereit sind, Ihren Code für die Produktion bereitzustellen, können Sie Ihren Code entwickeln, indem Sie in der Benutzeroberfläche des Notebooks auf „Als Anwendung zur Stream-Verarbeitung bereitstellen“ klicken oder einen einzelnen Befehl in der CLI eingeben. Studio kümmert sich um die gesamte Infrastrukturverwaltung, die erforderlich ist, damit Sie Ihre Anwendung zur Stream-Verarbeitung in großem Umfang ausführen können. Dabei werden Auto Scaling und dauerhafter Status ermöglicht, genau wie bei einer Anwendung von HAQM Managed Service für Apache Flink.

Sie können SQL-Operationen wie die folgenden durchführen:

• Scannen und filtern (SELECT, WHERE) 
• Aggregationen (GROUP BY, GROUP BY WINDOW, HAVING) 
• Satz (UNION, UNIONALL, INTERSECT, IN, EXISTS) 
• Auftrag (ORDER BY, LIMIT) 
• Joins (INNER, OUTER, Zeitfenster – BETWEEN, AND, Verknüpfung mit temporären Tabellen – Tabellen, die Änderungen im Zeitverlauf verfolgen)
• Top-N
• Deduplizierung
• Mustererkennung

Bei einigen dieser Abfragen, wie z. B. GROUP BY, OUTER JOIN und Top-N, handelt es sich um Ergebnisaktualisierungen für Streaming-Daten, was bedeutet, dass die Ergebnisse während der Verarbeitung der Streaming-Daten kontinuierlich aktualisiert werden. Andere DDL-Anweisungen wie CREATE, ALTER und DROP werden ebenfalls unterstützt. Eine vollständige Liste der Abfragen und Beispiele finden Sie in der Dokumentation zu Apache-Flink-Abfragen.

Die Tabellen-API von Apache Flink unterstützt Python und Scala durch Sprachintegration mit Python-Strings und Scala-Ausdrücken. Die unterstützten Vorgänge sind den unterstützten SQL-Vorgängen sehr ähnlich, einschließlich Auswählen, Auftrag, Gruppieren, Join, Filtern und Windowing. Eine vollständige Liste der Vorgänge und Beispiele finden Sie in unserem Entwicklerhandbuch.

Weitere Informationen zu den unterstützten Apache-Flink-Versionen finden Sie auf der Seite mit den Versionshinweisen zu HAQM Managed Service für Apache Flink. Diese Seite enthält auch die Versionen von Apache Zeppelin, Apache Beam, Java, Scala, Python und AWS SDKs, die HAQM Managed Service für Apache Flink unterstützt.

• Datenquellen: HAQM Managed Streaming für Apache Kafka (HAQM MSK), HAQM Kinesis Data Streams, HAQM S3 
• Ziele, oder Sinks: HAQM MSK, HAQM Kinesis Data Streams und HAQM S3

Sie haben Anspruch auf eine SLA-Service-Gutschrift für HAQM Managed Service für Apache Flink im Rahmen des SLA für HAQM Managed Service für Apache Flink, wenn mehr als eine Availability Zone, in der Sie eine Aufgabe innerhalb derselben AWS-Region ausführen, während eines monatlichen Abrechnungszeitraums einen monatlichen Betriebszeitprozentsatz von weniger als 99,9 % aufweist. Ausführliche Informationen zu allen SLA-Bedingungen sowie Einzelheiten zum Einreichen eines Anspruchs finden Sie auf der SLA-Detailseite zu HAQM Managed Service für Apache Flink.