HAQM Managed Service for Apache Flink の特徴

HAQM Managed Service for Apache Flink には、Apache Flink、Apache Beam、Apache Zeppelin、AWS SDK、AWS のサービス統合などのオープンソースライブラリが含まれています。Apache Flink は、高可用性で正確なストリーミングアプリケーションを構築するためのフレームワークおよびエンジンです。Apache Beam は、複数のランタイムエンジンで実行されるストリーミングおよびバッチデータ処理アプリケーションを定義するための統合モデルです。AWS SDK は、好みの言語で API を提供することで多くの AWS のサービスでのコーディングの複雑さを解消します。また、AWS ライブラリ、コードサンプル、ドキュメントなどを含んでいます。 

HAQM Managed Service for Apache Flink はステートフルなイベント処理、ストリーミング ETL (抽出、変換、ロード)、リアルタイム分析など、さまざまなユースケースに特化した Flink の柔軟な API を Java、Scala、Python、SQL でサポートしています。事前構築済みのオペレーターと分析機能により、Apache Flink ストリーミングアプリケーションを数か月ではなく数時間で構築できます。また、ライブラリは拡張可能なため、さまざまなユースケースでリアルタイム処理を実行できます。

最小限のコードで、データソースまたは転送先を設定および統合できます。HAQM Managed Service for Apache Flink ライブラリを使用して、次の AWS サービスと統合できます。  

• HAQM S3
• HAQM MSK
• HAQM OpenSearch Service
• HAQM DynamoDB
• HAQM Kinesis Data Streams
• HAQM Kinesis Data Firehose
• HAQM CloudWatch
• AWS Glue スキーマレジストリ

AWS 統合に加えて、HAQM Managed Service for Apache Flink ライブラリには 40 以上の Apache Flink コネクタと、カスタム統合の構築機能が含まれています。ほんの数行のコードを追加することで、高度な機能によってそれぞれの統合の動作を変更できます。また、一連の Apache Flink のプリミティブタイプを使用して、カスタム統合を構築することもできます。これにより、インターネット経由でアクセスするファイル、ディレクトリ、ソケット、その他のソースとの間での読み書きできます。

HAQM Managed Service for Apache Flink を使用すると、処理されたレコードが正確に 1 回だけ結果に影響を与え、正確に 1 回の処理と呼ばれるアプリケーションを構築することができます。内部のサービスメンテナンスやユーザーが開始したアプリケーションの更新のようなアプリケーションの中断の場合でも、サービスはすべてのデータが処理され、重複するデータが存在しないことを保証します。

このサービスは、実行中のアプリケーションストレージに、以前のまたは実行中の計算や状態を保存します。リアルタイムおよび過去の結果を任意の期間にわたって比較し、アプリケーション中断時に迅速なリカバリを実現します。状態は常に暗号化され、実行中のアプリケーションストレージに増分として保存されます。

簡単な API コールを使用して、耐久性のあるアプリケーションのバックアップを作成および削除します。中断後すぐに最新のバックアップからアプリケーションを復元したり、以前のバージョンにアプリケーションを復元することもできます。 

HAQM Managed Service for Apache Flink は、機械学習 (ML) アルゴリズムをサポートしています。分類、クラスタリング、評価、機能エンジニアリングのレコメンデーション、リグレッション、統計のためのリアルタイムアプリケーションを作成できます。 

HAQM Managed Service for Apache Flink は、AWS Glue Schema Registry と互換性があります。スキーマレジストリは、ソースまたはシンクとして、Apache Kafka、HAQM MSK、または HAQM Kinesis Data Streams に接続された HAQM Managed Service for Apache Flink ワークロード上のスキーマの進化を管理する互換性チェックを使用し、データ品質を向上させ、予期しない変更から保護するのに役立ちます。