投稿日: Oct 7, 2020
Apache Flink Kinesis Consumer は、HAQM Kinesis Data Streams の拡張ファンアウト (EFO) と HTTP/2 data retrieval API をサポートするようになりました。EFO により、HAQM Kinesis Data Streams のコンシューマーは、それぞれ最大 2MB /秒の専用読み取りスループットを受け取ることでスケーリングできます。HTTP/2 data retrieval API は、プロデューサーからコンシューマーへのデータ配信のレイテンシーを 70 ミリ秒以下に短縮します。これら 2 つの機能を組み合わせることで、HAQM Kinesis Data Streams の専用スループットを利用する低レイテンシーの ApacheFlink アプリケーションを構築できます。
HAQM Kinesis Data Analytics は、Apache Flink でストリーミングデータをリアルタイムで変換および分析できる最も簡単な方法です。Apache Flink はオープンソースのフレームワークであり、データストリームを処理するためのエンジンです。HAQM Kinesis Data Analytics は、Apache Flink アプリケーションの構築と管理の複雑さを軽減します。HAQM Kinesis Data Analytics for Apache Flink は、組み込みコネクターを使用して、HAQM Managed Streaming for Apache Kafka (HAQM MSK)、HAQM Kinesis Data Streams、HAQM Elasticsearch Service、HAQM DynamoDB ストリーム、HAQM S3、カスタム統合などと統合します。ApacheFlink 用の HAQM Kinesis Data Analytics の詳細については、こちら をご覧ください。
Apache Flink Kinesis Data Streams コネクターと EFO の使用を開始するには、ApacheFlink バージョン 1.8 の Maven リポジトリと GitHub リポジトリを参照してください。
HAQM Kinesis Data Analytics を利用できる場所のリストについては、AWS リージョンテーブル をご覧ください。