HAQM Managed Service for Apache Flink に関するよくある質問

はい。Apache Flink DataStream コネクタを利用すると、HAQM Managed Service for Apache Flink アプリケーションが AWS Glue のサーバーレス機能である AWS Glue スキーマレジストリを使用できるようになります。Apache Kafka/HAQM MSK および HAQM Kinesis Data Streams を、シンクまたはソースとして、HAQM Managed Service for Apache Flink ワークロードと統合できます。詳細を確認したり、使用を開始したりするには、「AWS Glue スキーマ登録デベロッパーガイド」にアクセスしてください。

アプリケーションは、使用する HAQM Managed Service for Apache Flink のエンティティです。HAQM Managed Service for Apache Flink アプリケーションでは、ストリーミングデータがリアルタイムで連続的に読み込まれて処理されます。Apache Flink がサポートする言語を使用してアプリケーションコードを記述し、着信ストリーミングデータを処理して出力を生成します。次に、HAQM Managed Service for Apache Flink が、設定した出力先に出力を書き込みます。

各アプリケーションは、3 つの基本的コンポーネントで構成されています。

1. 入力: 入力はアプリケーションのストリーミングソースです。入力の設定では、ストリーミングソースをデータストリームにマッピングします。データはデータソースからデータストリームに流れます。アプリケーションコードを利用してこのようなデータストリームからのデータを処理し、処理したデータを後続のデータストリームなどのデータの出力先に送信します。Apache Flink アプリケーションや Studio ノートブックのアプリケーションコード内、および HAQM Managed Service for Apache Flink アプリケーションの API を介して、入力を追加します。 
2. アプリケーションのコード: アプリケーションコードは入力の処理と出力の生成を行う一連の Apache Flink 演算子です。最も単純な形状では、アプリケーションコードは、ストリーミングソースに関連付けられているデータストリームから読み込み、出力に関連付けられているその他のデータストリームに書き込む 1 つの Apache Flink 演算子になります。Studio ノートブックの場合、これは単純な Flink SQL 選択クエリであり、結果はノートブック内のコンテキストに表示されます。HAQM Managed Service for Apache Flink アプリケーションまたは Studio ノートブック用の Apache Flink コードを、サポートされている言語で記述できます。
3. 出力: オプションで、データを外部の出力先に保存するようにアプリケーション出力を設定できます。HAQM Managed Service for Apache Flink アプリケーションや Studio ノートブックのアプリケーションコード内に出力を追加します。 

AWS では Apache Flink アプリケーションの Flink ダッシュボードへのアクセスなど、HAQM Managed Service for Apache Flink アプリケーションのモニタリングに使用できるさまざまなツールを提供しています。自動モニタリングを実施するように、これらのツールを設定できます。アプリケーションの監視方法の詳細については、以下のデベロッパーガイドをご覧ください。 

• 「HAQM Managed Service for Apache Flink デベロッパーガイド」の「HAQM Managed Service for Apache Flink のモニタリング」。
• 「HAQM Managed Service for Apache Flink Studio デベロッパーガイド」の「HAQM Managed Service for Apache Flink のモニタリング」。

HAQM Managed Service for Apache Flink では、ユーザーがアプリケーション内で指定したストリーミングデータソース内のレコードに対する読み取り権限が必要になります。また、HAQM Managed Service for Apache Flink はユーザーがアプリケーション出力設定に指定した出力先にアプリケーション出力を書き込む権限も必要になります。これらの権限を付与するには、HAQM Managed Service for Apache Flink が引き受けることのできる AWS Identity and Access Management (IAM) ロールを作成します。このロールに付与する権限によって、サービスがこのロールを引き受けたときに HAQM Managed Service for Apache Flink で実行できる内容が決まります。詳細については、次のデベロッパーガイドを参照してください。

• 「HAQM Managed Service for Apache Flink デベロッパーガイド」の「許可の付与」。
• 「HAQM Managed Service for Apache Flink Studio デベロッパーガイド」の「許可の付与」。

HAQM Managed Service for Apache Flink により、アプリケーションが大半のシナリオにおける複雑なクエリとソースストリームのデータスループットに対応できるように、伸縮自在にスケールされます。HAQM Managed Service for Apache Flink は、HAQM KPU という形でキャパシティをプロビジョニングします。1 つの KPU で 1 vCPU と 4 GB メモリが与えられます。 

Apache Flink アプリケーションおよび Studio ノートブックの場合、HAQM Managed Service for Apache Flink によって、KPU あたり 50 GB の稼働アプリケーションストレージが割り当てられます。このストレージはアプリケーションによってチェックポイントに利用されます。また、これは一時ディスクを通じて利用できます。チェックポイントは、アプリケーションが中断したとき、即座に回復するために使用される、稼働アプリケーションの最新バックアップです。API の Parallelism パラメータと ParallelismPerKPU パラメータを利用し、Apache Flink アプリケーションタスク (ソースから読み込んだり、演算子を実行したりなど) に対する HAQM Managed Service for Apache Flink の並列実行を制御することもできます。Parallelism によってタスクの同時実行インスタンスの数が定義されます。演算子、ソース、シンクはすべて定義された並列処理で実行されます。デフォルトは 1 です。KPU あたりの Parallelism によって、アプリケーションの KPU 単位でスケジュールできる並列タスクの数が定義されます。デフォルトは 1 です。詳細については、HAQM Managed Service for Apache Flink デベロッパーガイド の「スケーリング」を参照してください。 

Apache Flink のベストプラクティスについては、「HAQM Managed Service for Apache Flink デベロッパーガイド」の「ベストプラクティス」セクションをご覧ください。このセクションでは、耐障害性、ログ記録、コーディングなどのベストプラクティスを取り上げます。 

HAQM Managed Service for Apache Flink Studio のベストプラクティスについては、HAQM Managed Service for Apache Flink Studio デベロッパーガイドの「ベストプラクティス」セクションを参照してください。ベストプラクティスに加えて、このセクションでは、SQL、Python、Scala アプリケーションのベストプラクティスとサンプル、継続的に実行されるストリーム処理アプリケーションとしてコードをデプロイするための要件、パフォーマンス、ロギングなどについて説明しています。

はい。HAQM VPC の背後のリソースにアクセスできます。HAQM Managed Service for Apache Flink デベロッパーガイドの「HAQM VPC の使用」セクションで、VPC アクセス用にアプリケーションを設定する方法を学習できます。

個別 VPC のリソースに対するアクセスを設定された HAQM Managed Service for Apache Flink アプリケーションおよび HAQM Managed Service for Apache Flink Studio ノートブックでは、デフォルトの構成としてインターネットにアクセスできなくなっています。HAQM Managed Service for Apache Flink デベロッパーガイドの「インターネットとサービスアクセス」セクションで、アプリケーションのインターネットアクセスを設定する方法を学習できます。

HAQM Managed Service for Apache Flink では、使用した分についてのみお支払いいただきます。HAQM Managed Service for Apache Flink では、リソースのプロビジョニングをする必要がなく、初期費用もありません。 

ストリーミングアプリケーションの実行に使用された KPU の数に基づいて時間あたりの課金が発生します。KPU とは、1 vCPU のコンピューティングと 4 GB のメモリで構成されるストリーム処理能力の単位です。HAQM Managed Service for Apache Flink では、メモリやコンピューティングの要求が処理の複雑性や処理されたストリーミングデータのスループットに合わせて変わるとき、ストリーム処理アプリケーションによって必要とされる KPU の数が自動的に拡大縮小されます。 

Apache Flink と Apache Beam のアプリケーションの場合、アプリケーションのオーケストレーションに使用した KPU が、アプリケーションあたり 1 単位追加される方式で課金されます。Apache Flink と Apache Beam のアプリケーションは、稼働アプリケーションストレージと永続的アプリケーションバックアップに対しても課金されます。稼働アプリケーションストレージは HAQM Managed Service for Apache Flink のステートフル処理機能のために使用され、GB 単位で毎月課金されます。永続的アプリケーションバックアップは任意です。これは、アプリケーションバックアップにポイントインタイムリカバリを提供するもので、GB 単位で毎月課金されます。 

開発モードまたはインタラクティブモードの HAQM Managed Service for Apache Flink Studio の場合、アプリケーションオーケストレーション用の KPU とインタラクティブな開発用の 1 つの KPU について追加で課金されます。アプリケーション ストレージの実行にも課金されます。耐久性のあるアプリケーションのバックアップには課金されません。

料金の詳細については、HAQM Managed Service for Apache Flink の料金ページをご覧ください。

Apache Flink と Apache Beam のアプリケーションの場合、HAQM Managed Service for Apache Flink アプリケーションを実行しているのであれば、2 KPU と 50GB の稼働アプリケーションストレージに対する料金が最低料金として請求されます。

HAQM Managed Service for Apache Flink Studio ノートブックの場合、アプリケーションを実行しているのなら、3 KPU と 50GB の稼働アプリケーションストレージに対する料金が最低料金として請求されます。

Apache Flink はストリームと一括データ処理のためのオープンソースのフレームワークおよびエンジンです。用途の広い演算子を提供し、重複処理など、ストリーミングの中心的問題を解決するため、ストリーミングアプリケーションを簡単に構築できます。Apache Flink は、データストリーム全体の分散計算に対してデータ分配、通信、耐障害性を与えます。

まず、AWS SDK、Apache Flink、AWS のサービス向けコネクタを含むオープンソースライブラリをダウンロードすることから始めます。ライブラリのダウンロード方法と初めてのアプリケーションを作成する方法については、「HAQM Managed Service for Apache Flink デベロッパーガイド」をご覧ください。

データストリームとストリーム演算子を利用し、Apache Flink コードを記述します。アプリケーションデータストリームは、コードを利用した処理の実行対象となるデータ構造です。データはソースからアプリケーションデータストリームに継続的に流れます。変換、分割、集計、結合、ウィンドウなどの処理をアプリケーションデータストリームで定義するために 1 つまたは複数のストリーム演算子が使用されます。データストリームと演算子はシリアルチェーンとパラレルチェーンでつなげることができます。擬似コードを利用した簡単な例を以下に示します。

DataStream <GameEvent> rawEvents = env.addSource(

New KinesisStreamSource(“input_events”));

DataStream <UserPerLevel> gameStream =

rawEvents.map(event - > new UserPerLevel(event.gameMetadata.gameId,

event.gameMetadata.levelId,event.userId));

gameStream.keyBy(event -> event.gameId)

.keyBy(1)

.window(TumblingProcessingTimeWindows.of(Time.minutes(1)))

.apply(...) - > {...};

gameStream.addSink(new KinesisStreamSink("myGameStateStream"));

演算子は入力としてアプリケーションデータストリームを受け取り、処理したデータをアプリケーションデータストリームに出力として送信します。演算子をつなげて複数の手順を持つアプリケーションを構築できます。実装や運用に分散システムの高度な知識は必要ありません。

HAQM Managed Service for Apache Flink は Apache Flink のすべてのオペレータをサポートしていて、マップ、KeyBy、集約、ウィンドウ、結合など、さまざまなユースケースの解決に使用できます。例えば、マップ演算子では、任意の処理を実行できます。入ってきたデータストリームから 1 つの要素を受け取り、別の要素を生み出します。KeyBy では、指定したキーを利用してデータが論理的に整理されるため、同様のデータポイントをまとめて処理できます。集合では、sum、min、max など、複数のキーをまたいで処理が実行されます。Window Join では、所与のキーとウィンドウで 2 つのデータストリームが結合されます。 

これらの演算子で要件が満たされない場合、カスタム演算子を構築できます。他の例については、HAQM Managed Service for Apache Flink デベロッパーガイドの「演算子」セクションをご覧ください。Apache Flink 演算子の詳細なリストについては、Apache Flink ドキュメントをご覧ください。 

最小限のコードで Apache Flink が提供する事前構築された統合をセットアップするか、独自の統合を構築して事実上すべてのデータソースに接続することができます。Apache Flink をベースとするオープンソースライブラリでは、データの配信を処理するためのストリーミングの配信元、配信先、シンクがサポートされます。これには、非同期 I/O コネクタを通じたデータ強化サポートも含まれています。これらのコネクタには、次のものが含まれます。

• ストリーミングデータソース: HAQM Managed Streaming for Apache Kafka (HAQM MSK)、HAQM Kinesis Data Streams Destinations、またはシンク: HAQM Kinesis Data Streams
• HAQM Kinesis Data Firehose、HAQM DynamoDB、HAQM Elasticsearch Service、HAQM S3 (ファイルシンク統合経由で)

はい。HAQM Managed Service for Apache Flink アプリケーションを使用して、HAQM Kinesis Data Streams、HAQM MSK、および他のシステム間でデータを複製できます。 ドキュメントに記載されている例は、ある HAQM MSK トピックから読み取りを行う方法と別のトピックに書き込む方法を示しています。

ファイル、ディレクトリ、ソケット、あるいはインターネット経由でアクセスできるあらゆるものとの読み書きを可能にする一連のプリミティブの上に構築することで、アプリケーションに配信元と配信先を追加できます。Apache Flink は、データソースとデータシンクのためにこれらのプリミティブを提供します。プリミティブには、データを継続的、1 回限り、非同期、同期などの方法で読み書きする機能などの設定が付属します。例えば、既存のファイルベースのソース統合を延長することで、HAQM S3 から継続的に読み込むアプリケーションを設定できます。

HAQM Managed Service for Apache Flink の Apache Flink アプリケーションでは、ソースとシンクなど、べき等演算子を使用してアプリケーションが構築されている場合、「厳密に 1 回」の配信モデルが使用されます。つまり、処理されたデータは下流の結果に 1 回だけ影響を与えます。

デフォルトでは、HAQM Managed Service for Apache Flink アプリケーションでは Apache Flink の「厳密に 1 回」のセマンティックスが使用されます。Apache Flink の「厳密に 1 回」のセマンティックスを活用するソース、演算子、シンクでアプリケーションを設計する場合、そのアプリケーションでは「厳密に 1 回」の処理セマンティックスがサポートされます。

HAQM Managed Service for Apache Flink では、チェックポイントとスナップショットを利用し、稼働アプリケーションの状態が自動的にバックアップされます。チェックポイントではアプリケーションの現在の状態が保存されます。HAQM Managed Service for Apache Flink アプリケーションでは、アプリケーションの位置を回復できるため、障害なし実行と同じ意味になります。チェックポイントでは、稼働アプリケーションストレージが使用されます。Apache Flink アプリケーションのチェックポイントは、Apache Flink のチェックポイント機能を通じて提供されます。スナップショットは、アプリケーションのポイントインタイムリカバリポイントを保存し、永続的なアプリケーションバックアップを使用します。スナップショットは Flink セーブポイントに似ています。

サポートされている Apache Flink のバージョンの詳細については、HAQM Managed Service for Apache Flink のリリースノートページにアクセスしてください。このページには、HAQM Managed Service for Apache Flink がサポートする Apache Beam、Java、Scala、Python、および AWS SDK のバージョンも記載されています。 

はい、HAQM Managed Service for Apache Flink は、Apache Beam を使用して構築されたストリーミングアプリケーションをサポートします。Java で Apache Beam ストリーミングアプリケーションを構築し、HAQM Managed Service for Apache Flink で Apache Flink を使用するなど、さまざまなエンジンやサービスで実行することができます。サポートされている Apache Flink と Apache Beam のバージョンに関する情報については、「HAQM Managed Service for Apache Flink デベロッパーガイド」をご覧ください。 

わずか数ステップで HAQM Managed Service for Apache Flink Studio、HAQM Kinesis Data Streams、または HAQM MSK コンソールから開始してサーバーレスノートブックを起動し、データストリームをすぐにクエリしてインタラクティブなデータ分析を実行できます。

インタラクティブなデータ分析: SQL、Python、Scala でノートブックにコードを記述し、ストリーミングデータを操作することができます。クエリの応答時間は秒単位です。組み込みの可視化を使用して、ノートブック内からデータを探索し、ストリーミング データに関するリアルタイムインサイトを表示し、Apache Flink を利用したストリーム処理アプリケーションを開発できます。

コードを本番アプリケーションとして実行する準備ができたら、ワンステップで、サーバーなしで 1 秒あたり数ギガバイトのデータを処理するストリーム処理アプリケーションに移行できます。

ストリーム処理アプリケーション: コードを本番環境にプロモートする準備ができたら、ノートブックインターフェイスで [Deploy as stream processing application] (ストリーム処理アプリケーションとしてデプロイ) をクリックするか、CLI で 1 つのコマンドを発行してコードを構築できます。HAQM Managed Service for Apache Flink アプリケーションと同様に、自動スケーリングと耐久性のある状態が有効になった Studio がストリーム処理アプリケーションを大規模に実行するために必要なインフラストラクチャ管理をすべて行います。

次のような SQL オペレーションを実行できます:

• スキャンとフィルタリング (SELECT、WHERE) 
• 集計 (GROUP BY、GROUP BY WINDOW、HAVING) 
• セット (UNION、UNIONALL、INTERSECT、IN、EXISTS) 
• 順序 (ORDER BY、LIMIT) 
• 結合 (INNER、OUTER、時限ウィンドウ – BETWEEN、AND、一時テーブルとの結合 – 時間の経過に伴う変化を追跡するテーブル)
• Top-N
• データ重複排除
• パターン認識

GROUP BY、OUTER JOIN、Top-N などの一部のクエリは、ストリーミングデータの「結果の更新」です。つまり、ストリーミングデータが処理されると、結果が継続的に更新されます。CREATE、ALTER、DROP などの他の DDL ステートメントもサポートされています。クエリとサンプルの完全なリストについては、Apache Flink クエリのドキュメントをご覧ください。

Apache Flink の Table API は、Python 文字列と Scala 式を使用した言語統合を通じて、Python と Scala をサポートしています。サポートされている操作は、選択、順序、グループ化、結合、フィルター、ウィンドウ処理など、サポートされている SQL 操作と非常に似ています。オペレーションの完全なリストとサンプルは、「デベロッパーガイド」に含まれています。

サポートされている Apache Flink のバージョンの詳細については、HAQM Managed Service for Apache Flink のリリースノートページにアクセスしてください。このページには、HAQM Managed Service for Apache Flink がサポートする Apache Zeppelin、Apache Beam、Java、Scala、Python、および AWS SDK のバージョンも記載されています。

• データソース: HAQM Managed Streaming for Apache Kafka (HAQM MSK)、HAQM Kinesis Data Streams、HAQM S3 
• 統合先、またはシンク: HAQM MSK、HAQM Kinesis Data Streams、HAQM S3

同じ AWS リージョン内の複数のアベイラビリティーゾーンでタスクを実行しており、いずれかの月間課金期間中に月間稼働率が 99.9% 未満であった場合、HAQM Managed Service for Apache Flink SLA に基づいて HAQM Managed Service for Apache Flink に対する SLA サービスクレジットを受け取る資格があります。SLA 利用規約に関する完全な詳細、および請求の提出方法の詳細については、HAQM Managed Service for Apache Flink SLA の詳細ページにアクセスしてください。