HAQM EMR Managed Scaling が Spark シャッフルデータに対応

HAQM EMR Managed Scaling は、EMR クラスターのサイズを自動的に変更して、最高レベルのパフォーマンスとリソース使用状況を実現します。本日、Apache Spark の中間シャッフルデータを保存するインスタンスをスケールダウンできないようにする Managed Scaling の新機能を発表します。中間シャッフルデータを保存するインスタンスを削除せずにクラスターをインテリジェントにスケールダウンすると、ジョブの再試行と再計算が防止され、パフォーマンスが向上し、コストが削減されます。

EMR Managed Scaling を使用して、クラスター用のコンピューティングの上限および下限を指定します。EMR Managed Scaling は HAQM EC2 スポットインスタンスとともにご利用いただけます。これにより、未使用の EC2 容量を利用して、オンデマンド料金について最大 90% の割引を受けることができます。EMR Managed Scaling は、クラスターで実行されているワークロードに関連付けられた主要なメトリクスを継続的にサンプリングし、ワークロードと使用状況に基づいてクラスターのサイズを変更します。これらのメトリクスに、Apache Spark の中間シャッフルデータを持つインスタンスのモニタリングが含まれるようになりました。

この機能は、HAQM EMR のリリースバージョン 5.34 および 6.4.0 以降でサポートされています。お客様側でのご対応は不要です。この機能は、米国東部 (バージニア北部およびオハイオ)、米国西部 (オレゴンおよび北カリフォルニア)、南米 (サンパウロ)、欧州 (フランクフルト、アイルランド、ロンドン、ミラノ、パリ、 ストックホルム)、カナダ (中部)、アジアパシフィック (香港、ムンバイ、ソウル、シンガポール、シドニー、東京)、中東 (バーレーン)、およびアフリカ (ケープタウン) の 20 の世界中の AWS リージョンでご利用いただけます。

詳細については、Managed Scaling のドキュメントをご覧ください。