投稿日: Dec 22, 2017
HAQM EMR リリース 5.11.0 で、Apache Spark 2.2.1、Apache Hive 2.3.2、および HAQM SageMaker の Apache Spark への統合を使用できるようになりました。Spark 2.2.1 および Hive 2.3.2 にはさまざまなバグ修正と改善が含まれています。HAQM SageMaker Spark は HAQM SageMaker 向けのオープンソース Spark ライブラリであり、機械学習モデルを大規模に、迅速かつ簡単に構築、トレーニング、デプロイできる完全マネージド型サービスです。これを使用して Spark ステージや Spark ML パイプライン内で HAQM SageMaker とやり取りをするステージをインターリーブし、HAQM SageMaker で Spark DataFrames を使用するモデルを、K-Means クラスタリングや XGBoost など HAQM が提供する ML アルゴリズムを使用してトレーニングできます。
AWS マネジメントコンソール、AWS CLI または SDK からリリースラベル「emr-5.11.0」を選択し、リリース 5.11.0 で HAQM EMR クラスターを作成できます。クラスターでこうしたアプリケーションをインストールするため、Spark および Hive を指定できます。Spark をインストールすると、HAQM SageMaker Spark ライブラリが自動的に含まれます。リリース 5.11.0、Spark 2.2.1、Hive 2.3.2、および Spark での HAQM SageMaker の使用の詳細については、HAQM EMR ドキュメントをご覧ください。
HAQM EMR リリース 5.11.0 は、HAQM EMR がサポートされているすべてのリージョンで利用できます。