Veröffentlicht am: Dec 22, 2017
Sie können jetzt Apache Spark 2.2.1, Apache Hive 2.3.2 und die HAQM SageMaker-Integration mit Apache Spark auf HAQM EMR Version 5.11.0 verwenden. Spark 2.2.1 und Hive 2.3.2 enthalten mehrere Fehlerkorrekturen und Verbesserungen. HAQM SageMaker Spark ist eine als Open Source bereitgestellte Spark-Bibliothek für HAQM SageMaker, einen vollständig verwalteten Service, der Machine Learning-Modelle jeder Größenordnung erstellen zu trainieren und bereitstellen kann. Sie ermöglicht Ihnen, Spark-Stufen und Stufen, die mit HAQM SageMaker interagieren, in Ihren Spark ML Pipelines überlappend zuzulassen, sodass Sie Modelle mit Spark DataFrames in HAQM SageMaker mit von HAQM bereitgestellten ML-Algorithmen trainieren können, wie beispielsweise K-Means-Clustering oder XGBoost.
Sie können einen HAQM EMR-Cluster mit Version 5.11.0 erstellen, indem Sie in der AWS-Managementkonsole, AWS CLI oder SDK die Versionsbezeichnung "emr-5.11.0" auswählen. Sie können Spark und Hive auswählen, um diese Anwendungen in Ihrem Cluster zu installieren. Die HAQM SageMaker Spark-Bibliothek ist automatisch enthalten, wenn Sie Spark installieren. Weitere Informationen über Version 5.11.0, Spark 2.2.1, Hive 2.3.2 und die Verwendung von HAQM SageMaker mit Spark finden Sie in der HAQM EMR-Dokumentation.
HAQM EMR-Version 5.11.0 ist in allen unterstützten Regionen für HAQM EMR verfügbar.