Publié le: Oct 14, 2021
La version 6.4 d'HAQM EMR prend désormais en charge Apache Spark 3.1.2 et améliore le temps d'exécution avec HAQM EMR Runtime pour Apache Spark. HAQM EMR 6.4 améliore les performances d'exécution de Presto pour PrestoDB 0.254 et d'Apache Hive 3.1.2 lorsque vous utilisez AWS Glue Data Catalog pour votre metastore.
HAQM EMR 6.4 prend en charge Apache Hudi 0.8.0, Trino 359, PrestoDB 0.254, Apache HBase 2.4.4, Apache Phoenix 5.1.2, Apache Flink 1.13.1, Apache Livy 0.7.1, JupyterHub 1.4.1, Apache Zookeeper 3.5.7 et Apache MXNet 1.8.0. Veuillez consulter notre guide de version pour en savoir plus.
Avec les versions 5.30, 6.1 et ultérieures d'HAQM EMR, vous avez désormais la possibilité de résilier automatiquement les clusters HAQM EMR inactifs. Cela vous aide à minimiser les coûts sans avoir à contrôler l'activité du cluster. Pour commencer, consultez notre documentation ici.
HAQM EMR Studio prend désormais en charge plusieurs langages dans le même bloc-notes basé sur Jupyter pour les charges de travail Spark. Veuillez consulter notre documentation pour en savoir plus. Vous pouvez désormais authentifier les utilisateurs d'HAQM EMR Studio à l'aide de l'authentification basée sur IAM ou de la fédération IAM, en addition d'AWS Single Sign-On. Si vous souhaitez en savoir plus, cliquez ici.
HAQM EMR 6.4 inclut Hudi 0.8.0, ce qui vous permet d'utiliser plusieurs applications pour écrire simultanément dans la même table Hudi. Vous pouvez obtenir davantage d'informations sur les fonctions de Hudi 0.8.0 ici. Vous pouvez désormais transmettre des métriques Hudi à HAQM CloudWatch, et définir des configurations Hudi au niveau du cluster à l'aide de l'API de configuration EMR et de la fonction de reconfiguration.
HAQM EMR 6.4 prend désormais en charge Spark SQL pour écrire et mettre à jour les tables de métadonnées Apache Hive sur les clusters HAQM EMR activés par Apache Ranger. Veuillez consulter notre documentation pour en savoir plus.
À partir des versions 5.7 et ultérieures d'HAQM EMR, vous avez désormais la possibilité de créer des clusters avec plusieurs HAQM Machine Images (AMI) personnalisées. Vous pouvez inclure à la fois des instances AWS Graviton et autres qu'AWS Graviton dans le même cluster. Pour en savoir plus, veuillez consulter notre documentation. HAQM EMR 6.4 est généralement disponible dans toutes les régions où HAQM EMR est disponible. Pour plus de détails, veuillez consulter la disponibilité régionale d'HAQM EMR ainsi que nos notes de mise à jour.