Publicado en: Oct 14, 2021
La versión 6.4 de HAQM EMR ya es compatible con Apache Spark 3.1.2 y brinda mejoras en el tiempo de ejecución con HAQM EMR para Apache Spark. HAQM EMR 6.4 brinda mejoras en el tiempo de ejecución de Presto para PrestoDB 0.254, y mejoras en el tiempo de ejecución para Apache Hive 3.1.2 al utilizar AWS Glue Data Catalog para el metastore.
HAQM EMR 6.4 es compatible con Apache Hudi 0.8.0, Trino 359, PrestoDB 0.254, Apache HBase 2.4.4, Apache Phoenix 5.1.2, Apache Flink 1.13.1, Apache Livy 0.7.1, JupyterHub 1.4.1, Apache Zookeeper 3.5.7 y Apache MXNet 1.8.0. Para obtener más información, consulte nuestra guía de versiones.
A partir de las versiones 5.30 y 6.1 de HAQM EMR, ya es posible finalizar automáticamente los clústeres de HAQM EMR inactivos. Esto le ayuda a minimizar los costos sin monitorear la actividad del clúster. Para comenzar, lea nuestra documentación aquí.
HAQM EMR Studio ya es compatible con el uso de varios idiomas en el mismo bloc de notas basado en Jupyter para las cargas de trabajo de Spark. Consulte nuestra documentación para obtener más información. A partir de ahora, los usuarios de HAQM EMR Studio podrán utilizar la autenticación basada en IAM o IAM federada, además de AWS Single Sign-On. Puede obtener más información aquí.
HAQM EMR 6.4 incluye Hudi 0.8.0, que permite utilizar varias aplicaciones para escribir simultáneamente en la misma tabla Hudi. Puede encontrar más detalles sobre las características de Hudi 0.8.0 aquí. Ahora puede notificar las métricas de Hudi a HAQM CloudWatch y establecer las configuraciones de Hudi a nivel de clúster mediante la API de configuración de EMR y la característica de reconfiguración.
HAQM EMR 6.4 ya es compatible con Spark SQL para escribir y actualizar tablas de metadatos de Apache Hive en clústeres de HAQM EMR habilitados para Apache Ranger. Consulte nuestra documentación para obtener más información.
A partir de la versión 5.7 de HAQM EMR, ya es posible crear clústeres con varias HAQM Machine Images (AMI) personalizadas. Puede incluir tanto instancias de AWS Graviton como instancias diferentes de AWS Graviton en el mismo clúster. Para obtener más información, lea la documentación. HAQM EMR 6.4 está disponible de manera general en todas las regiones en las que HAQM EMR está disponible. Consulte la Disponibilidad regional de HAQM EMR y las notas de la versión para obtener más información.