Publicado: Jun 7, 2022
O HAQM EMR versão 6.6 agora é compatível com Apache Spark 3.2, Apache Spark RAPIDS 22.02, CUDA 11, Apache Hudi 0.10.1, Apache Iceberg 0.13, Trino 0.367 e PrestoDB 0.267. Você pode usar a versão otimizada para performance do Apache Spark 3.2 no EMR no EC2, EKS e o EMR Serverlessrecém-lançado. Além disso, o Apache Hudi 0.10.1 e o Apache Iceberg 0.13 estão disponíveis no EC2, EKS e Serverless. O Apache Hive 3.1.2 está disponível no EMR no EC2 e no EMR Serverless. O Trino 0.367 e o PrestoDB 0.267 apenas estão disponíveis no EMR no EC2.
Cada versão de lançamento do HAQM EMR usa uma imagem de máquina da HAQM (AMI) padrão HAQM Linux 2 (AL2) para o HAQM EMR. Antes do HAQM EMR 6.6, a AMI padrão era baseada na AMI HAQM Linux mais recente e atualizada disponível no momento do lançamento do HAQM EMR. Portanto, a versão de lançamento do HAQM EMR era “bloqueada” para sua respectiva AMI AL2 atribuída. Isso significa que todas as novas atualizações da AL2 não eram atualizadas automaticamente, a menos que você tivesse migrado para a próxima versão do HAQM EMR ou as instalasse manualmente. Com o HAQM EMR 6.6 e versões subsequentes, todas as vezes que você executar um EMR em um cluster do EC2, o HAQM EMR usará automaticamente a versão mais recente da AL2. Veja nossa documentação para saber mais.
Com o HAQM EMR versão 6.6 e posterior, as aplicações que usam Log4j 1.x e Log4j 2.x serão atualizadas para usar Log4j 1.2.17 (ou superior) e Log4j 2.17.1 (ou superior), respectivamente, e não exigirão o uso das ações de bootstrap fornecidas acima para mitigar os problemas de CVE.
Além disso, com o HAQM EMR versão 6.6, o tempo de inicialização do cluster no EMR no EC2 melhorou em 80 segundos em média para clusters que usam a opção de AMI padrão do HAQM EMR e instalam aplicações comuns, como o Apache Hadoop, o Apache Spark e o Apache Hive.
O HAQM EMR versão 6.6 está geralmente disponível em todas as regiões em que o HAQM EMR está disponível. Consulte Disponibilidade regional do HAQM EMR e nossas notas de versão para obter mais detalhes.