Publicado: Jun 25, 2020
O HAQM EMR oferece uma estratégia de alocação "Capacidade otimizada" para provisionar instâncias spot em um cluster do HAQM EMR. A estratégia de alocação de “Capacidade otimizada” usa automaticamente a capacidade ociosa disponível, da forma mais eficiente possível, sem deixar de aproveitar os grandes descontos oferecidos pelas instâncias spot. Com a oferta da possibilidade de menos interrupções, a estratégia otimizada para capacidade pode reduzir o custo geral da carga de trabalho.
A estratégia de alocação de capacidade otimizada utiliza dados de capacidade em tempo real para alocar instâncias dos conjuntos de instâncias spot, com a capacidade ideal para o número de instâncias que estão sendo iniciadas. Essa estratégia de alocação é apropriada para cargas de trabalho que têm um custo mais alto de interrupção. Os exemplos incluem tarefas de execução longa e clusters persistentes com vários locatários executando o Apache Spark, Apache Hive e Presto.
A opção de estratégia de alocação também permite especificar até cinco tipos de instâncias do EC2, por nó de tarefa, ao criar seu cluster com a configuração de frota de instâncias. Isso permite que você diversifique suas solicitações de spot e, portanto, obtenha descontos consideráveis.
O HAQM EMR possui vários aprimoramentos para melhorar a elasticidade e a resiliência dos clientes, incluindo o descomissionamento fácil de instâncias spot do HAQM EC2 executando aplicativos Apache Spark e Apache Hadoop no cluster do HAQM EMR. Para evitar a perda de dados, o dimensionamento do HAQM EMR garante que seu nó não tenha tarefas em execução no Apache Hadoop ou dados exclusivos que possam ser perdidos antes da remoção do nó. O HAQM EMR possui personalizações no Spark de código aberto que o tornam mais resiliente à perda de nós – integrando-se ao mecanismo de desativação do YARN, estendendo o mecanismo de desativação do Spark e ações em nós desativados.
Consulte a documentação para aprender aconfigurar frotas de instâncias, como criar uma função de serviço para HAQM EMR (função EMR) e asespecificações de API.
O suporte do HAQM EMR à estratégia de alocação agora está disponível, geralmente nas versões de lançamento do EMR 5.12.1 e superior, em todas as regiões comerciais da AWS em que o HAQM EMR está disponível. Aqui está um link para Disponibilidade regional do HAQM EMR.