Publicado: Nov 22, 2022
O HAQM EMR Sem Servidor anuncia o suporte à leitura e gravação de dados no HAQM DynamoDB com fluxos de trabalho de Spark e Hive. Agora, você pode exportar, importar, consultar e associar tabelas no HAQM DynamoDB diretamente de aplicações Spark e/ou Hive com EMR Sem Servidor. O HAQM DynamoDB é um banco de dados NoSQL totalmente gerenciado que cumpre requisitos de latência e throughput de aplicações altamente exigentes, oferecendo latência abaixo de 10 milissegundos e performance previsível com escalabilidade transparente de throughput e armazenamento.
Muitas vezes, os usuários da AWS precisam processar dados armazenados no HAQM DynamoDB com eficiência e em grande escala para análises posteriores. A equipe do HAQM EMR criou emr-dynamodb-connector como código aberto para ajudar os clientes a simplificar o acesso e a configuração do HAQM DynamoDB usando aplicações do Apache Spark e Apache Hive. Esse conector viabiliza vários casos de uso de análises, incluindo o processamento eficiente de dados no HAQM DynamoDB ou a associação de tabelas do HAQM DynamoDB com tabelas externas no HAQM S3, HAQM RDS ou outros datastores que podem ser acessados pelo HAQM EMR Sem Servidor. Com o HAQM EMR versão 6.9, você pode obter todos os benefícios do conector do HAQM DynamoDB com aplicações do HAQM EMR Sem Servidor. Você pode usar tabelas do HAQM DynamoDB com acesso entre regiões e contas.
Além disso, temos o prazer de anunciar que o EMR Sem Servidor oferece suporte ao acesso de outras contas da AWS a buckets específicos do HAQM S3 para processar dados de aplicações do Spark e Hive. Os clientes da AWS usam várias contas da AWS para separar melhor projetos ou linhas de negócio diferentes. A disponibilidade de recursos entre contas simplifica a proteção e o gerenciamento de data lakes distribuídos entre várias contas por meio de uma abordagem centralizada. Com o acesso entre contas ao HAQM S3, você pode usar aplicações do Spark ou Hive com EMR Sem Servidor em uma conta da AWS e acessar e processar dados armazenados em buckets específicos de outras contas da AWS.
Esses recursos já estão disponíveis em todas as regiões do EMR Sem Servidor. Para saber mais, consulte a documentação do HAQM EMR Sem Servidor.