Perguntas frequentes do HAQM Redshift

O SageMaker simplifica o SQL analytics ao oferecer uma plataforma abrangente e intuitiva que conecta diversas fontes de dados e otimiza o processo de exploração de dados. Ao usar uma interface flexível no estilo de caderno, você tem acesso a dados do HAQM Simple Storage Service (HAQM S3), do HAQM Redshift e de outras fontes de dados, pode escrever e executar consultas em diferentes mecanismos e criar visualizações diretamente na ferramenta. A plataforma gerencia automaticamente os metadados dos seus dados, facilitando a compreensão e a descoberta de informações. Por meio de uma integração sem complicações com outros serviços da AWS, a plataforma permite transcender a análise SQL tradicional, convertendo seus dados em insights acionáveis com o mínimo de complexidade técnica.

Não. Você não precisa migrar os dados para usar o SageMaker para SQL analytics. É possível realizar a descoberta e a consulta de dados diretamente de diversas fontes, incluindo o HAQM S3 (Catálogo de Dados do AWS Glue e buckets de tabela do HAQM S3), o HAQM Redshift (com tecnologia sem servidor e provisionado) e 13 fontes de dados federadas adicionais compatíveis com fluxos de trabalho de engenharia SQL. O HAQM SageMaker Lakehouse se conecta sem complicações aos seus dados atuais, para que você possa se concentrar em gerar insights em vez de dedicar tempo com a movimentação de informações. Em apenas algumas etapas rápidas, você poderá explorar seus dados, executar consultas e descobrir informações de negócios valiosas sem causar complicações técnicas.

Para começar a usar, o SageMaker fornece duas maneiras de trazer seus dados para a plataforma para o SQL analytics. Se você armazenar suas informações no HAQM S3, o SQL do SageMaker permitirá que você execute consultas diretamente nesses dados com o data lake. Como alternativa, é possível fazer o upload dos dados de carregamento em seu data warehouse ao executar comandos COPY. Se você tiver dados locais em sua área de trabalho, o SageMaker permitirá que você faça upload dos seus arquivos de dados diretamente do seu próprio computador ao arrastar e soltar arquivos de dados na plataforma do SageMaker. Além disso, é possível usar a integração ETL zero para trazer dados do seu data warehouse operacional. Todo o processo é projetado para remover barreiras técnicas, permitindo que você se concentre em descobrir insights em vez de lutar com processos complexos de carregamento de dados.

O HAQM SageMaker Unified Studio (versão prévia) disponibiliza uma interface no estilo de caderno, avançada e fácil de usar, para SQL analytics completas. É possível gravar e executar código SQL em células distintas, criar gráficos e visualizações, além de explorar dados unificados de diversas fontes, como o HAQM S3, o HAQM Redshift e outras fontes federadas por meio do SageMaker Lakehouse. Além disso, a plataforma fornece recursos úteis, como o preenchimento automático e a validação de sintaxe, para apoiar o processo de desenvolvimento de consultas SQL. Você também pode usar a funcionalidade de IA generativa com o SQL generativo do HAQM Q, que oferece recomendações de código SQL usando linguagem natural. O SageMaker foi desenvolvido para facilitar o SQL analytics, tornando-o mais intuitivo, flexível e acessível a todos os usuários de dados.

O HAQM SageMaker Unified Studio (versão prévia) fornece “projetos”, que são um ambiente de trabalho digital colaborativo que ajuda as equipes a organizar e gerenciar seu trabalho de data analytics. Considere isso como uma pasta compartilhada na qual você pode armazenar consultas SQL, modelos de dados, código e outros recursos em um único local seguro. Ao criar um Projeto, você estabelece um ambiente centralizado no qual membros da equipe podem ser convidados, receber permissões de acesso específicas e trabalhar juntos de forma contínua. Nesse espaço, é possível distribuir com facilidade os Querybooks, que armazenam suas consultas e modelos de dados, conceder acesso a fontes de dados como o HAQM S3 e o Redshift, e fornecer recursos computacionais compartilhados. A plataforma fornece suporte para o controle de versão por meio da integração com o Git, permitindo que a equipe registre as alterações, colabore no desenvolvimento do código e mantenha um histórico detalhado do trabalho de SQL analytics. Essa abordagem garante que todos os membros da equipe tenham a capacidade de visualizar, editar e executar consultas, ao mesmo tempo em que preserva a segurança e a consistência nas workloads de SQL analytics.

Não há custos adicionais para usar o editor SQL no SageMaker. Você paga somente pelo uso dos mecanismos de computação disponíveis, como o HAQM Athena e o HAQM Redshift.

Os Acordos Serviço (SLAs) para o SQL analytics no HAQM SageMaker estão diretamente relacionados aos SLAs dos mecanismos SQL subjacentes: HAQM Redshift e HAQM Athena. Os clientes podem encontrar informações detalhadas sobre o compromisso do serviço nas respectivas páginas de acordos de serviço do HAQM Redshift e do HAQM Athena.

O HAQM Redshift Serverless é uma opção sem servidor do HAQM Redshift que torna mais eficiente executar e escalar análises em segundos, sem a necessidade de configurar e gerenciar a infraestrutura de data warehouse. Com o Redshift Serverless, qualquer usuário, incluindo analistas de dados, desenvolvedores, profissionais de negócios e cientistas de dados, pode obter insights de dados simplesmente carregando e consultando dados no data warehouse.

Com apenas algumas etapas no Console de Gerenciamento da AWS, você pode optar por “configurar o HAQM Redshift Serverless” e começar a consultar dados. Você pode tirar proveito de conjuntos de dados de amostra pré-carregados, como dados meteorológicos, dados de censo e conjuntos de dados de referência, junto de consultas de amostra, para iniciar a análise imediatamente. Você pode criar bancos de dados, esquemas e tabelas, carregar seus próprios dados do HAQM S3, acessar dados em compartilhamentos do HAQM Redshift ou restaurar um snapshot de cluster provisionado do Redshift. Você também pode consultar dados diretamente em formatos abertos (como Parquet ou ORC) no data lake do HAQM S3 ou consultar dados em bancos de dados operacionais, como HAQM Aurora, HAQM RDS PostgreSQL e MySQL. Consulte o Guia de introdução.

Se você não tem experiência em gerenciamento de data warehouse, não precisa se preocupar em instalar, configurar, gerenciar clusters ou ajustar o warehouse. Você pode se concentrar em derivar insights significativos dos dados ou entregar os principais resultados de negócios por meio de dados. Você paga apenas pelo que usa, mantendo os custos gerenciáveis. Você continua a se beneficiar de toda a performance de alto nível do HAQM Redshift, recursos avançados do SQL, integração perfeita com data lakes e data warehouses operacionais e recursos integrados de análise preditiva e compartilhamento de dados. Se você precisa de um controle detalhado de seu data warehouse, pode provisionar clusters do Redshift.

Você pode continuar a usar toda a funcionalidade analítica avançada do HAQM Redshift, como junções complexas, consultas diretas a dados no data lake e bancos de dados operacionais do HAQM S3, visualizações materializadas, procedimentos armazenados, suporte a dados semiestruturados e ML, assim como alta performance em escala. Todos os serviços relacionados com os quais o HAQM Redshift se integra (como HAQM Kinesis, AWS Lambda, HAQM QuickSight, HAQM SageMaker, HAQM EMR, AWS Lake Formation e AWS Glue) continuam a funcionar com o HAQM Redshift Serverless.

Você pode continuar executando todos os casos de uso de análise. Com um fluxo de trabalho de introdução simples, dimensionamento automático e a capacidade de pagar pelo uso, a experiência sem servidor do HAQM Redshift agora torna ainda mais eficiente e econômica a execução de ambientes de desenvolvimento e teste que devem ser iniciados rapidamente, análises de negócios ad hoc, workloads com necessidades de computação variadas e imprevisíveis e workloads intermitentes ou esporádicas.

Você pode carregar dados no HAQM Redshift de diversas fontes de dados, incluindo do HAQM S3, HAQM RDS, HAQM DynamoDB, HAQM EMR, AWS Glue, AWS Data Pipeline, bem como de qualquer host habilitado para SSH no HAQM EC2 ou on-premises. O HAQM Redshift tenta carregar os dados em paralelo em cada nó computacional para maximizar a taxa de consumo de dados em seu cluster de data warehouse. Os clientes podem se conectar ao HAQM Redshift usando ODBC ou JDBC e emitir comandos “insert” do SQL para inserir os dados. Observe que isso é mais lento do que usar o S3 ou o DynamoDB, pois esses métodos carregam dados em paralelo para cada nó de computação, enquanto as instruções de inserção SQL são carregadas por meio do único nó líder. Para obter mais detalhes sobre como carregar dados no HAQM Redshift, consulte nosso Guia de conceitos básicos.

A cópia automática do Redshift oferece a capacidade de automatizar instruções de cópia rastreando pastas do HAQM S3 e ingerindo novos arquivos sem intervenção do cliente. Sem a cópia automática, uma instrução de cópia inicia imediatamente o processo de ingestão de arquivos existentes. A cópia automática estende o comando de cópia existente e fornece a capacidade de 1/ automatizar o processo de ingestão de arquivos monitorando caminhos específicos do HAQM S3 para novos arquivos, 2/ reutilizar configurações de cópia, reduzindo a necessidade de criar e executar novas instruções de cópia para tarefas repetitivas de ingestão e 3/ manter o controle dos arquivos carregados para evitar a duplicação de dados.

Para começar, os clientes devem ter uma pasta do HAQM S3, que pode ser acessada por seu endpoint de cluster/sem servidor do Redshift usando perfis do IAM associados, e criar uma tabela do Redshift para ser usada como destino. Quando um caminho do HAQM S3 e a tabela do Redshift estiverem prontos, os clientes poderão criar um trabalho de cópia usando o comando de cópia. Depois que o trabalho de cópia for criado, o Redshift começará a rastrear o caminho especificado do HAQM S3 nos bastidores e inicia as instruções de cópia definidas pelo usuário para copiar automaticamente novos arquivos na tabela de destino.

Os principais casos de uso incluem: 1/ Clientes que usam o HAQM EMR e o AWS Glue para executar trabalhos do Apache Spark que acessam e carregam dados no HAQM Redshift como parte dos pipelines de ingestão e transformação de dados (em lote e streaming) 2/ Clientes que usam o HAQM SageMaker para realizar machine learning usando o Apache Spark e devem acessar dados armazenados no HAQM Redshift para engenharia e transformação de recursos. 3/Clientes do HAQM Athena que usam o Apache Spark para realizar análises interativas de dados no HAQM Redshift.

O Baikal oferece os seguintes benefícios:

• Facilidade de uso para começar e executar aplicações Apache Spark em dados no HAQM Redshift sem precisar se preocupar com as etapas manuais envolvidas na configuração e manutenção de versões não certificadas do Spark
• Conveniência de usar o Apache Spark de vários serviços da AWS, como HAQM EMR, AWS Glue, HAQM Athena e HAQM SageMaker com HAQM Redshift usando uma configuração mínima
• Performance aprimorada ao executar aplicações Apache Spark no HAQM Redshift

O HAQM Aurora Zero-ETL para HAQM Redshift permite que os clientes do HAQM Aurora e do HAQM Redshift executem análises e machine learning quase em tempo real em petabytes de dados transacionais, oferecendo uma solução totalmente gerenciada para disponibilizar dados transacionais do HAQM Aurora no HAQM Redshift em poucos segundos depois de serem escritos. Com o HAQM Aurora Zero-ETL para o HAQM Redshift, os clientes simplesmente escolhem as tabelas do HAQM Aurora que contêm os dados que desejam analisar com o HAQM Redshift, e o recurso replica perfeitamente o esquema e os dados no HAQM Redshift. Isso reduz a necessidade de os clientes criarem e gerenciarem canais de dados complexos, para que eles possam se concentrar em melhorar seus aplicativos. Com o HAQM Aurora Zero-ETL para HAQM Redshift, os clientes podem replicar dados de vários clusters de banco de dados do HAQM Aurora na mesma instância do HAQM Redshift para obter insights abrangentes em várias aplicações, ao mesmo tempo em que consolidam seus principais ativos analíticos, obtendo economias de custo significativas e eficiências operacionais. Com o HAQM Aurora Zero-ETL para o HAQM Redshift, os clientes também podem acessar os principais recursos de análise e machine learning do HAQM Redshift, como visualizações materializadas, compartilhamento de dados e acesso federado a vários armazenamentos de dados e data lakes. Isso permite que os clientes combinem análise central e quase em tempo real para obter efetivamente insights sensíveis ao tempo que informam as decisões de negócios. Além disso, os clientes usam o HAQM Aurora para transações e o HAQM Redshift para análises. Portanto, não há recursos de computação compartilhados, gerando uma solução de performance e operacionalmente estável.

A Integração ETL zero do HAQM Aurora com o HAQM Redshift oferece integração perfeita entre os dois serviços para análise transacional.

Os dados de streaming são diferentes das tabelas de banco de dados tradicionais, pois, ao consultar um stream, você captura a evolução de uma relação que varia no tempo. As tabelas, por outro lado, capturam um snapshot pontual dessa relação que varia no tempo. Os clientes do HAQM Redshift estão acostumados a operar em tabelas regulares e realizar o processamento posterior (ou seja, transformações) de dados usando um modelo de lote tradicional, por exemplo, “ELT”. Fornecemos um método para usar Vistas materializadas do Redshift (MVs) para que os clientes possam materializar facilmente uma visão pontual do stream, acumulada até o momento da consulta, o mais rápido possível para dar suporte aos fluxos de trabalho do ELT.

Os principais casos de uso incluem:

• Um cluster ETL central que compartilha dados com muitos clusters de BI/análise para fornecer isolamento da workload de leitura e capacidade de carga opcional.
• Um provedor de dados que compartilha dados com consumidores externos.
• Compartilhamento de conjuntos de dados comuns, como clientes, produtos em diferentes grupos de negócios e colaboração para ampla análise e ciência de dados.
• Descentralização de um data warehouse para simplificar o gerenciamento.
• Compartilhamento de dados entre ambientes de desenvolvimento, teste e produção.
• Acesso a dados do Redshift de outros serviços analíticos da AWS.

Com essas consultas, você pode consultar e unir consultas sem problemas a partir de qualquer banco de dados Redshift ao qual tenha acesso, não importando a qual banco de dados está conectado. Isso pode incluir bancos de dados locais no cluster e também conjuntos de dados compartilhados disponíveis em clusters remotos. As consultas entre bancos de dados fornecem flexibilidade para organizar os dados como bancos de dados separados para dar suporte a configurações multlocatárias.

O AWS Data Exchange torna mais eficiente para os clientes da AWS o intercâmbio seguro e o uso de dados de terceiros na AWS. Analistas de dados, gerentes de produto, gerentes de portfólio, cientistas de dados, quants, técnicos de testes clínicos e desenvolvedores em quase todos os setores gostariam de acessar mais dados para conduzir análises, treinar modelos de ML e tomar decisões orientadas por dados. Mas não há um lugar único para encontrar dados de vários provedores nem consistência em como os provedores entregam dados, provocando uma mistura de mídia física enviada, credenciais de FTP e chamadas de API sob medida. Por outro lado, muitas organizações gostariam de disponibilizar seus dados para fins comerciais ou de pesquisa, mas é muito difícil e caro construir e manter a entrega de dados, direitos e tecnologia de cobrança, o que reduz ainda mais o fornecimento de dados valiosos.

O HAQM Redshift Serverless provisiona automaticamente a capacidade do data warehouse e dimensiona de forma inteligente os recursos subjacentes. O HAQM Redshift Serverless ajusta a capacidade em segundos para oferecer consistentemente alta performance e operações simplificadas até mesmo para as workloads mais exigentes e voláteis. Com o recurso de escalabilidade de simultaneidade, você pode oferecer suporte a um número ilimitado de usuários e consultas simultâneos, com uma performance de consulta rápida e consistente. Quando a escalabilidade de simultaneidade é habilitada, o HAQM Redshift adiciona automaticamente capacidade de cluster quando suas experiências de cluster aumentam no enfileiramento de consultas.

Para escalabilidade manual, se você quiser aumentar a performance da consulta ou responder à superutilização da CPU, memória ou E/S, poderá aumentar o número de nós no cluster de data warehouse usando o redimensionamento elástico por meio do Console de gerenciamento da AWS ou da API ModifyCluster. Quando você modifica um cluster de data warehouse, as alterações solicitadas são aplicadas imediatamente. Métricas de utilização computacional, utilização de armazenamento e tráfego de leitura/gravação para o seu cluster de data warehouse do Redshift estão disponíveis gratuitamente no Console de Gerenciamento da AWS ou nas APIs do HAQM CloudWatch. Também é possível adicionar métricas definidas pelo usuário por meio da funcionalidade de métricas personalizadas do HAQM CloudWatch.

Com o HAQM Redshift Spectrum, é possível executar vários clusters do Redshift acessando os mesmos dados no HAQM S3. Você poderá usar clusters diversos para casos de uso diferentes. Por exemplo, é possível usar um cluster para a geração de relatórios padrão e outro para consultas de ciência de dados. Equipes de marketing podem usar seus próprios clusters diferentes dos clusters de equipes de operações. O Redshift Spectrum distribui automaticamente a execução da consulta para vários operadores do Redshift Spectrum de um grupo de recursos compartilhados para ler e processar dados do HAQM S3, e retornará os resultados para o cluster do Redshift para executar qualquer processamento remanescente.

Depende. Quando você usa o recurso de escalabilidade de simultaneidade, o cluster fica totalmente disponível para leitura e gravação durante a alteração de escala da simultaneidade. Com o redimensionamento elástico, o cluster fica indisponível por quatro a oito minutos do período de redimensionamento. Com a elasticidade de armazenamento do Redshift RA3, o cluster fica totalmente disponível e os dados são movidos automaticamente entre o armazenamento gerenciado e os nós de computação.

O Redimensionamento elástico adiciona e remove nós de um único cluster do Redshift em minutos para gerenciar a throughput de consulta. Por exemplo, uma workload de ETL para determinadas horas em um relatório de um dia ou mês pode precisar de recursos adicionais do HAQM Redshift para ser concluída a tempo. A escalabilidade de simultaneidade adiciona recursos de cluster para aumentar a simultaneidade geral da consulta.

Não. A escalabilidade de simultaneidade é um grupo amplamente escalável de recursos do HAQM Redshift ao qual os clientes não têm acesso direto.

O HAQM Redshift oferece suporte à segurança líder do setor com gerenciamento de identidade e federação integrados para autenticação única (SSO), autenticação multifator, controle de acesso em nível de coluna, segurança em nível de linha, controle de acesso baseado em funções e HAQM Virtual Private Cloud (HAQM VPC) e redimensionamento mais rápido do cluster. Com o HAQM Redshift, seus dados são criptografados em trânsito e quando ociosos. Todos os recursos de segurança do HAQM Redshift são oferecidos imediatamente, sem custo adicional, para satisfazer os mais exigentes requisitos de segurança, privacidade e conformidade. Você obtém o benefício do suporte da AWS a mais padrões de segurança e certificações de conformidade do que qualquer outro provedor, incluindo ISO 27001, SOC, HIPAA/HITECH e FedRAMP.

Sim, o HAQM Redshift oferece suporte para controle de acesso baseado em funções. O controle de acesso em nível de linha permite que você atribua uma ou mais funções a um usuário e atribua permissões de sistema e objeto por função. Você pode usar funções de sistema prontas para uso, como usuário raiz, administrador de banco de dados, operador e administradores de segurança, ou criar suas próprias funções.

As funções definidas pelo usuário (UDFs) do AWS Lambda permitem usar uma função do AWS Lambda como UDF no HAQM Redshift e chamá-la a partir das consultas SQL do Redshift. Essa funcionalidade permite escrever extensões personalizadas para sua consulta SQL para obter uma integração maior com outros serviços ou produtos de terceiros. Você pode escrever Lambda UDFs para permitir a tokenização externa, o mascaramento dos dados, a identificação ou não dos dados integrando com revendedores como Protegrity e proteger ou não dados sigilosos com base nas permissões de um usuário e grupos na hora da consulta.

Com suporte para mascaramento dinâmico de dados, os clientes podem proteger facilmente seus dados confidenciais e controlar o acesso granular gerenciando as políticas de mascaramento de dados. Suponha que você tenha aplicações com vários usuários e objetos com dados confidenciais que não podem ser expostos a todos os usuários. Você tem requisitos para fornecer um nível de segurança granular diferente que você deseja oferecer a diferentes grupos de usuários. O Mascaramento dinâmico de dados do Redshift é configurável para permitir que os clientes definam valores de dados mascarados consistentes, que preservam o formato e irreversíveis. Quando o recurso estiver em GA, você começará a usá-lo imediatamente. Os administradores de segurança podem criar e aplicar políticas com apenas alguns comandos.

Sim. Os clientes que desejam usar seus provedores de identidade corporativa, como o Microsoft Azure Active Directory, os Serviços de Federação do Active Directory, Okta, Ping Federate ou outros provedores de identidade compatíveis com SAML, podem configurar o HAQM Redshift para fornecer logon único. É possível fazer login no cluster do HAQM Redshift com identidades do Microsoft Azure Active Directory (AD). Isso permite que você possa entrar no Redshift sem duplicar as identidades do Azure Active Directory no Redshift.

Sim. Você pode usar a autenticação multifator (MFA) para obter segurança adicional ao se autenticar no cluster do HAQM Redshift.

O HAQM Redshift vai automaticamente detectar e substituir um nó com falha em seu cluster de data warehouse. Em clusters Dense Compute (DC) e Dense Storage (DS2), os dados são armazenados nos nós de computação para garantir alta durabilidade dos dados. Quando um nó é substituído, os dados são atualizados a partir da cópia espelhada no outro nó. Os clusters do RA3 e do Redshift sem servidor não são afetados da mesma forma, uma vez que os dados são armazenados no HAQM S3 e a unidade local é usada apenas como cache de dados. O cluster de data warehouse ficará indisponível para consultas e atualizações até um nó de substituição ser provisionado e adicionado ao banco de dados. O HAQM Redshift disponibiliza seu nó de substituição imediatamente e carrega primeiro os dados acessados com mais frequência do HAQM S3 para permitir que você retome a consulta dos seus dados o mais rápido possível. Clusters de um único nó não oferecem suporte à replicação de dados. No caso de uma falha de unidade, você deve restaurar o cluster do snapshot no S3. Recomendamos usar pelo menos dois nós para produção.

Se seu data warehouse HAQM Redshift for uma implantação Single-AZ e a zona de disponibilidade do cluster ficar indisponível, o HAQM Redshift moverá automaticamente seu cluster para outra zona de disponibilidade (AZ) da AWS sem perda de dados ou alterações na aplicação. Para ativar isso, você deve habilitar a capacidade de realocação nas definições de configuração do cluster.

Diferentemente das implantações Single-AZ, os clientes agora podem melhorar a disponibilidade do Redshift executando seu data warehouse em uma implantação Multi-AZ. Uma implantação multi-AZ permite que você execute seu data warehouse em várias zonas de disponibilidade (AZ) da AWS simultaneamente e continue operando em cenários de falha imprevistos. Nenhuma alteração na aplicação é necessária para manter a continuidade dos negócios, pois a implantação Multi-AZ é gerenciada como um único data warehouse com um endpoint. As implantações Multi-AZ reduzem o tempo de recuperação ao garantir a capacidade de recuperação automática e são destinadas a clientes com aplicações de análise essenciais para os negócios que exigem os mais altos níveis de disponibilidade e resiliência a falhas de AZ. Isso também permite que os clientes implementem uma solução mais compatível com as recomendações do Pilar de Confiabilidade do AWS Well-Architected Framework. Para saber mais sobre o HAQM Redshift Multi-AZ, consulte aqui.

RPO é um acrônimo para Objetivo do ponto de recuperação e é um termo para descrever a garantia de atualidade dos dados em caso de falhas. RPO é o tempo máximo aceitável desde o último ponto de recuperação de dados. Isso determina o que é considerado uma perda aceitável de dados entre o último ponto de recuperação e a interrupção do serviço. O Redshift Multi-AZ oferece suporte para RPO = 0, o que significa que os dados estão sempre em dia e atualizados em caso de falha. Nossos testes de pré-lançamento constataram que o RTO com implantações Multi-AZ do HAQM Redshift é inferior a 60 segundos ou menos no caso improvável de uma falha de AZ.

A realocação do Redshift é ativado por padrão em todos os novos clusters RA3 e endpoints sem servidor, o que permite que um data warehouse seja reiniciado em outra AZ no caso de uma interrupção em grande escala, sem perda de dados ou custo adicional. Embora o uso da Realocação seja gratuito, as limitações são que é a melhor abordagem, sujeita à recuperação da disponibilidade de recursos no AZ, e o objetivo de tempo de recuperação (RTO) pode ser afetado por outros problemas relacionados à inicialização de um novo cluster. Isso pode resultar em tempos de recuperação entre 10 e 60 minutos. O Redshift Multi-AZ oferece suporte a requisitos de alta disponibilidade, fornecendo um RTO medido em dezenas de segundos e oferece operação contínua garantida, pois não estará sujeito a limitações de capacidade ou outros possíveis problemas ao criar um novo cluster.

Sim, o HAQM Redshift utiliza o SQL padrão do setor e é acessado por drivers JDBC e ODBC padrão. Os drivers JDBC e ODBC personalizados para o HAQM Redshift estão disponíveis para download na guia Connect Client do console do Redshift. Validamos integrações com fornecedores de BI e ETL conhecidos. Vários deles oferecem testes gratuitos para ajudar você a começar a carregar e analisar seus dados. Você também pode acessar o AWS Marketplace para implantar e configurar em poucos minutos as soluções criadas para trabalhar com o HAQM Redshift.

O HAQM Redshift Spectrum é compatível com todas as ferramentas de cliente do HAQM Redshift. As ferramentas de cliente podem continuar a estabelecer conexão com o endpoint do cluster do HAQM Redshift usando as conexões ODBC ou JDBC. Não é exigida nenhuma alteração.

Você usa exatamente a mesma sintaxe de consulta e tem os mesmos recursos de consulta para acessar tabelas no Redshift Spectrum disponíveis para tabelas no armazenamento local de um cluster do Redshift. As tabelas externas são mencionadas usando o nome do esquema definido no comando CREATE EXTERNAL SCHEMA em que foram registradas.

No momento, o HAQM Redshift Spectrum é compatível com diversos formatos de dados de código aberto, inclusive Avro, CSV, Grok, HAQM Ion, JSON, ORC, Parquet, RCFile, RegexSerDe, Sequence, Text e TSV.<br>Atualmente, o HAQM Redshift Spectrum oferece suporte à compactação Gzip e Snappy.

Assim como ocorre com tabelas locais, você pode usar o nome do schema para escolher exatamente aquele que deseja ao usar schema_name.table_name na sua consulta.

Sim. O comando CREATE EXTERNAL SCHEMA aceita o Hive Metastore. No momento, não aceitamos o DDL no Hive Metastore.

Você pode consultar a tabela do sistema SVV_EXTERNAL_TABLES para obter essas informações.

Sim, o recurso HAQM Redshift ML facilita que os usuários do SQL criem, treinem e implantem modelos ML (machine learning) usando comandos do SQL conhecidos. O HAQM Redshift ML permite utilizar seus dados no HAQM Redshift com o HAQM SageMaker, um serviço de ML totalmente gerenciado. O HAQM Redshift é competível com aprendizado não supervisionado (K-Means) e aprendizado supervisionado (Autopilot, XGBoost, algoritmos MLP). Você também pode usar os serviços de IA para idiomas da AWS para traduzir, ocultar e analisar campos de texto em consultas SQL com funções pré-criadas do Lambda UDF – consulte a postagem do blog.

O HAQM Redshift fornece uma API Data que permite acessar dados no HAQM Redshift sem complicações com todos os tipos de aplicações baseadas em serviços da Web nativos de nuvem, conteinerizadas e sem servidor, assim como aplicações baseadas em eventos. A API Data simplifica o acesso ao HAQM Redshift porque não é necessário configurar drivers e gerenciar conexões de banco de dados. Pelo contrário, você precisa executar comandos SQL para um cluster HAQM Redshift simplesmente chamando um endpoint da API protegido fornecido pela Data API. A Data API cuida do gerenciamento das conexões do banco de dados e do buffer dos dados. A Data API é assíncrona para que você possa recuperar seus resultados mais tarde. Os resultados da consulta são armazenados por 24 horas.

A Data API suporta as credenciais IAM e o uso de uma chave secreta do AWS Secrets Manager. A Data API federa as credenciais AWS Identity and Access Management (IAM) para que você possa usar provedores como Okta ou Azure Active Directory, ou as credenciais do banco de dados armazenadas no Secrets Manager sem passar as credenciais do banco de dados nas chamadas da API.

Sim, você pode usar a Data API da AWS CLI usando a opção da linha de comando aws redshift-data.

Você pode usar a Data API de outros serviços, como AWS Lambda, AWS Cloud9, AWS AppSync e HAQM EventBridge.

Não há nenhuma cobrança separada para usar a API Data.

O ETL zero é um conjunto de integrações totalmente gerenciadas pela AWS que remove ou minimiza a necessidade de desenvolver pipelines de dados de extração, transformação e carregamento (ETL). O ETL zero disponibiliza os dados no SageMaker Lakehouse e no HAQM Redshift usando diversas fontes operacionais, fontes transacionais e aplicações empresariais. O ETL é o processo de combinar, tratar e normalizar dados de fontes diversas, tornando-os prontos para workloads de analytics, IA, e ML. Os processos de ETL tradicionais são demorados e complexos de desenvolver, manter e escalar. Em vez disso, as integrações ETL zero facilitam o movimento de dados ponto a ponto, sem a necessidade de criar e operar pipelines de dados de ETL.

Acesse O que é ETL zero? para saber mais informações.

As integrações ETL zero resolvem muitos dos desafios existentes de movimentação de dados nos processos tradicionais de ETL, incluindo:

• Aumento da complexidade do sistema devido a regras complexas de mapeamento de dados, tratamento de erros e requisitos de segurança;
• Custos adicionais provenientes do aumento dos volumes de dados, atualizações de infraestrutura e manutenção;
• Atraso na obtenção de analytics, IA e ML devido ao desenvolvimento e implantação de código personalizado, ocasionando perda de oportunidades para casos de uso em tempo real.

• Agilidade aprimorada: a integração ETL zero simplifica a arquitetura de dados e reduz os esforços de engenharia de dados. Isso permite a inclusão de novas fontes de dados sem a necessidade de reprocessar grandes quantidades de dados. A flexibilidade proporciona maior agilidade, favorecendo a tomada de decisões baseadas em dados e a inovação acelerada.
• Eficiência de custos: a integração ETL zero usa tecnologias de integração de dados escaláveis e nativas da nuvem, permitindo que as empresas ajustem os custos conforme o uso real e as necessidades de processamento de dados. As organizações reduzem os custos de infraestrutura, os esforços de desenvolvimento e as despesas gerais de manutenção.
• Rapidez na obtenção de insights: os processos tradicionais de ETL geralmente envolvem atualizações periódicas em lotes, o que resulta em atraso na disponibilidade dos dados. As integrações ETL zero, por outro lado, fornecem acesso a dados praticamente em tempo real, o que ajuda a fornecer dados mais atualizados para analytics, IA/ML e relatórios. Você obtém insights mais precisos e oportunos para casos de uso como painéis em tempo real, experiência de jogo otimizada, monitoramento de qualidade de dados e análise de comportamento do cliente. As organizações podem fazer previsões orientadas por dados com mais confiança, melhorar as experiências do cliente e promover insights orientados por dados em toda a empresa.

Durante o evento re:Invent 2024, anunciaremos as seguintes quatro integrações ETL zero:

• Suporte do HAQM SageMaker Lakehouse e do HAQM Redshift para integrações ETL zero usando aplicações
• Integração ETL zero do HAQM DynamoDB com o HAQM SageMaker Lakehouse
• Integração ETL zero do HAQM OpenSearch Service com o HAQM CloudWatch Logs
• Integração ETL zero do HAQM OpenSearch Service com o HAQM Security Lake

Desde o lançamento das integrações ETL zero, já introduzimos sete integrações:

• Integração ETL zero do HAQM Aurora MySQL com o HAQM Redshift
• Integração ETL zero do HAQM Aurora PostgreSQL com o HAQM Redshift
• Integração ETL zero do HAQM Relational Database Service (HAQM RDS) para MySQL com o HAQM Redshift
• Integração ETL zero do HAQM DynamoDB com o HAQM OpenSearch Service
• Integração ETL zero do HAQM DocumentDB com o HAQM OpenSearch Service
• Integração ETL zero do HAQM OpenSearch Service com o HAQM Simple Storage Service (HAQM S3)
• Integração ETL zero do HAQM DynamoDB com o HAQM Redshift

Para obter mais informações sobre os preços, acesse as páginas de preços do HAQM Redshift, do AWS Glue e do SageMaker Lakehouse.

Para saber mais informações sobre a integração ETL zero, consulte O que é ETL zero?

Estes são alguns pontos-chave sobre como as mudanças de esquema são tratadas:

• As instruções DDL, como CREATE TABLE, ALTER TABLE, DROP TABLE e semelhantes, são replicadas automaticamente do Aurora para o HAQM Redshift.
• A integração faz as verificações e ajustes necessários nas tabelas do HAQM Redshift para alterações de esquema replicadas. Por exemplo, adicionar uma coluna no Aurora adicionará a coluna no HAQM Redshift.
• A replicação e as alterações de esquema acontecem automaticamente em tempo real, com um atraso mínimo entre os bancos de dados de origem e de destino.
• A consistência do esquema é mantida mesmo quando as alterações de DML ocorrem paralelamente às alterações de DDL.

Você pode criar visões materializadas no banco de dados local do HAQM Redshift para transformar dados replicados por meio da integração ETL zero. Conecte-se ao banco de dados local e use consultas entre bancos de dados para acessar os bancos de dados de destino. Você pode optar por usar nomes de objetos totalmente qualificados com notação de três partes (destination-database-name.schema-name.table-name) ou criar um esquema externo que referencia o par banco de dados e esquema de destino e usar notação de duas partes (external-schema-name.table-name).

Clusters do RA3 do HAQM Redshift e do HAQM Redshift Serverless usam Redshift Managed Storage, que sempre tem a cópia mais recente dos dados disponíveis. Os clusters DS2 e DC2 espelham os dados no cluster para garantir que a cópia mais recente esteja disponível em caso de falha. Os backups são criados automaticamente em todos os tipos de cluster do Redshift e retidos por 24 horas. Na tecnologia sem servidor pontos de recuperação são fornecidos para as últimas 24 horas

Você também pode criar seus próprios backups, que podem ser retidos indefinidamente. Esses backups podem ser criados a qualquer momento, e os backups automatizados do HAQM Redshift ou pontos de recuperação do HAQM Redshift Serverless podem ser convertidos em um backup do usuário para uma retenção mais longa.

O HAQM Redshift também pode replicar de forma assíncrona os snapshots ou pontos de recuperação para o HAQM S3 em outra região para recuperação de desastres.

Em um cluster DS2 ou DC2, o armazenamento de backup gratuito é limitado ao tamanho total de armazenamento nos nós no cluster de data warehouse e se aplica apenas aos clusters de data warehouse ativos.

Por exemplo, se você tiver um armazenamento de data warehouse total de 8 TB, forneceremos no máximo 8 TB de armazenamento de backup sem custos adicionais. Se você quiser ampliar o período de retenção do backup para mais de um dia, poderá fazer isso usando o Console de Gerenciamento da AWS ou as APIs do HAQM Redshift. Para obter mais informações sobre snapshots automatizados, consulte o Guia de gerenciamento do HAQM Redshift.

O HAQM Redshift somente faz backup de dados alterados. Assim, a maioria dos snapshots usa apenas uma pequena quantidade do armazenamento de backup gratuito. Quando você precisa restaurar um backup, pode acessar todos os backups automatizados dentro da janela de retenção de backups. Após escolher um backup para a restauração, provisionaremos um novo cluster de data warehouse e restauraremos os dados nesse novo cluster.

Você pode usar o Console de Gerenciamento da AWS ou a API ModifyCluster para gerenciar o período de retenção que os backups automatizados são retidos, modificando o parâmetro RetentionPeriod. Se quiser desativar completamente os backups automatizados, você poderá configurar o período de retenção para 0 (não recomendado).

Quando exclui um cluster de data warehouse, você pode especificar se um snapshot final será criado no momento da exclusão. Isso permite restaurar posteriormente o cluster de data warehouse excluído. Todos os snapshots manuais do cluster de data warehouse criados anteriormente serão retidos e cobrados de acordo com as taxas padrão do HAQM S3, a menos que você opte por excluí-los.

Métricas da utilização computacional, utilização de armazenamento e tráfego de leitura/gravação para o cluster do data warehouse do HAQM Redshift estão disponíveis gratuitamente no Console de Gerenciamento da AWS ou nas APIs do HAQM CloudWatch. Você também pode adicionar métricas adicionais definidas pelo usuário por meio da funcionalidade de métrica personalizada do HAQM CloudWatch. O Console de Gerenciamento da AWS oferece um painel de monitoramento que ajuda a monitorar a integridade e a performance de todos os clusters. O HAQM Redshift também fornece informações sobre a performance de consultas e clusters por meio do Console de Gerenciamento da AWS. Essas informações permitem que você visualize quais usuários e consultas consomem mais recursos do sistema e diagnostique problemas de performance, visualizando planos de consulta e estatísticas de execução. Além disso, é possível visualizar a utilização de recursos de cada um dos nós computacionais para garantir que os dados e as consultas estejam bem balanceadas entre todos os nós.

O HAQM Redshift executa periodicamente manutenções para aplicar correções, aprimoramentos e novos recursos ao seu cluster. Você pode alterar as janelas de manutenção programadas modificando o cluster por meio de programação ou usando o console do Redshift. Durante essas janelas de manutenção, o cluster do HAQM Redshift não está disponível para operações normais. Para obter mais informações sobre as janelas de manutenção e as programações por região, consulte Janelas de manutenção no Guia de gerenciamento do HAQM Redshift.