Publicado: Nov 29, 2022
Agora, o HAQM Redshift oferece a ingestão de streaming em tempo real para HAQM Kinesis Data Streams (KDS) e HAQM Managed Streaming para Apache Kafka (MSK). A ingestão de streaming do HAQM Redshift elimina a necessidade de preparar dados de streaming no HAQM S3 antes de ingeri-los no HAQM Redshift, permitindo que os clientes obtenham baixa latência (segundos) na ingestão de centenas de megabytes de dados de streaming por segundo para um data warehouse.
Engenheiros de dados, analistas de dados e desenvolvedores de big data estão evoluindo as análises, migrando de lotes para processamento em tempo real com a adoção de mecanismos de streaming, como HAQM KDS e HAQM MSK, para implementar lógica e análises responsivas, praticamente em tempo real, de dados de aplicações de streaming. Hoje, clientes que desejam ingerir dados em tempo real de serviços como HAQM KDS e HAQM MSK no HAQM Redshift precisam primeiro preparar os dados no HAQM S3 e usar o comando COPY, que oferece latência de minutos. Com o novo recurso de ingestão de streaming no HAQM Redshift, você pode usar SQL (Structured Query Language) no Redshift para conexão e ingestão direta e simultânea de dados de vários fluxos do HAQM KDS ou tópicos do HAQM MSK. A ingestão de streaming do HAQM Redshift simplifica os pipelines de dados, permitindo que você crie visões materializadas diretamente dos fluxos. As visões materializadas também podem incluir transformações de SQL dentro de pipelines de ELT (Extract Load Transform).
Após a definição das visões materializadas, os dados de streaming são ingeridos de forma automática e contínua do fluxo do KDS ou tópico do MSK para a visão materializada de streaming do HAQM Redshift (o recurso de atualização automática precisa estar ativado). Além disso, se pretende ter controle direto sobre a programação de ingestão, você pode atualizar manualmente a visão materializada do streaming. Essa abordagem permite que você execute processamento e transformações de dados de streaming em etapas posteriores do fluxo de trabalho, usando SQL e ferramentas do HAQM Redshift já conhecidas, sem custo adicional.
A ingestão de streaming do HAQM Redshift já está disponível em todas as regiões da HAQM Web Services (AWS) em que o HAQM Redshift é oferecido. Para começar a usar a ingestão de streaming do HAQM Redshift, provisione um cluster do HAQM Redshift no acompanhamento atual. Para obter mais informações sobre como começar a usar a ingestão de streaming do HAQM Redshift, consulte a página de documentação do HAQM Redshift.