O que é streaming de dados em tempo real?
O streaming de dados em tempo real envolve coletar e ingerir uma sequência de dados de várias fontes de dados e processar esses dados em tempo real para extrair significado e insights.
Exemplos de streaming de dados são arquivos de log gerados por clientes usando suas aplicações móveis ou da Web, compras em comércio eletrônico, atividades de jogadores no jogo, informações de redes sociais, plataformas de negociação financeira ou serviços geoespaciais, e telemetria de dispositivos conectados ou instrumentação em datacenters.
O streaming de dados em tempo real permite que você analise e processe dados em tempo real, em vez de esperar horas, dias ou semanas para obter respostas.
Quais são os componentes do streaming de dados em tempo real?
Fonte: até centenas e milhares de dispositivos ou aplicações que estão produzindo grandes volumes de dados contínuos em alta velocidade. Exemplos são dispositivos móveis, aplicações Web (clickstream), logs de aplicações, sensores de IoT, dispositivos inteligentes e aplicações de jogos.
Ingestão de streaming: integração simples com mais de 15 serviços da AWS (HAQM API Gateway, AWS IoT Core, HAQM Cloudwatch e mais) que possibilita capturar dados contínuos produzidos a partir de milhares de dispositivos de forma durável e segura.
Stream Storage: escolha uma solução que atenda às suas necessidades de armazenamento com base em requisitos de escalabilidade, latência e processamento, como HAQM Kinesis Data Streams, HAQM Kinesis Data Firehose e HAQM Managed Streaming for Apache Kafka (HAQM MSK).
Processamento de streaming: escolha entre uma seleção de serviços que vão desde soluções que exigem apenas alguns cliques para transformar e entregar dados continuamente a um destino como o HAQM Kinesis Data Firehose, até aplicações poderosas, personalizadas e em tempo real e integração de machine learning usando serviços como HAQM Managed Service for Apache Flink e AWS Lambda.
Destino: entregue streaming de dados para uma seleção de data lakes, data warehouses e serviços de análise totalmente integrados para análises adicionais ou armazenamento de longo prazo, como HAQM S3, HAQM Redshift, HAQM OpenSearch Service e HAQM EMR.
Quais são os casos de uso de streaming de dados em tempo real?
Movimentação de dados em tempo real
O streaming de dados de centenas de milhares de dispositivos e a realização de transformações ETL em grandes volumes de dados contínuos e de alta velocidade em tempo real permitem que os usuários analisem os dados assim que são produzidos e, em seguida, armazenem os dados de forma duradoura em um data lake, data warehouse ou banco de dados para análise posterior.
Saiba como a John Deere realiza streaming ETL em seu data lake em tempo real
Análise em tempo real
Analise os dados assim que eles são produzidos e possibilite decisões em tempo real em toda a organização para capitalizar oportunidades, aprimorar as experiências dos clientes, evitar falhas de rede ou atualizar métricas críticas de negócios em tempo real.
Logs: capture, processe e analise logs de suas aplicações em tempo real.
Leia sobre como analisar o comportamento do usuário em tempo real
Aprenda a analisar e visualizar o tráfego da sua rede VPC
Confira como gerenciar logs centralizados do servidor Microsoft Exchange
Atualizações em tempo real: interaja com consumidores, jogadores, operadores financeiros e muito mais, fornecendo atualizações em tempo real de métricas críticas de tomada de decisão, recomendações de ofertas e experiências do cliente.
Confira como usar a análise de jogos em tempo real para encantar seus jogadores
Aprenda a oferecer notícias personalizadas e populares em tempo real
Clickstream: obtenha uma visualização em tempo real da performance do seu conteúdo na Web e da interação do usuário com suas aplicações e sites, incluindo comportamento do usuário, quantidade de tempo gasto, conteúdo popular e muito mais.
IoT: conecte-se a centenas de milhares de dispositivos de IoT e colete, processe e analise o streaming de dados em tempo real.
Processamento de fluxo de eventos
Capture e responda aos eventos à medida que eles acontecem em tempo real em várias aplicações. Os casos de uso mais comuns são a comunicação entre centenas de microsserviços desacoplados e a manutenção de um sistema de registro por meio do Change Data Capture.
Comunicação entre microsserviços desacoplados: quando qualquer microsserviço é acionado, um evento pode ser enviado para um fluxo de dados em tempo real, e outros microsserviços podem “observar” o fluxo para conferir se algum evento ocorreu para acionar a ação necessária.
Saiba como a Lyft se comunica entre centenas de microsserviços em tempo real
Change Data Capture: todas as alterações nos dados em várias aplicações e bancos de dados podem ser transmitidas para um sistema central de registro em tempo real.
Saiba como carregar dados do Change Data Capture de bancos de dados relacionais
Quais serviços de streaming estão disponíveis na AWS?
A AWS oferece várias opções para trabalhar com o streaming de dados em tempo real.
- O HAQM Kinesis Data Streams é um serviço escalável e durável de streaming de dados em tempo real capaz de capturar continuamente gigabytes de dados por segundo de centenas de milhares de fontes.
- O HAQM Kinesis Data Firehose captura, transforma e carrega fluxos de dados em armazenamentos de dados da AWS para análises quase em tempo real com ferramentas de inteligência de negócios atuais com apenas alguns cliques.
- O HAQM Managed Service for Apache Flink transforma e analisa o streaming de dados em tempo real com o Apache Flink, uma estrutura e mecanismo de código aberto para processamento de fluxos de dados.
- O HAQM Managed Streaming for Apache Kafka é um serviço totalmente gerenciado que facilita a criação e execução de aplicações que usam o Apache Kafka para processar o streaming de dados.
Comece a usar o streaming de dados em tempo real na AWS criando uma conta hoje mesmo.
Próximas etapas na AWS
Obtenha acesso instantâneo ao nível gratuito da AWS.
