HAQM Data Firehose

Faça uma transmissão de carga em tempo real de maneira confiável para data lakes e serviços de análises

Benefícios

Capture, transforme e carregue dados da transmissão com facilidade. Crie uma entrega de transmissão, selecione o destino e inicie a transmissão de dados em tempo real com apenas alguns cliques.

Faça o provisionamento automático e escale recursos de computação, memória e rede sem administração contínua.

Transforme a transmissão de dados brutos em formatos como o Apache Parquet e particione a transmissão de dados sem construir as suas próprias pipelines de processamento.

Como ele funciona

O HAQM Data Firehose oferece a maneira mais fácil de adquirir, transformar e entregar fluxos de dados em segundos para data lakes, data warehouses e serviços de análise. Para usar o HAQM Data Firehose, configure um fluxo com a origem, o destino e as transformações necessárias. O HAQM Data Firehose processa continuamente o fluxo, escala automaticamente com base na quantidade de dados disponíveis e o entrega em segundos.

Selecione a origem do seu fluxo de dados, como um tópico no HAQM Managed Streaming for Kafka (MSK), um fluxo no Kinesis Data Streams ou grave dados usando a API Direct PUT do Firehose. O HAQM Data Firehose está integrado a mais de 20 serviços da AWS, permitindo a configuração de um fluxo usando fontes como Bancos de Dados (versão prévia), HAQM CloudWatch Logs, logs de ACL da Web do AWS WAF, logs do AWS Network Firewall, HAQM SNS ou AWS IoT.

Especifique se você deseja converter seu fluxo de dados em formatos como Parquet ou ORC, descompactar os dados, realizar transformações de dados personalizadas usando sua própria função do AWS Lambda ou particionar dinamicamente registros de entrada com base em atributos para entregar em diferentes locais.

Selecione um destino para seu fluxo, como o HAQM S3, o HAQM OpenSearch Service, o HAQM Redshift, o Splunk, o Snowflake, o Apache Iceberg Tables, o HAQM S3 Tables (versão prévia) ou um endpoint HTTP personalizado.

Para obter mais informações sobre o HAQM Data Firehose, consulte a documentação do HAQM Data Firehose.

Casos de uso

Transmita dados para o HAQM S3 e converta dados nos formatos requeridos para a análise sem criar pipelines de processamento.

Monitore a segurança de rede em tempo real e crie alertas por meio de ferramentas compatíveis com informações de segurança e gerenciamento de eventos (SIEM) quando as ameaças potenciais surgirem.

Enriqueça os fluxos de dados com modelos de machine learning (ML) para analisar e prever endpoints de inferência, conforme as transmissões são deslocadas para o destino.


Veja mais sobre a AWS