Perguntas frequentes sobre o HAQM Managed Service for Apache Flink

Sim, usando os conectores do Apache Flink DataStream, as aplicações do HAQM Managed Service for Apache Flink podem usar o AWS Glue Schema Registry, um atributo sem servidor do AWS Glue. Você pode integrar o Apache Kafka, o HAQM MSK e o HAQM Kinesis Data Streams, como um coletor ou uma fonte, com suas workloads do HAQM Managed Service for Apache Flink. Acesse o Guia do desenvolvedor do AWS Glue Schema Registry para começar e saber mais.

Uma aplicação é a entidade do HAQM Managed Service for Apache Flink com a qual você trabalha. As aplicações do HAQM Managed Service for Apache Flink leem e processam continuamente dados de transmissão em tempo real. Grave o código da aplicação em uma linguagem compatível com o Apache Flink para processar dados de transmissão recebidos e gerar a saída. Em seguida, o HAQM Managed Service for Apache Flink grava a saída em um destino configurado.

Cada aplicação consiste de três principais componentes:

1. Entrada: a entrada é a fonte de streaming da aplicação. Na configuração de entrada, mapeie as fontes de streaming para fluxos de dados. Os dados fluem das fontes de dados para os fluxos de dados. Você processa dados desses fluxos de dados usando o código da aplicação, enviando dados processados para destinos ou fluxos de dados subsequentes. Adicione entradas ao código das aplicações do Apache Flink e dos cadernos do Studio e à API em aplicações do HAQM Managed Service for Apache Flink. 
2. Código da aplicação: o código da aplicação é uma série de operadores do Apache Flink que processam entradas e produzem saídas. Em sua forma mais simples, o código da aplicação pode ser um único operador do Apache Flink que lê um fluxo de dados associado a uma fonte de streaming e grava em outro fluxo de dados associado a uma saída. Para um caderno do Studio, isso poderia ser uma consulta simples de seleção do Flink SQL, com os resultados exibidos no contexto dentro do caderno. Você pode escrever o código Apache Flink nas linguagens compatíveis com aplicações do HAQM Managed Service for Apache Flink ou cadernos do Studio.
3. Saída: você pode configurar, como opção, uma saída de aplicação para manter os dados em um destino externo. Adicione essas saídas ao código das aplicações do HAQM Managed Service for Apache Flink e dos cadernos Studio. 

A AWS fornece várias ferramentas que você pode usar para monitorar suas aplicações do HAQM Managed Service for Apache Flink, incluindo acesso ao Flink Dashboard para aplicações do Apache Flink. É possível configurar algumas dessas ferramentas para que façam o monitoramento para você. Para obter mais informações sobre como monitorar sua aplicação, explore os seguintes guias para desenvolvedores: 

• Monitoring HAQM Managed Service for Apache Flink no Guia do desenvolvedor do HAQM Managed Service for Apache Flink.
• Monitoring HAQM Managed Service for Apache Flink no Guia do desenvolvedor do HAQM Managed Service for Apache Flink Studio.

O HAQM Managed Service for Apache Flink precisa de permissões para ler os registros de fontes de dados de transmissão que você especifica nas aplicações. O HAQM Managed Service for Apache Flink também precisa de permissões para gravar a saída das aplicações nos destinos especificados na configuração de saída dessas aplicações. É possível conceder essas permissões criando perfis do AWS Identity and Access Management (IAM) que o HAQM Managed Service for Apache Flink pode assumir. As permissões concedidas a esse perfil determinam o que o HAQM Managed Service for Apache Flink pode fazer quando o serviço assume o perfil. Para obter mais informações, consulte os seguintes guias:

• Granting permissions no Guia do desenvolvedor do HAQM Managed Service for Apache Flink.
• Granting permissions no Guia do desenvolvedor do HAQM Managed Service for Apache Flink Studio.

O HAQM Managed Service for Apache Flink escala de maneira elástica a aplicação para acomodar o throughput de dados do fluxo de origem e a complexidade da consulta para a maioria dos cenários. O HAQM Managed Service for Apache Flink provisiona a capacidade na forma de KPUs da HAQM. Uma KPU fornece 1 vCPU e 4 GB de memória. 

Para aplicações Apache Flink e cadernos do Studio, o HAQM Managed Service for Apache Flink atribui 50 GB de armazenamento de aplicações em execução por KPU que sua aplicação usa para pontos de verificação e está disponível para uso por meio de um disco temporário. O ponto de verificação é um backup atualizado de uma aplicação em execução que é usado para recuperação imediata após uma interrupção da aplicação. Você também pode controlar a execução paralela do HAQM Managed Service for Apache Flink para tarefas de aplicações do Apache Flink (como ler de uma fonte ou executar um operador) usando os parâmetros Parallelism e ParallelismPerKPU na API. O parâmetro Parallelism define o número de instâncias simultâneas de uma tarefa. Todos os operadores, fontes e coletores executam com um paralelismo definido no valor de 1, por padrão. O parâmetro Parallelism per KPU define a quantidade do número de tarefas paralelas que podem ser agendadas por KPU da aplicação, definido no valor de 1, por padrão. Para obter mais informações, consulte Scaling no Guia do desenvolvedor do HAQM Managed Service for Apache Flink. 

Para obter informações sobre as práticas recomendadas do Apache Flink, consulte a seção Best Practices do Guia do desenvolvedor do HAQM Managed Service for Apache Flink. A seção abrange as práticas recomendadas para lidar com tolerância a falhas, performance, registro em log, codificação e muito mais. 

Para obter informações sobre as práticas recomendadas do HAQM Managed Service for Apache Flink Studio, consulte a seção Best Practices do Guia do desenvolvedor do HAQM Managed Service for Apache Flink Studio. Além das práticas recomendadas, a seção contém exemplos para aplicações SQL, Python e Scala, requisitos para implantar seu código como uma aplicação de processamento de fluxo em execução contínua, performance, registro em log e muito mais.

Sim. É possível acessar os recursos subjacentes de uma HAQM VPC. Você pode aprender a configurar sua aplicação para acesso à VPC na seção Using an HAQM VPC do Guia do desenvolvedor do HAQM Managed Service for Apache Flink.

As aplicações do HAQM Managed Service for Apache Flink e os cadernos do HAQM Managed Service for Apache Flink Studio configurados para acessar recursos em determinada VPC não têm acesso à Internet como parte da configuração padrão. Você pode aprender a configurar o acesso à Internet para a sua aplicação na seção Internet and Service Access do Guia do desenvolvedor do HAQM Managed Service for Apache Flink.

Com o HAQM Managed Service for Apache Flink, você paga somente pelo que usar. Não há recursos para provisionar ou custos iniciais associados ao HAQM Managed Service for Apache Flink. 

É cobrada uma taxa por hora com base no número de KPUs usadas para executar a aplicação de transmissão. Uma KPU única é uma unidade de capacidade de processamento de fluxos composta por 1 vCPU e 4 GB de memória. O HAQM Managed Service for Apache Flink escala automaticamente o número de KPUs necessárias para sua aplicação de processamento de fluxo, já que as demandas de memória e de computação variam em resposta à complexidade de processamento e ao throughput de dados de transmissão processados. 

Para aplicações do Apache Flink e do Apache Beam, você paga por uma KPU única adicional por aplicação para orquestração de aplicações. As aplicações do Apache Flink e do Apache Beam também são cobradas pelo armazenamento de aplicações em execução e pelos backups de aplicações duráveis. O armazenamento de aplicações em execução é usado pelos recursos de processamento com estado no HAQM Managed Service for Apache Flink e é cobrado por GB/mês. Os backups de aplicações duráveis são opcionais, cobrados por GB/mês e oferecem um ponto de recuperação do ponto anterior no tempo para aplicações. 

No HAQM Managed Service for Apache Flink Studio, no modo de desenvolvimento ou interativo, você paga uma KPU adicional para orquestração de aplicações e 1 KPU para desenvolvimento interativo. Você também paga pela execução do armazenamento da aplicação. Você não paga por backups de aplicações duráveis.

Para obter mais informações sobre preços, consulte a página de preços do HAQM Managed Service for Apache Flink.

Para aplicações do Apache Flink e do Apache Beam, será cobrado um mínimo de 2 KPUs e o armazenamento de aplicação em execução de 50 GB, caso a aplicação do HAQM Managed Service for Apache Flink esteja em execução.

Para cadernos do HAQM Managed Service for Apache Flink, você pagará no mínimo por 3 KPUs e 50 GB de armazenamento de aplicação em execução, se a aplicação estiver em execução.

Apache Flink é um framework e mecanismo de código aberto para processamento de dados em fluxo e em lote. Ele facilita a criação de aplicações de transmissão porque fornece operadores robustos e resolve os principais problemas de transmissão, como o processamento duplicado. O Apache Flink fornece distribuição de dados, comunicação e tolerância a falhas para computação distribuída em fluxos de dados.

Você pode começar baixando as bibliotecas de código aberto que incluem o AWS SDK, o Apache Flink e os conectores de serviços da AWS. Você pode obter instruções sobre como baixar as bibliotecas e criar sua primeira aplicação no Guia do desenvolvedor do HAQM Managed Service for Apache Flink.

Você escreve o código do Apache Flink usando streams de dados e operadores de stream. Os streams de dados da aplicação são a estrutura de dados que são executadas durante o processamento em relação ao uso do seu código. Os dados fluem continuamente das origens para os fluxos de dados da aplicação. Um ou mais operadores de fluxo são usados para definir seu processamento nos fluxos de dados da aplicação, incluindo transformação, partição, agregação, associação e janelas. Os fluxos de dados e operadores podem ser conectados em cadeias seriais e paralelas. Veja abaixo um pequeno exemplo usando um pseudocódigo abaixo.

DataStream <GameEvent> rawEvents = env.addSource(

New KinesisStreamSource(“input_events”));

DataStream <UserPerLevel> gameStream =

rawEvents.map(event - > new UserPerLevel(event.gameMetadata.gameId,

event.gameMetadata.levelId,event.userId));

gameStream.keyBy(event -> event.gameId)

.keyBy(1)

.window(TumblingProcessingTimeWindows.of(Time.minutes(1)))

.apply(...) - > {...};

gameStream.addSink(new KinesisStreamSink("myGameStateStream"));

Os operadores pegam um fluxo de dados da aplicação como entrada e enviam os dados processados para um fluxo de dados da aplicação como saída. Os operadores podem ser conectados para criar aplicações com várias etapas e não exigem conhecimento avançado de sistemas distribuídos para implementação e operação.

O HAQM Managed Service for Apache Flink oferece suporte a todos os operadores do Apache Flink que podem ser usados para resolver uma grande variedade de casos de uso, como map, KeyBy, agregações, janelas, junções e muito mais. Por exemplo, o operador de mapas permite executar um processamento arbitrário, pegando um elemento de um fluxo de dados de entrada e produzindo outro elemento. O KeyBy organiza logicamente os dados usando uma chave específica para que os pontos de dados semelhantes sejam processados juntos. As agregações executam o processamento em várias chaves, como sum, min e max. O Window Join junta dois fluxos de dados em uma chave e janela específicas. 

Será possível criar operadores personalizados se eles não atenderem às suas necessidades. Encontre mais exemplos na seção de operadores do Guia do desenvolvedor do HAQM Managed Service for Apache Flink. Você pode encontrar uma lista completa dos operadores do Apache Flink na documentação do Apache Flink. 

Você pode configurar integrações pré-criadas fornecidas pelo Apache Flink com o mínimo de código ou criar sua própria integração para se conectar a praticamente qualquer fonte de dados. As bibliotecas de código aberto baseadas no Apache Flink oferecem suporte a fontes e destinos de transmissão, ou coletores, para processar a entrega de dados. Isso também inclui suporte a aprimoramento de dados por meio de conectores assíncronos de E/S. Alguns desses conectores incluem o seguinte:

• Fontes de dados de transmissão: HAQM Managed Streaming for Apache Kafka (HAQM MSK), HAQM Kinesis Data Streams Destinos ou coletores: HAQM Kinesis Data Streams
• HAQM Kinesis Data Firehose, HAQM DynamoDB, HAQM Elasticsearch Service e Simple Storage Service (HAQM S3) (por meio de integrações do coletor de arquivos)

Sim. Você pode usar as aplicações do HAQM Managed Service for Apache Flink para replicar dados entre o HAQM Kinesis Data Streams, HAQM MSK e outros sistemas. Um exemplo fornecido em nossa documentação demonstra como ler um tópico do HAQM MSK e gravar em outro.

Você pode adicionar uma origem ou um destino à sua aplicação tendo como base um conjunto de primitivos que permitem ler e gravar arquivos, diretórios, soquetes ou qualquer item que você possa acessar pela Internet. O Apache Flink fornece esses primitivos para as fonte de dados e os coletores dos dados. Os primitivos vêm com configurações como a capacidade para ler e gravar dados continuamente ou de uma única vez, de forma assíncrona ou sincronizada, e muito mais. Por exemplo, você pode configurar uma aplicação para ler continuamente do HAQM S3 ao estender a integração existente de origens baseadas em arquivos.

As aplicações do Apache Flink no HAQM Managed Service for Apache Flink usarão um modelo de entrega “exatamente uma vez” se uma aplicação for criada usando operadores idempotentes, incluindo fontes e coletores. Isso significa que os dados processados afetarão os resultados posteriores somente uma vez.

Por padrão, as aplicações do HAQM Managed Service for Apache Flink usam a semântica exatamente uma vez do Apache Flink. A aplicação será compatível com a semântica de processamento exatamente uma vez se você criar suas aplicações usando fontes, operadores e coletores que utilizam a semântica exatamente uma vez do Apache Flink.

O HAQM Managed Service for Apache Flink faz backup automático do estado de sua aplicação em execução usando pontos de verificação e snapshots. Os pontos de verificação salvam o estado atual da aplicação e permitem que o HAQM Managed Service for Apache Flink para aplicações do Apache Flink recupere a posição da aplicação a fim de fornecer a mesma semântica de uma execução sem falhas. Os pontos de verificação usam o armazenamento de aplicações em execução. Os pontos de verificação para aplicações do Apache Flink são fornecidos pela funcionalidade ponto de verificação do Apache Flink. Os snapshots salvam um ponto de recuperação para um ponto no tempo para aplicações e usam backups de aplicações duráveis. Os snapshots são análogos aos pontos de salvamento do Flink.

Para saber mais sobre as versões compatíveis do Apache Flink, acesse a página de notas de versões do HAQM Managed Service for Apache Flink. A página também inclui as versões do Apache Beam, Java, Scala, Python e AWS SDKs compatíveis com o HAQM Managed Service for Apache Flink. 

Sim, o HAQM Managed Service for Apache Flink é compatível com aplicações de transmissão criadas usando o Apache Beam. Você pode criar aplicações de transmissão do Apache Beam no Java e executá-las em outros mecanismos e serviços, incluindo o uso do Apache Flink no HAQM Managed Service for Apache Flink. Você encontra informações sobre as versões compatíveis do Apache Flink e do Apache Beam no Guia do desenvolvedor do HAQM Managed Service for Apache Flink. 

Você pode começar com os consoles do HAQM Managed Service for Apache Flink Studio, HAQM Kinesis Data Streams ou HAQM MSK em poucas etapas para iniciar um caderno sem servidor para consultar imediatamente fluxos de dados e realizar data analytics interativas.

Análises de dados interativas: você pode gravar o código no caderno em SQL, Python ou Scala para interagir com seus dados de transmissão, com tempos de resposta de consulta em segundos. Você pode usar visualizações integradas para explorar os dados, visualizar insights em tempo real sobre seus dados de transmissão de dentro de seu caderno e desenvolver facilmente aplicações de processamento de fluxos com o Apache Flink.

Assim que seu código estiver pronto para ser executado como uma aplicação de produção, você poderá fazer a transição com uma única etapa para uma aplicação de processamento de fluxos que processa gigabytes de dados por segundo, sem servidores.

Aplicação de processamento de fluxos: quando estiver tudo pronto para promover seu código para produção, você pode criar seu código clicando em “Implantar como aplicação de processamento de fluxos” na interface do caderno ou emitir um único comando na CLI. O Studio cuida de todo o gerenciamento de infraestrutura necessário para que você execute sua aplicação de processamento de fluxos em escala, com ajuste de escala automático e estado durável habilitados, assim como em uma aplicação do HAQM Managed Service for Apache Flink.

Você pode realizar operações SQL como estas:

• Verificar e filtrar (SELECT, WHERE) 
• Agregações (GROUP BY, GROUP BY WINDOW, HAVING) 
• Conjunto (UNION, UNIONALL, INTERSECT, IN, EXISTS) 
• Ordenar (ORDER BY, LIMIT) 
• Junções (INNER, OUTER: janela cronológica; BETWEEN, AND: junção com tabelas temporais, tabelas que rastreiam as alterações ao longo do tempo)
• Top-N
• Eliminação de duplicação
• Reconhecimento de padrões

Algumas dessas consultas, como GROUP BY, OUTER JOIN e Top-N são atualizações de resultados para dados de transmissão, o que significa que os resultados são atualizados continuamente à medida que os dados de transmissão são processados. Outras instruções DDL, como CREATE, ALTER e DROP, também são compatíveis. Para obter uma lista completa de consultas e exemplos, consulte a documentação do Apache Flink Queries.

A API de tabela do Apache Flink oferece suporte a Python e Scala por meio da integração de linguagem usando strings in Python e expressões em Scala. As operações compatíveis são muito semelhantes às operações SQL compatíveis, incluindo selecionar, ordenar, agrupar, juntar, filtrar e criar janelas. Há uma lista completa de operações e exemplos disponível em nosso guia do desenvolvedor.

Para saber mais sobre as versões compatíveis do Apache Flink, acesse a página de notas de versões do HAQM Managed Service for Apache Flink. A página também inclui as versões do Apache Zeppelin, Apache Beam, Java, Scala, Python e AWS SDKs compatíveis com o HAQM Managed Service for Apache Flink.

• Fontes de dados: HAQM Managed Streaming for Apache Kafka (HAQM MSK), HAQM Kinesis Data Streams, HAQM S3 
• Destinos ou depósitos: HAQM MSK, HAQM Kinesis Data Streams e HAQM S3

Você se qualificará para um crédito de serviço do SLA para o HAQM Managed Service for Apache Flink nos termos do SLA do HAQM Managed Service for Apache Flink se mais de uma zona de disponibilidade na qual você está executando uma tarefa, dentro da mesma região da AWS, tiver uma porcentagem de disponibilidade mensal inferior a 99,9% durante qualquer ciclo de cobrança mensal. Para obter detalhes completos sobre todos os termos e condições do SLA, bem como detalhes sobre como enviar uma solicitação, acesse a página de detalhes do SLA do HAQM Managed Service for Apache Flink.