Questions fréquentes sur le service géré HAQM pour Apache Flink

Oui, à l'aide de connecteurs Apache Flink DataStream, les applications du service géré HAQM pour Apache Flink peuvent utiliser AWS Glue Schema Registry, une fonctionnalité sans serveur d'AWS Glue. Vous pouvez intégrer Apache Kafka, HAQM MSK et HAQM Kinesis Data Streams à vos charges de travail du service géré HAQM pour Apache Flink en tant que récepteur ou source. Consultez le Guide du développeur d'AWS Glue Schema Registry pour démarrer et en savoir plus.

Une application est l'entité du service géré HAQM pour Apache Flink avec laquelle vous travaillez. Les applications du service géré HAQM pour Apache Flink lisent et traitent en permanence des données de streaming en temps réel. Vous écrivez le code de l'application dans un langage pris en charge par Apache Flink pour traiter les données de streaming entrantes et générer la sortie. Ensuite, le service géré HAQM pour Apache Flink écrit la sortie vers une destination configurée.

Chaque application comprend trois composants principaux :

1. Entrée : L'entrée est la source de streaming de votre application. Dans la configuration d'entrée, vous mappez les sources de streaming aux flux de données. Les données circulent de vos sources de données vers vos flux de données. Les données de ces flux de données intégrés sont traités à l'aide de votre code d'application, en envoyant les données traitées aux flux ou destinations de données intégrés suivants. Vous ajoutez les données entrantes dans le code des applications Apache Flink et les blocs-notes Studio et via l'API pour les applications du service géré HAQM pour Apache Flink. 
2. Code d'application : Le code d'application est une suite d'opérateurs Apache Flink qui traitent les entrées et génèrent des sorties. Dans sa forme la plus simple, le code d'application peut être un simple opérateur Apache Flink qui lit un flux de données associé à une source de streaming, puis écrit dans un autre flux de données associé à une sortie. Pour un bloc-notes Studio, il peut s'agir d'une simple requête SQL Flink, dont les résultats sont affichés en contexte dans le bloc-notes. Vous pouvez écrire du code Apache Flink dans les langues prises en charge pour les applications du service géré HAQM pour Apache Flink ou les blocs-notes Studio.
3. Sortie : Vous pouvez ensuite configurer en option la sortie d'une application afin que les données soient conservées dans une destination externe. Vous devez ajouter ces sorties dans le code des applications du service géré HAQM pour Apache Flink et des blocs-notes Studio. 

AWS vous fournit divers outils que vous pouvez utiliser pour surveiller vos applications du service géré HAQM pour Apache Flink, y compris l'accès aux applications Flink Dashboard for Apache Flink. Vous pouvez configurer certains de ces outils afin qu'ils surveillent vos applications pour vous. Pour plus d'informations sur la surveillance de vos applications, consultez les guides du développeur suivants : 

• Surveillance du service géré HAQM pour Apache Flink dans le guide du développeur du service géré HAQM pour Apache Flink.
• Surveillance du service géré HAQM pour Apache Flink dans le guide du développeur du service géré HAQM pour Apache Flink Studio.

Le service géré HAQM pour Apache Flink a besoin d'autorisations pour lire les registres provenant des sources de données de streaming que vous indiquez dans l'application. Le service géré HAQM pour Apache Flink a également besoin d'autorisations pour écrire la sortie de votre application sur des destinations que vous spécifiez dans la configuration de la sortie de l'application. Vous pouvez accorder ces autorisations en créant des rôles AWS Identity and Access Management (IAM) que le service géré HAQM pour Apache Flink peut assumer. Les autorisations accordées à ce rôle déterminent les tâches que le service géré HAQM pour Apache Flink peut effectuer lorsqu'il assume le rôle. Pour plus d'informations, consultez les guides du développeur suivants :

• Octroi d'autorisations dans le guide du développeur du service géré HAQM pour Apache Flink.
• Octroi d'autorisations dans le guide du développeur du service géré HAQM pour Apache Flink Studio.

Le service géré HAQM pour Apache Flink met à l'échelle votre application de manière extensible pour s'adapter au débit de données de votre flux source et à la complexité de vos requêtes dans la plupart des scénarios. Le service géré HAQM pour Apache Flink fournit de la capacité sous la forme de KPU HAQM. Une unité KPU vous fournit 1 vCPU et 4 Go de mémoire. 

Pour les applications Apache Flink et les blocs-notes Studio, le service géré HAQM pour Apache Flink attribue 50 Go de stockage d'applications en cours d'exécution par KPU, que votre application utilise pour les points de contrôle et que vous pouvez utiliser par le biais d'un disque temporaire. Un point de contrôle est une sauvegarde à jour d'une application n cours d'exécution qui permet une récupération immédiate à la suite d'une interruption de l'application. Vous pouvez également contrôler l'exécution parallèle des tâches d'application du service géré HAQM pour Apache Flink (par exemple, la lecture à partir d'une source ou l'exécution d'un opérateur) à l'aide des paramètres Parallelism et ParallelismPerKPU dans l'API. Parallelism (Parallélisme) définit le nombre d'instances simultanées d'une tâche. L'ensemble des opérateurs, des sources et des récepteurs s'exécutent avec un parallélisme défini (par défaut, un). Parallelism per KPU (Parallelism par KPU) définit le nombre de tâches parallèles qui peuvent être programmées par KPU dans votre application (par défaut, une). Pour plus d'informations, consultez Mise à l'échelle dans le guide du développeur du service géré HAQM pour Apache Flink. 

Pour plus d'informations sur les bonnes pratiques pour Apache Flink, consultez la section Bonnes pratiques du guide du développeur du service géré HAQM pour Apache Flink. Cette section est consacrée aux bonnes pratiques en matière de tolérance aux pannes, de performances, de journalisation, de codage, etc. 

Pour plus d'informations sur les bonnes pratiques relatives au service géré HAQM pour Apache Flink Studio, consultez la section Bonnes pratiques du guide du développeur du service géré HAQM pour Apache Flink Studio. Outre les bonnes pratiques, cette section couvre des exemples pour les applications SQL, Python et Scala, les conditions requises pour déployer le code en tant qu'application de traitement des flux en cours d'exécution, les performances, la journalisation, etc.

Oui. Vous pouvez accéder à des ressources derrière un HAQM VPC. Pour apprendre à configurer votre application pour l'accès VPC, consultez la section Utilisation d'un HAQM VPC dans le guide du développeur du service géré HAQM pour Apache Flink.

Les applications du service géré HAQM pour Apache Flink et des blocs-notes du service géré HAQM pour Apache Flink Studio configurés pour accéder aux ressources au sein d'un VPC particulier ne peuvent pas, par défaut, accéder à Internet. Pour savoir comment configurer l'accès à Internet pour votre application, consultez la section Internet et accès aux services dans le guide du développeur du service géré HAQM pour Apache Flink.

Avec le service géré HAQM pour Apache Flink, vous payez uniquement ce que vous consommez. Aucune ressource à allouer ou aucun coût initial ne s'applique au service géré HAQM pour Apache Flink. 

Vous êtes facturé à l'heure en fonction du nombre d'unités KPU HAQM utilisées pour exécuter votre application de streaming. Une unité KPU est une unité de capacité de traitement des flux comprenant 1 vCPU de calcul et 4 Go de mémoire. Le service géré HAQM pour Apache Flink met automatiquement à l'échelle le nombre de KPU requises par votre application de traitement des flux, car les besoins en mémoire et en calcul varient en fonction de la complexité de traitement et du débit des données de streaming traitées. 

Pour les applications Apache Flink et Apache Beam, une seule unité KPU supplémentaire par application vous est facturée pour l'orchestration des applications. Le stockage d'applications en cours d'exécution et les sauvegardes d'applications durables sont également facturés pour les applications Apache Flink et Apache Beam. Le stockage d'applications en cours d'exécution est utilisé pour les capacités de traitement dynamique dans le service géré HAQM pour Apache Flink et facturé par Go/mois. Les sauvegardes d'applications durables sont facultatives, facturées en Go par mois et assurent un point de restauration ponctuelle pour les applications. 

Pour le service géré HAQM pour Apache Flink Studio, en mode développement ou interactif, une KPU supplémentaire vous est facturée pour l'orchestration des applications et une autre KPU, pour le développement interactif. Vous êtes également facturé pour le stockage d'applications en cours d'exécution. Les sauvegardes durables des applications ne vous sont pas facturées.

Pour plus d'informations sur les tarifs, consultez la page de tarification du service géré HAQM pour Apache Flink.

Pour les applications Apache Flink et Apache Beam, un minimum 2 KPU et 50 Go de stockage d'applications en cours d'exécution vous sont facturées si votre application du service géré HAQM pour Apache Flink est en cours d'exécution.

Pour les blocs-notes du service géré HAQM pour Apache Flink Studio, un minimum de 3 KPU et 50 Go de stockage d'applications en cours d'exécution vous sont facturées si votre application est en cours d'exécution.

Apache Flink est un cadre et un moteur open source pour le traitement de données de flux et par lots. Il simplifie la création des applications de streaming, car il fournit de puissants opérateurs et résout les principaux problèmes de streaming, comme le traitement en double. Apache Flink offre des fonctions de distribution de données, de communication et de tolérance aux pannes pour les calculs distribués sur les flux de données.

Vous pouvez commencer par télécharger les bibliothèques open source qui contiennent le kit SDK AWS, Apache Flink et les connecteurs des services AWS. Consultez le guide du développeur du service géré HAQM pour Apache Flink pour savoir comment télécharger les bibliothèques et créer votre première application.

Vous écrivez le code Apache Flink de votre application à l'aide de flux de données et d'opérateurs de flux. Les flux de données d’application constituent la structure de données sur laquelle vous effectuez le traitement avec votre code. Les données circulent en continu dans les flux de données d'application depuis les sources. Un ou plusieurs opérateurs de flux sont utilisés pour définir le traitement dans les flux de données d'application, y compris la transformation, la partition, l'agrégation, la jointure et la fenêtre. Les flux de données et les opérateurs peuvent être connectés en série et en chaînes parallèles. Vous trouverez ci-dessous un court exemple de code fictif.

DataStream <GameEvent> rawEvents = env.addSource(

New KinesisStreamSource(“input_events”));

DataStream <UserPerLevel> gameStream =

rawEvents.map(event - > new UserPerLevel(event.gameMetadata.gameId,

event.gameMetadata.levelId,event.userId));

gameStream.keyBy(event -> event.gameId)

.keyBy(1)

.window(TumblingProcessingTimeWindows.of(Time.minutes(1)))

.apply(...) - > {...};

gameStream.addSink(new KinesisStreamSink("myGameStateStream"));

Les opérateurs prennent un flux de données d'application comme entrée et envoient les données traitées vers un flux de données d'application comme sortie. Vous pouvez connecter des opérateurs pour créer des applications à plusieurs étapes. Leur implémentation et leur utilisation ne requièrent pas de connaissances avancées sur les systèmes distribués.

Le service géré HAQM pour Apache Flink prend en charge tous les opérateurs d'Apache Flink qui peuvent être utilisés pour résoudre une grande variété de cas d'utilisation, notamment les applications map, KeyBy, les agrégations, les fenêtres, les jointures, etc. Par exemple, l'opérateur map vous permet d'effectuer un traitement arbitraire, en prenant un élément dans un flux de données entrant et en produisant un autre élément. KeyBy organise les données de manière logique à l'aide d'une clé spécifiée, afin que vous puissiez regrouper le traitement des points de données similaires. Les agrégations exécutent le traitement dans plusieurs clés (somme, minimum et maximum). Window Join joint deux flux de données sur une clé et une fenêtre spécifiées. 

Vous pouvez créer des opérateurs personnalisés si ceux fournis ne répondent pas à vos besoins. La section relative aux opérateurs dans le guide du développeur du service géré HAQM pour Apache Flink contient d'autres exemples. Vous pouvez consulter la liste complète des opérateurs Apache Flink dans la documentation Apache Flink. 

Vous pouvez configurer des intégrations prédéfinies fournies par Apache Flink avec un minimum de code ou bien créer votre propre intégration pour vous connecter à pratiquement toutes les sources de données. Les bibliothèques open source basées sur Apache Flink prennent en charge des sources et des destinations de streaming, ou récepteurs, pour la livraison des données traitées. Cela comprend également la prise en charge de l'enrichissement des données à travers des connecteurs d'E/S asynchrones. Certains de ces connecteurs sont les suivants :

• Sources de données de streaming : HAQM Managed Streaming for Apache Kafka (HAQM MSK), destinations HAQM Kinesis Data Streams, ou récepteurs : HAQM Kinesis Data Streams
• HAQM Kinesis Data Firehose, HAQM DynamoDB, HAQM Elasticsearch Service et HAQM S3 (via les intégrations de récepteurs de fichier)

Oui. Vous pouvez utiliser les applications du service géré HAQM pour Apache Flink pour répliquer des données entre HAQM Kinesis Data Streams, HAQM MSK et d'autres systèmes. Un exemple fourni dans notre documentation indique comment lire une rubrique HAQM MSK et écrire dans une autre.

Vous pouvez ajouter une source ou une destination à votre application en vous appuyant sur un ensemble de primitives qui vous permettent de réaliser des opérations de lecture et d'écriture à partir de fichiers, de répertoires, d'interfaces de connexion ou de tout autre élément accessible sur Internet. Apache Flink fournit ces primitives pour les sources de données et les récepteurs de données. Les primitives incluent des configurations, comme la capacité de lire et écrire des données de manière continue ou ponctuelle, asynchrone ou synchrone, et bien plus encore. Par exemple, vous pouvez configurer une application pour lire en permanence les données d'HAQM S3 en étendant l'intégration source existante basée sur les fichiers.

Les applications Apache Flink du service géré HAQM pour Apache Flink utilisent un modèle de livraison unique si une application est créée à l'aide d'opérateurs idempotents, y compris des sources et des récepteurs. Cela signifie que les données traitées influent sur les résultats en aval une seule fois.

Par défaut, les applications du service géré HAQM pour Apache Flink utilisent la sémantique de traitement unique d'Apache Flink. Votre application prend en charge la sémantique de traitement unique si vous concevez vos applications à l'aide de sources, d'opérateurs et de récepteurs qui utilisent la sémantique de traitement unique d'Apache Flink.

Le service géré HAQM pour Apache Flink sauvegarde automatiquement l'état de vos applications en cours d'exécution à l'aide de points de contrôle et d'instantanés. Les points de contrôle enregistrent l'état actuel de l'application et permettent aux applications du service géré HAQM pour Apache Flink de récupérer la position de l'application afin de fournir la même sémantique qu'une exécution sans échec. Les points de contrôle utilisent le stockage d'applications en cours d'exécution. Les points de contrôle des applications Apache Flink sont fournis à travers la fonctionnalité de points de contrôle d'Apache Flink. Les instantanés utilisent un point de récupération ponctuel pour les applications et utilisent des sauvegardes d'applications durables. Les instantanés sont analogues aux points de sauvegarde Flink.

Pour en savoir plus sur les versions Apache Flink prises en charge, consultez la page des notes de mise à jour du service géré HAQM pour Apache Flink. Cette page comprend également les versions d'Apache Beam, de Java, Scala, de Python et des kits SDK AWS que le service géré HAQM pour Apache Flink prend en charge. 

Oui, le service géré HAQM pour Apache Flink prend en charge les applications de streaming créées à l'aide d'Apache Beam. Vous pouvez créer des applications de streaming Apache Beam en Java et les exécuter dans différents moteurs et services, notamment en utilisant Apache Flink du service géré HAQM pour Apache Flink. Vous trouverez des informations concernant les versions prises en charge d'Apache Flink et d'Apache Beam dans le guide du développeur du service géré HAQM pour Apache Flink. 

Vous pouvez démarrer à partir des consoles du service géré HAQM pour Apache Flink Studio, HAQM Kinesis Data Streams ou HAQM MSK en quelques étapes pour lancer un bloc-notes sans serveur afin d'interroger immédiatement les flux de données et d'effectuer une analytique des données interactive.

Analytique des données interactive : dans le bloc-notes, vous pouvez écrire du code en SQL, Python ou Scala pour interagir avec vos données de streaming, avec des temps de réponse aux requêtes de quelques secondes. Vous pouvez utiliser les visualisations intégrées pour explorer les données et afficher des informations en temps réel sur vos données de streaming à partir de votre bloc-notes et développer des applications de traitement des flux optimisées par Apache Flink.

Une fois que votre code est prêt à être exécuté en tant qu'application de production, vous pouvez passer en une seule étape à une application de traitement des flux qui traite plusieurs gigaoctets de données par seconde, sans serveur.

Application de traitement des flux : une fois que vous êtes prêt à mettre votre code en production, vous pouvez le développer en cliquant sur « Déployer comme application de traitement des flux » dans l'interface du bloc-notes ou en lançant une simple commande dans la CLI. Studio prend en charge toute la gestion de l'infrastructure nécessaire pour que vous puissiez exécuter votre application de traitement des flux à l'échelle, avec un autoscaling et un état durable activés, comme dans une application du service géré HAQM pour Apache Flink.

Vous pouvez effectuer des opérations SQL telles que les suivantes :

• Numériser et filtrer (SELECT, WHERE) 
• Agrégations (GROUP BY, GROUP BY WINDOW, HAVING) 
• Ensemble (UNION, UNIONALL, INTERSECT, IN, EXISTS) 
• Commande (ORDER BY, LIMIT) 
• Jointures (INNER, OUTER, Timed Window — BETWEEN, AND, Jointure avec des tables temporelles — tables qui suivent les modifications au fil du temps)
• Top-N
• Déduplication
• Reconnaissance des patrons

Certaines de ces requêtes, telles que GROUP BY, OUTER JOIN et Top-N, sont des mises à jour de résultats pour les données de streaming, ce qui signifie que les résultats sont mis à jour en permanence au fur et à mesure du traitement des données de streaming. D'autres instructions DDL telles que CREATE, ALTER et DROP sont également prises en charge. Pour obtenir la liste complète des requêtes et des exemples, consultez la documentation des requêtes Apache Flink.

L'API Table d'Apache Flink prend en charge Python et Scala par l'intégration de langages utilisant des chaînes Python et des expressions Scala. Les opérations prises en charge sont très semblables aux opérations SQL prises en charge, notamment select, order, group, join, filter et le fenêtrage. Vous pouvez trouver une liste complète des opérations et des exemples dans notre guide du développeur.

Pour en savoir plus sur les versions Apache Flink prises en charge, consultez la page des notes de mise à jour du service géré HAQM pour Apache Flink. Cette page comprend également les versions d'Apache Zeppelin, d'Apache Beam, de Java, de Scala, de Python et des kits SDK AWS que le service géré HAQM pour Apache Flink prend en charge.

• Sources de données : HAQM Managed Streaming for Apache Kafka (HAQM MSK), HAQM Kinesis Data Streams, HAQM S3 
• Destinations ou récepteurs : HAQM MSK, HAQM Kinesis Data Streams et HAQM S3

Vous pouvez bénéficier d'un crédit de service au titre du contrat de niveau de service (SLA) pour le service géré HAQM pour Apache Flink dans le cadre du contrat de niveau de service (SLA) relatif au service géré HAQM pour Apache Flink si plusieurs zones de disponibilité dans lesquelles vous exécutez une tâche dans la même région AWS ont un pourcentage de temps de fonctionnement mensuel inférieur à 99,9 % pendant un cycle de facturation mensuel. Pour consulter l'intégralité des conditions générales du contrat de niveau de service (SLA) et en savoir plus sur la marche à suivre pour soumettre une réclamation, consultez la page de présentation du contrat de niveau de service (SLA) du service géré HAQM pour Apache Flink.