Publié le: Mar 29, 2021
AWS Step Functions est désormais intégré à HAQM EMR sur HAQM Elastic Kubernetes Service (HAQM EKS), ce qui facilite l'intégration de tâches basées sur Apache Spark dans votre pipeline analytique. Vous pouvez désormais créer des flux de travail comprenant des étapes pour gérer EMR sur les clusters virtuels EKS et soumettre des tâches sans écrire de code pour gérer l'état de la tâche.
Step Functions vous permet de créer des flux de travail sans serveur résilients en utilisant des services HAQM comme HAQM Athena, HAQM EMR, HAQM EKS et désormais avec HAQM EMR sur HAQM EKS. EMR sur EKS propose une option de déploiement pour HAQM EMR qui vous permet d'exécuter Apache Spark sur HAQM Elastic Kubernetes Service (HAQM EKS). Vous pouvez exécuter les applications basées sur HAQM EMR avec d'autres types d'applications sur le même cluster HAQM EKS pour améliorer l'utilisation des ressources et simplifier la gestion de l'infrastructure entre plusieurs zones de disponibilité AWS.
Les trois actions API prises en charge par l'intégration de Step Functions avec HAQM EMR sur EKS sont :
1. createVirtualCluster : crée et enregistre un AWS EMR sur un cluster virtuel EKS à partir d'un espace de noms AWS EKS existant, puis attend qu'il se termine.
2. deleteVirtualCluster (.sync) : supprime un AWS EMR sur le cluster virtuel EKS, puis attend qu'il soit supprimé.
3. startJobRun (.sync) : soumet une tâche à AWS EMR sur EKS et attend que la tâche se termine.
Pour démarrer, veuillez consulter la documentation AWS Step Functions et notre article de blog.
L'intégration de Step Functions avec EMR sur EKS est généralement disponible dans les régions suivantes : USA Est (Ohio et Virginie du Nord), EU Ouest (Irlande) et Canada (Centre). Elle sera généralement disponible dans toutes les autres régions commerciales où Step Functions et EMR sur EKS sont disponibles dans les prochains jours. Pour une liste complète des régions et des services proposés, voir le tableau des régions AWS.
Pour en savoir plus sur Step Functions, veuillez visiter la page AWS Step Functions. Pour en savoir plus sur HAQM EMR sur EKS, veuillez visiter la page AWS EMR sur EKS.