Veröffentlicht am: Mar 29, 2021
AWS Step Functions ist jetzt mit HAQM EMR auf HAQM Elastic Kubernetes Service (HAQM EKS) integriert, was die Integration von Apache Spark-basierten Aufträgen in Ihre Analysepipeline erleichtert. Sie können jetzt Workflows erstellen, die Schritte zur Verwaltung von EMR auf virtuellen EKS-Clustern enthalten und Jobs übermitteln, ohne Code zur Verwaltung des Jobstatus zu schreiben.
Mit Step Functions können Sie belastbare serverlose Workflows mit HAQM-Services wie HAQM Athena, HAQM EMR, HAQM EKS und jetzt auch mit HAQM EMR auf HAQM EKS erstellen. EMR auf EKS bietet eine Möglichkeit der Bereitstellung für HAQM EMR, mit der Sie Apache Spark auf HAQM Elastic Kubernetes Service (HAQM EKS) ausführen können. Sie können HAQM EMR-basierte Anwendungen mit anderen Arten der Anwendung auf demselben HAQM EKS-Cluster ausführen, um die Auslastung der Ressourcen zu verbessern und die Verwaltung der Infrastruktur über mehrere AWS Availability Zones hinweg zu vereinfachen.
Die drei API-Aktionen, die von der Integration von Step Functions mit HAQM EMR auf EKS unterstützt werden, sind:
1. createVirtualCluster: erstellt und registriert einen AWS EMR auf EKS Virtual Cluster aus einem bestehenden AWS EKS-Namensraum und wartet dann auf dessen Fertigstellung.
2. deleteVirtualCluster (.sync): löscht einen AWS EMR auf EKS Virtual Cluster und wartet dann, bis er gelöscht wird.
3. startJobRun (.sync): Übergibt einen Auftrag an AWS EMR auf EKS und wartet, bis der Auftrag abgeschlossen ist.
Die ersten Schritte finden Sie in der AWS Step Functions Dokumentation und in unserem Blogbeitrag.
Die Step Functions Integration mit EMR auf EKS ist generell in den folgenden Regionen verfügbar: US East (Ohio und N. Virginia), EU West (Irland) und Kanada (Central). Es wird in den kommenden Tagen in allen anderen kommerziellen Regionen, in denen Step Functions und EMR on EKS verfügbar sind, allgemein verfügbar sein. Eine vollständige Liste der Regionen und Serviceangebote finden Sie unter AWS-Regionen.
Weitere Informationen zu Step Functions finden Sie auf der AWS Step Functions Seite. Weitere Informationen zu HAQM EMR auf EKS finden Sie auf der AWS EMR auf EKS-Seite.