Veröffentlicht am: Nov 6, 2023
Sie können jetzt Apache Airflow-Umgebungen der Version 2.7 erstellen und aufschiebbare Operatoren auf HAQM Managed Workflows for Apache Airflow (MWAA) ausführen. Apache Airflow 2.7 ist die aktuelle Nebenversion des beliebten Open-Source-Tools, das Kunden bei der Erstellung, Planung und Überwachung von Workflows unterstützt.
HAQM MWAA ist ein verwalteter Orchestrierungsservice für Apache Airflow, der das Einrichten und Betreiben von End-to-End-Data-Pipelines in der Cloud vereinfacht. Apache Airflow Version 2.7 auf HAQM MWAA führt die Unterstützung für aufschiebbare Operatoren ein, sodass eine höhere Anzahl von Aufgaben gleichzeitig mit weniger Ressourcen ausgeführt werden kann. Aufschiebbare Operatoren geben Worker-Slots frei, während sie auf die Erledigung ihrer Aufgaben warten. Sie werden von beliebten AWS-Services wie HAQM EMR, HAQM ECS und AWS Glue unterstützt. Dieses Update bringt auch Verbesserungen wie die Cluster-Aktivitätsseite, automatische Setup-/Teardown-Aufgaben und den Secrets-Cache. Darüber hinaus läuft Airflow 2.7 auf HAQM MWAA jetzt auf Python 3.11 und basiert auf dem HAQM Linux 2023 (AL2023)-Basisimage. Es bietet verbesserte Sicherheit, moderne Tools und Unterstützung für die neuesten Python-Bibliotheken und -Funktionen.
Sie können eine neue Umgebung von Apache Airflow 2.7 in HAQM MWAA mit nur wenigen Klicks in der AWS-Managementkonsole in allen derzeit unterstützten HAQM-MWAA-Regionen starten. Weitere Informationen zu Apache Airflow 2.7 finden Sie in der HAQM-MWAA-Dokumentation, im Blogbeitrag zu Neuerungen und im Änderungsprotokoll zu Apache Airflow 2.7 in der Apache-Airflow-Dokumentation.
Apache, Apache Airflow und Airflow sind entweder eingetragene Marken oder Marken der Apache Software Foundation in den Vereinigten Staaten und/oder anderen Ländern.