Veröffentlicht am: Apr 9, 2020
Wir freuen uns, HAQM EMR-Version 6.0.0 mit Support für neue Hauptversionen von Hadoop, Hive, HBase, HAQM Linux 2 sowie Support für das Bündeln von Spark-Umgebungsabhängigkeiten mit Docker anzukündigen.
Spark-Benutzer können nun Docker-Images von Docker Hub und HAQM Elastic Container Registry (HAQM ECR) mit EMR-Version 6.0.0 verwenden, um Umgebungs- und Bibliotheksabhängigkeiten zu definieren. Mit Docker können Sie Ihre Python- und R-Abhängigkeiten leicht für einzelne Aufgaben bündeln, sodass Abhängigkeiten von einzelnen Clusterhosts nicht installiert werden müssen. Weitere Informationen zur Verwendung von Docker mit EMR 6.0.0 finden Sie in unserem EMR-Managementhandbuch im Kapitel Konfigurieren von Docker und in unserem Blogbeitrag, wie Sie Ihr Spark-Abhängigkeitsmanagement mit Docker vereinfachen können.
Hive-Benutzer können jetzt Hive Live Long and Process (LLAP) mit EMR-Version 6.0.0 verwenden, was eine 2-fache Leistungsbeschleunigung gegenüber EMR 5.29 mit bis zu 10-facher Verbesserung einzelner Hive TPC-DS-Abfragen* bietet. Hive LLAP ist ein neues Ausführungsmodell in Hive, das persistente Dämonen mit dynamischer Zwischenspeicherung im Arbeitsspeicher verwendet, um die Abfrageausführung zu beschleunigen. Weitere Informationen zum Aktivieren von Hive LLAP finden Sie in unserer Dokumentation zur Verwendung von Hive LLAP und in unserem Blogbeitrag, um zu erfahren, warum Apache Hive mit Hive LLAP auf EMR 6.0.0 2-fach schneller ist.
EMR-Version 6.0.0 bietet neue Hauptversionen von Apache Hadoop 3.2.1, Apache Hive 3.1.2, Apache HBase 2.2.3, Apache Phoenix 5.0.0 und die EMR-Laufzeit für Apache Spark 2.4.4 mit Support für Scala 2.12. EMR-Version 6.0.0 basiert auf HAQM Linux 2 und HAQM Corretto JDK 8. HAQM Linux 2 ist die neueste Generation des HAQM Linux Serverbetriebssystems und bietet neue System-Tools wie das System-basierte init-System und den leistungsgesteigerten HAQM Linux LTS Kernel. HAQM Corretto JDK 8 bietet ein Java SE-zertifiziertes kompatibles JDK, das langfristigen Support, Leistungssteigerungen und Sicherheitskorrekturen umfasst. Weitere Informationen zu allen EMR-Anwendungen, die in EMR-Version 6.0.0 aktualisiert wurden, finden Sie in unseren Versionshinweisen.
HAQM EMR-Version 6.0.0 ist nun in allen Regionen, in denen HAQM EMR unterstützt wird, verfügbar.
Bleiben Sie bezüglich der neuesten EMR-Versionen auf dem neuesten Stand, indem Sie den Feed für EMR-Versionshinweise abonnieren. Verknüpfen Sie die Feed-URL über das Symbol oben im EMR Release Guide direkt mit Ihrem bevorzugten Feed-Reader.
* Basierend auf einem 3-TB-TPC-DS-Vergleichstest im Vergleich zu EMR 5.29.0 mit EMR 6.0.0.