Veröffentlicht am: Jun 25, 2020
HAQM EMR bietet jetzt eine „kapazitätsoptimierte“ Zuweisungsstrategie zur Bereitstellung von Spot-Instances in einem HAQM EMR-Cluster an. Die „kapazitätsbedingte“ Zuweisungsstrategie setzt die verfügbare freie Kapazität automatisch möglichst effizient ein und nutzt gleichzeitig die von Spot-Instances gewährten hohen Rabatte. Durch die Möglichkeit von weniger Unterbrechungen kann die kapazitätsoptimierte Strategie die Gesamtkosten Ihrer Arbeitslast reduzieren.
Die kapazitätsoptimierte Zuweisungsstrategie nutzt Kapazitätsdaten in Echtzeit, um Instances aus den Spot-Instance-Pools mit der optimalen Kapazität für die Anzahl der gestartete Instances zuzuweisen. Diese Zuweisungsstrategie eignet sich für Arbeitslasten, die höhere Kosten bei Störungen aufweisen. Beispiele hierfür sind Jobs mit langer Laufzeit und persistente Multi-Tenant-Cluster mit Apache Spark, Apache Hive und Presto.
Mit der Zuweisungsstrategie-Option können Sie bei der Erstellung Ihres Clusters mit Instance-Fleet-Konfiguration auch bis zu fünf EC2-Instance-Typen pro Aufgabenknoten angeben. Auf diese Weise können Sie Ihre Spotanfragen diversifizieren und so hohe Rabatte erzielen.
HAQM EMR verfügt über eine Anzahl von Verbesserungen, um die Elastizität und Widerstandsfähigkeit für Kunden zu verbessern, einschließlich der würdevollen Stilllegung von HAQM EC2 Spot-Instances, die Apache Spark- und Apache Hadoop-Anwendungen auf HAQM EMR-Clustern ausführen. Um Datenverluste zu verhindern, stellt die HAQM EMR-Skalierung sicher, dass auf Ihrem Knoten keine Apache Hadoop-Aufgaben oder spezifischen Daten laufen, die vor dem Entfernen Ihres Knotens verloren gehen könnten. HAQM EMR hat an Open-Source Spark Anpassungen vorgenommen, die es widerstandsfähiger gegen Knotenverluste machen – Integration mit dem Abschaltmechanismus von YARN, Erweiterung des Abschaltmechanismus von Spark und Aktionen auf stillgelegten Knoten.
Bitte lesen Sie die Dokumentation, um zu erfahren, wie Instance Fleets konfiguriert und wie eine Service-Rolle für HAQM EMR (EMR Role) sowie die API-Spezifikationen erstellt werden.
Die Unterstützung der Zuweisungsstrategie durch HAQM EMR ist jetzt generell ab EMR-Release-Version 5.12.1 und höher in allen kommerziellen AWS-Regionen verfügbar, in denen HAQM EMR verfügbar ist. Hier ist ein Link zur allgemeinen regionalen Verfügbarkeit von HAQM EMR.