HAQM EMR 관리형 스케일링, 이제 Spark 셔플 데이터 인식

HAQM EMR 관리형 스케일링은 최대 성능과 리소스 활용을 위해 EMR 클러스터의 사이즈를 자동으로 조절합니다. 오늘 Apache Spark용 중간 셔플 데이터를 저장하는 인스턴스를 축소하지 못하도록 하는 관리형 스케일링의 새로운 기능이 발표된다는 기쁜 소식을 전해드립니다. 중간 셔플 데이터를 저장하는 인스턴스를 제거하지 않고 클러스터를 지능적으로 축소하면 작업 재시도 및 재계산이 방지되어 성능이 향상되고 비용이 절감됩니다.

EMR 관리형 스케일링을 사용하여 클러스터에 대한 최소 및 최대 컴퓨팅 제한을 지정합니다. EMR 관리형 스케일링은 HAQM EC2 스팟 인스턴스와 함께 사용할 수 있으므로 미사용 EC2 용량을 온디맨드 가격에서 최대 90% 할인된 가격으로 활용할 수 있습니다. EMR 관리형 스케일링은 클러스터에서 실행되는 워크로드와 관련된 주요 지표를 지속적으로 샘플링하고 워크로드 및 활용도에 따라 클러스터 사이즈를 조절합니다. 이제 이러한 지표에는 Apache Spark에 대한 중간 셔플 데이터가 있는 모니터링 인스턴스가 포함됩니다.

이 기능은 HAQM EMR 릴리스 버전 5.34 및 6.4.0 이상에서 지원됩니다. 여러분이 뭔가 작업할 필요는 없습니다. 이 기능은 미국 동부(버지니아 북부 및 오하이오), 미국 서부(오레곤 및 캘리포니아 북부), 남아메리카(상파울루), 유럽(프랑크푸르트, 아일랜드, 런던, 밀라노, 파리, 스톡홀름), 캐나다(중부), 아시아 태평양 (홍콩, 뭄바이, 서울, 싱가포르, 시드니, 도쿄), 중동(바레인), 아프리카(케이프타운)의 전 세계 20개 AWS 리전에서 사용할 수 있습니다.

자세한 내용은 관리형 스케일링 설명서를 참조하세요.