Apache Spark บน HAQM EMR

EMR มีรันไทม์ของ HAQM EMR สำหรับ HAQM EMR ซึ่งเป็นสภาพแวดล้อมรันไทม์ที่ปรับประสิทธิภาพให้เหมาะสำหรับ Apache Spark มากที่สุด โดยมีการเปิดใช้งานไว้เป็นค่าเริ่มต้นบนคลัสเตอร์ HAQM EMR รันไทม์ HAQM EMR สำหรับ Apache Spark สามารถทำงานได้เร็วกว่าคลัสเตอร์ที่ไม่มีรันไทม์ EMR ถึง 3 เท่า และมี API ที่สามารถใช้กับ Apache Spark มาตรฐานได้ 100% ประสิทธิภาพที่ดีขึ้นนี้ช่วยให้ปริมาณงานของคุณรันได้เร็วขึ้น ทั้งยังประหยัดค่าใช้จ่ายในการประมวลผลโดยที่ไม่ต้องทำการเปลี่ยนแปลงใดๆ กับแอปพลิเคชันของคุณ

Spark สามารถสร้างแผนการสืบค้นที่มีประสิทธิภาพสำหรับการแปลงข้อมูลได้โดยใช้โปรแกรมดำเนินการแบบ Directed Acyclic Graph (DAG) นอกจากนั้น Spark ยังจัดเก็บอินพุต เอาต์พุต และข้อมูลระดับกลางในหน่วยความจำเป็นดาต้าเฟรมที่ยืดหยุ่น ซึ่งช่วยให้มีการประมวลผลที่รวดเร็วโดยไม่มีค่าบริการ I/O, การเพิ่มประสิทธิภาพของปริมาณงานซ้ำหรือแบบโต้ตอบ

Apache Spark รองรับ Java, Scala, SQL และ Python ซึ่งช่วยให้คุณมีรูปแบบภาษาต่างๆ มากมายสำหรับสรรค์สร้างแอปพลิเคชัน อีกทั้งคุณยังสามารถส่งการสืบค้น SQL หรือ HiveQL ได้โดยใช้โมดูล Spark SQL นอกจากการเรียกใช้แอปพลิเคชันแล้ว คุณยังสามารถใช้ Spark API โต้ตอบกับ Python หรือ Scala ได้โดยตรงในเชลล์ Spark หรือผ่าน EMR Studio หรือ Jupyter Notebook บนคลัสเตอร์ของคุณได้อีกด้วย การสนับสนุนสำหรับ Apache Hadoop 3.0 ใน EMR 6.0 ช่วยให้มีการสนับสนุน Docker Container เพื่อลดความซับซ้อนในการจัดการความเชื่อมโยงกัน คุณสามารถใช้ประโยชน์จาก EMR Notebooks ที่เป็นอิสระจากคลัสเตอร์ (อิงตาม Jupyter) หรือใช้ Zeppelin ในการสร้างโน้ตบุ๊กเชิงโต้ตอบแบบทำงานร่วมกันสำหรับการสำรวจข้อมูลและการแสดงข้อมูลด้วยภาพได้อีกด้วย คุณสามารถปรับและแก้ไขจุดบกพร่องของเวิร์กโหลดใน EMR Console ที่มีเซิร์ฟเวอร์ประวัติ Spark อย่างต่อเนื่องแบบไม่มีคลัสเตอร์

Apache Spark ประกอบด้วยไลบรารีต่างๆ มากมายเพื่อช่วยสร้างแอปพลิเคชันสำหรับแมชชีนเลิร์นนิ่ง (MLlib), การประมวลผลสตรีม (Spark Streaming) และการประมวลผลกราฟ (GraphX) ไลบรารีเหล่านี้ผสานรวมกันอย่างใกล้ชิดในระบบนิเวศของ Spark และสามารถนำไปใช้ได้ทันทีเพื่อรับมือกับกรณีใช้งานแบบต่างๆ นอกจากนั้น คุณสามารถใช้เฟรมเวิร์กการเรียนรู้เชิงลึก เช่น Apache MXNet กับแอปพลิเคชัน Spark ของคุณได้ การผสานรวมกับ AWS Step Functions ช่วยให้คุณเพิ่มระบบอัตโนมัติและการควบคุมระบบเวิร์กโฟลว์แบบไม่ต้องใช้เซิร์ฟเวอร์ให้แอปพลิเคชันของคุณได้

ส่งงาน Apache Spark ด้วย EMR Step API, ใช้ Spark พร้อมกับ EMRFS เพื่อเข้าถึงข้อมูลใน S3 โดยตรง, ประหยัดต้นทุนโดยใช้ความจุ EC2 Spot, ใช้ EMR Managed Scaling เพื่อเพิ่มและลบความจุแบบไดนามิก และเปิดใช้คลัสเตอร์แบบยาวนานหรือแบบชั่วคราวเพื่อให้เหมาะสมกับปริมาณงานของคุณ นอกจากนี้ คุณยังสามารถกำหนดค่าการเข้ารหัส Spark และการรับรองความถูกต้องด้วย Kerberos ได้โดยใช้ การกำหนดค่าการรักษาความปลอดภัยของ EMR และคุณยังสามารถใช้แค็ตตาล็อกข้อมูลของ AWS Glue เพื่อจัดเก็บข้อมูลเมตาแบบตารางของ Spark SQL หรือใช้ HAQM SageMaker กับไปป์ไลน์แมชชีนเลิร์นนิง Spark ของคุณได้ด้วย EMR ติดตั้งและจัดการ Spark บน Hadoop YARN และคุณสามารถเพิ่มแอปพลิเคชัน Big Data บนคลัสเตอร์ของคุณได้ EMR ที่มี Apache Hudi ช่วยให้คุณจัดการ Change Data Capture (CDC) ได้อย่างมีประสิทธิภาพมากขึ้น และช่วยในเรื่องของกฎข้อบังคับเรื่องความเป็นส่วนตัว อย่างเช่น GDPR และ CCPA โดยลดความซับซ้อนในการลบบันทึก คลิกที่นี่เพื่อดูรายละเอียดเพิ่มเติมเกี่ยวกับฟีเจอร์ของ EMR

ใช้และประมวลผลข้อมูลเรียลไทม์จาก HAQM Kinesis, Apache Kafka หรือสตรีมข้อมูลอื่น ๆ ด้วย Spark Streaming บน EMR ดำเนินการวิเคราะห์การสตรีมด้วยวิธีที่ทนทานต่อความผิดพลาดและเขียนผลลัพธ์ไปยัง S3 หรือ HDFS บนคลัสเตอร์

Apache Spark บน EMR ได้รวม MLlib สำหรับอัลกอริทึมแมชชีนเลิร์นนิ่งที่ปรับขนาดได้แบบต่างๆ เอาไว้หรือคุณสามารถใช้ไลบรารีของคุณเองได้ การจัดเก็บชุดข้อมูลในหน่วยความจำระหว่างงานช่วยให้ Spark มีประสิทธิภาพการทำงานที่ยอดเยี่ยมสำหรับการสืบค้นซ้ำที่พบบ่อยในปริมาณงานแมชชีนเลิร์นนิ่ง คุณสามารถเพิ่มความสามารถของ HAQM SageMaker ได้โดยใช้ HAQM SageMaker Spark เชื่อมต่ออินสแตนซ์โน้ตบุ๊กเข้ากับคลัสเตอร์ Apache Spark ที่รันอยู่บน HAQM EMR เพื่อการฝึกโมเดลและการโฮสต์โมเดลอย่างง่ายดาย

ใช้ Spark SQL สำหรับการสืบค้นเชิงโต้ตอบที่มีเวลาแฝงต่ำด้วย SQL หรือ HiveQL Spark บน EMR สามารถใช้ EMRFS ดังนั้นคุณจึงเข้าถึงชุดข้อมูลใน S3 แบบเฉพาะกิจได้ นอกจากนี้ คุณยังสามารถใช้ EMR Studio, EMR Notebooks, Zeppelin Notebooks หรือเครื่องมือ BI ผ่านการเชื่อมต่อ ODBC และ JDBC ได้อีกด้วย