ทำไมต้องใช้ HAQM EC2 UltraServer

HAQM Elastic Compute Cloud (HAQM EC2) UltraServers เหมาะสำหรับลูกค้าที่ต้องการประสิทธิภาพการฝึก AI และการอนุมานสูงสุดสำหรับโมเดลในระดับล้านล้านพารามิเตอร์ UltraServers เชื่อมต่ออินสแตนซ์ EC2 หลายอินสแตนซ์ โดยใช้การเชื่อมต่อตัวเร่งความเร็วแบนด์วิดท์สูงที่มีเวลาแฝงต่ำโดยเฉพาะ ซึ่งช่วยให้คุณสามารถใช้ประโยชน์จากโครงข่ายเร่งความเร็วที่จับคู่กันอย่างแน่นหนาในอินสแตนซ์ EC2 รวมถึงเข้าถึงการประมวลผลและหน่วยความจำได้มากกว่าอินสแตนซ์ EC2 แบบสแตนด์อโลน

EC2 UltraServers เหมาะสำหรับโมเดลขนาดใหญ่ที่สุดซึ่งต้องการหน่วยความจำและแบนด์วิดท์หน่วยความจำมากกว่าที่อินสแตนซ์ EC2 แบบสแตนด์อโลนสามารถให้ได้ การออกแบบ UltraServer ใช้การเชื่อมต่อตัวเร่งภายในอินสแตนซ์เพื่อเชื่อมต่อหลายอินสแตนซ์เข้ากับโหนดเดียว ซึ่งช่วยปลดล็อกความสามารถใหม่ ๆ สำหรับการอนุมาน UltraServer ให้เวลาตอบสนองได้ในระดับชั้นนำของอุตสาหกรรม จึงสร้างประสบการณ์แบบเรียลไทม์ได้ดีที่สุด และสำหรับการฝึกนั้น UltraServer ก็จะช่วยเพิ่มความเร็วและประสิทธิภาพการฝึกโมเดลด้วยการสื่อสารแบบรวมที่รวดเร็วขึ้นเพื่อการทำงานคู่ขนานของโมเดล โดยจะทำงานได้เร็วกว่าเมื่อเทียบกับอินสแตนซ์แบบสแตนด์อโลน EC2 UltraServers รองรับระบบเครือข่าย EFA และเมื่อนำมาใช้งานใน EC2 UltraClusters จะช่วยให้ขยายการฝึกแบบกระจายตัวได้ในตัวเร่งหลายหมื่นตัวบนเครือข่ายที่ไม่บล็อกในระดับเพตะบิตเดียว ด้วยการมอบประสิทธิภาพที่สูงขึ้นสำหรับการฝึกและการอนุมาน UltraServers จึงสามารถช่วยเร่งเวลาออกสู่ตลาดและช่วยให้คุณสามารถส่งมอบแอปพลิเคชันแบบเรียลไทม์ที่ขับเคลื่อนโดยโมเดลพื้นฐานใหม่ที่มีประสิทธิภาพมากที่สุด

ประโยชน์

UltraServers ช่วยให้การฝึกอบรมและการอนุมานโมเดลที่มีพารามิเตอร์หลายร้อยพันล้านถึงล้านล้านตัวมีประสิทธิภาพมากขึ้น โดยเชื่อมโยงชุดอุปกรณ์เร่งความเร็วจำนวนมากขึ้นด้วยการเชื่อมต่อความเร็วสูงและเวลาแฝงต่ำ เพื่อมอบพลังการประมวลผลและหน่วยความจำมากกว่า EC2 instances แบบสแตนด์อโลน

UltraServers ช่วยให้สามารถอนุมานแบบเรียลไทม์สำหรับโมเดลขนาดใหญ่พิเศษที่ต้องการทรัพยากรหน่วยความจำและแบนด์วิดท์หน่วยความจำมากเกินกว่าที่อินสแตนซ์ EC2 เดียวสามารถนำเสนอได้

UltraServers ช่วยให้การสื่อสารร่วมกันรวดเร็วยิ่งขึ้นสำหรับการประมวลผลแบบคู่ขนานของโมเดลเมื่อเปรียบเทียบกับอินสแตนซ์แบบสแตนด์อโลน ช่วยให้คุณลดเวลาในการฝึก

คุณสมบัติ

คุณสามารถเปิดอินสแตนซ์ลงใน UltraServer และใช้ประโยชน์จากการเชื่อมต่ออุปกรณ์เร่งความเร็วเฉพาะจุด ความเร็วสูง และเวลาแฝงต่ำในอินสแตนซ์เหล่านี้ได้ UltraServers ช่วยให้สามารถเข้าถึงตัวเร่งความเร็วที่เชื่อมต่อกับการเชื่อมต่อเฉพาะจุดนี้ได้มากขึ้น ทำให้มีการประมวลผลและหน่วยความจำในโหนดเดียวมากกว่าอินสแตนซ์ EC2 แบบสแตนด์อโลน

EC2 UltraServer ที่นำมาใช้ใน EC2 UltraClusters เชื่อมต่อกันกับเครือข่าย EFA ในระดับ petabit เพื่อปรับปรุงประสิทธิภาพสำหรับเวิร์กโหลดการฝึกแบบกระจาย

คุณสามารถใช้ EC2 UltraServers ร่วมกับโซลูชันการจัดเก็บข้อมูลประสิทธิภาพสูง เช่น HAQM FSx สำหรับ Lustre ซึ่งเป็นพื้นที่จัดเก็บข้อมูลร่วมกันที่มีการจัดการอย่างเต็มรูปแบบและสร้างขึ้นบนระบบไฟล์คู่ขนานประสิทธิภาพสูงที่ได้รับความนิยมสูงสุด คุณยังสามารถใช้พื้นที่เก็บข้อมูลที่คุ้มค่าแบบไม่จํากัดด้วย HAQM Simple Storage Service (HAQM S3)

EC2 UltraServers ถูกสร้างขึ้นบน AWS Nitro System ซึ่งเป็นคอลเล็กชันบล็อกการสร้างอันหลากหลายที่ถ่ายโอนฟังก์ชันการจำลองระบบเสมือนดั้งเดิมหลายอย่างไปยังฮาร์ดแวร์และซอฟต์แวร์เฉพาะ ซึ่ง Nitro จะมอบประสิทธิภาพสูง ความพร้อมใช้งานสูง และความปลอดภัยสูง และลดค่าใช้จ่ายในการจำลองระบบเสมือน

อินสแตนซ์ที่รองรับ

อินสแตนซ์ Trn2

อินสแตนซ์ Trn2ที่ขับเคลื่อนด้วยชิป AWS Trainium2 ในการกำหนดค่า Trn2 UltraServer (มีให้ใช้งานในเวอร์ชันทดลองใช้) ช่วยให้คุณสามารถปรับขนาดชิป Trainium2 ได้ถึง 64 ชิป ที่เชื่อมต่อกับ NeuronLink ซึ่งเป็นการเชื่อมต่อแบนด์วิดท์สูงที่มีเวลาแฝงต่ำสำหรับชิป AWS AI โดยเฉพาะ Trn2 UltraServer จะมอบประสิทธิภาพที่ล้ำหน้าใน HAQM EC2 สำหรับการฝึกและการอนุมานของ AI ช่วยสร้าง

เรียนรู้เพิ่มเติม