Mengapa memilih UltraServers HAQM EC2?

UltraServers HAQM Elastic Compute Cloud (HAQM EC2) ideal untuk pelanggan yang mencari pelatihan AI dan performa inferensi terbaik untuk model pada skala triliunan parameter. UltraServers menghubungkan beberapa instans EC2 menggunakan interkoneksi akselerator khusus dengan bandwidth tinggi dan latensi rendah yang memungkinkan Anda memanfaatkan jaringan akselerator yang dipasangkan secara erat di seluruh instans EC2, dan mengakses komputasi dan memori yang jauh lebih banyak daripada instans EC2 mandiri.

UltraServers EC2 ideal untuk model terbesar yang membutuhkan lebih banyak memori dan bandwidth memori daripada yang dapat disediakan oleh instans EC2 mandiri. Desain UltraServer menggunakan konektivitas akselerator intra-instans untuk menghubungkan beberapa instans ke dalam satu simpul, yang membuka kemampuan baru. Kesimpulannya, UltraServers membantu memberikan waktu respons terdepan di industri untuk menciptakan pengalaman waktu nyata terbaik. Untuk pelatihan, UltraServers meningkatkan kecepatan dan efisiensi pelatihan model dengan komunikasi kolektif yang lebih cepat untuk paralelisme model dibandingkan dengan instans mandiri. UltraServers EC2 mendukung jaringan EFA dan ketika digunakan di UltraClusters EC2 memungkinkan pelatihan terdistribusi dengan penambahan skala di puluhan ribu akselerator pada jaringan berskala petabit tunggal dan non-pemblokiran. Dengan memberikan performa yang lebih tinggi untuk pelatihan dan inferensi, UltraServers mempercepat waktu Anda menuju pasar dan membantu Anda menghadirkan aplikasi waktu nyata yang didukung oleh model fondasi generasi berikutnya dengan performa paling tinggi.

Manfaat

UltraServers memungkinkan pelatihan dan inferensi model yang efisien dengan ratusan miliar hingga triliunan parameter dengan menghubungkan serangkaian akselerator yang lebih besar dengan interkoneksi bandwidth tinggi dan, latensi rendah untuk menghasilkan lebih banyak komputasi dan memori daripada instans EC2 mandiri.

UltraServers memungkinkan inferensi waktu nyata untuk model ultra-besar yang membutuhkan memori dan sumber daya bandwidth memori yang substansial di luar yang dapat ditawarkan oleh satu instans EC2.

UltraServers memungkinkan komunikasi kolektif yang lebih cepat untuk paralelisme model dibandingkan dengan instans mandiri, yang membantu Anda mengurangi waktu untuk melatih.

Fitur

Anda dapat meluncurkan instans ke UltraServer dan memanfaatkan interkoneksi akselerator khusus, bandwidth tinggi, dan latensi rendah di seluruh instans ini. UltraServers memungkinkan akses ke sejumlah besar akselerator yang terhubung dengan interkoneksi khusus ini, memberikan komputasi dan memori yang jauh lebih banyak dalam satu simpul daripada instans EC2 mandiri.

UltraServers EC2 yang di-deploy di UltraClusters EC2 saling terhubung dengan jaringan EFA berskala petabit untuk meningkatkan performa beban kerja pelatihan terdistribusi.

Anda dapat menggunakan UltraServers EC2 bersama dengan solusi penyimpanan beperforma tinggi, seperti HAQM FSx for Lustre, penyimpanan bersama yang dikelola sepenuhnya yang dibangun di atas sistem file paralel beperforma tinggi paling yang populer. Anda juga dapat menggunakan penyimpanan hemat biaya yang hampir tak terbatas dengan HAQM Simple Storage Service (HAQM S3).

UltraServers EC2 dibangun di AWS Nitro System, yaitu kumpulan komponen dasar yang kaya, yang mengalihkan beban berbagai fungsi virtualisasi konvensional ke perangkat keras dan perangkat lunak khusus. Nitro memberikan performa tinggi, ketersediaan tinggi, dan keamanan tinggi sehingga mengurangi overhead virtualisasi.

Instans didukung

Instans Trn2

Didukung oleh chip AWS Trainium2, instans Trn2 dalam konfigurasi Trn2 UltraServer (tersedia dalam pratinjau) memungkinkan Anda menskalakan hingga 64 chip Trainium2 yang terhubung dengan NeuronLink, interkoneksi dengan bandwidth tinggi dan latensi rendah khusus untuk chip AI AWS. UltraServers Trn2 memberikan performa terobosan di HAQM EC2 untuk pelatihan dan inferensi AI generatif.

Pelajari selengkapnya