UltraServer di HAQM EC2

Gli UltraServer di HAQM Elastic Compute Cloud (HAQM EC2) sono ideali per i clienti che cercano le massime prestazioni di addestramento e inferenza IA per modelli su scala di trilioni di parametri. Gli UltraServer collegano più istanze EC2 utilizzando un'interconnessione di acceleratori dedicata, ad alta larghezza di banda e bassa latenza che consente di sfruttare una rete di acceleratori strettamente accoppiati tra le istanze EC2, e di accedere a una quantità di calcolo e di memoria significativamente maggiore rispetto alle istanze EC2 autonome.

Gli UltraServer EC2 sono ideali per i modelli più grandi che richiedono più memoria e una larghezza di banda di memoria maggiore rispetto a quelle fornite dalle istanze EC2 autonome. Il design di UltraServer utilizza la connettività dell'acceleratore intra-istanza per collegare più istanze in un unico nodo, sbloccando nuove funzionalità. Per l'inferenza, gli UltraServer consentono di fornire tempi di risposta leader del settore per creare le migliori esperienze in tempo reale. Per l'addestramento, gli UltraServer aumentano la velocità e l'efficienza dell'addestramento dei modelli, grazie a una comunicazione collettiva più rapida per il parallelismo dei modelli rispetto alle istanze autonome. Gli UltraServer EC2 supportano la rete EFA e, quando implementati in UltraCluster EC2, consentono l'addestramento distribuito con aumento orizzontale su decine di migliaia di acceleratori su una rete non bloccante di una singola scala di petabit. Offrendo prestazioni più elevate sia per l'addestramento che per l'inferenza, gli UltraServer accelerano il time-to-market e consentono di fornire applicazioni in tempo reale basate sui modelli di fondazione più performanti e di nuova generazione.