HAQM EC2 UltraServers

HAQM Elastic Compute Cloud (HAQM EC2) UltraServers идеально подходит для клиентов, которым нужна максимальная производительность обучения ИИ и построения логических выводов для моделей в масштабе триллионов параметров. UltraServers соединяет несколько инстансов EC2 с помощью выделенного соединения ускорителей с высокой пропускной способностью и малой задержкой, что позволяет применять тесно связанную сеть ускорителей между инстансами EC2 и получать доступ к значительно большему объему вычислительных ресурсов и памяти по сравнению с отдельными инстансами EC2.

Инстансы EC2 UltraServers идеально подходят для самых больших моделей, которым требуется больше памяти и ее пропускной способности по сравнению с отдельными инстансами EC2. Чтобы задействовать несколько инстансов к одному узлу, в конструкции UltraServer применяется подключение к ускорителю внутри инстанса. Такой подход открывает новые возможности. Для задач получения логических выводов инстансы UltraServers обеспечивают ведущее в отрасли время отклика и создание наилучших условий работы в режиме реального времени. Для задач обучения инстансы UltraServers повышают скорость и эффективность обучения модели благодаря более быстрой коллективной коммуникации для обеспечения параллелизма моделей по сравнению с отдельными инстансами. Инстансы EC2 UltraServers поддерживают сеть Интерфейса эластичной матрицы (EFA). При развертывании в EC2 инстансы UltraClusters обеспечивают масштабируемое распределенное обучение на десятках тысяч ускорителей в одной петабитной сети, которая не подвергается блокированию. Обеспечивая более высокую производительность обучения и логических выводов, инстансы UltraServers ускоряют вывод на рынок и помогает создавать приложения в режиме реального времени на основе самых производительных базовых моделей нового поколения.