Publicado: Mar 18, 2020
Agora você pode usar o HAQM Elastic Inference para acelerar a inferência e reduzir os custos de inferência para os modelos PyTorch no HAQM SageMaker, HAQM EC2 e HAQM ECS. As bibliotecas PyTorch aprimoradas para EI estão disponíveis automaticamente no HAQM SageMaker, AMIs da AWS Deep Learning e AWS Deep Learning Containers, para que você possa implantar seus modelos PyTorch em produção com alterações mínimas de código. O Elastic Inference suporta modelos compilados do TorchScript no PyTorch. Para usar o Elastic Inference com o PyTorch, você deve converter seus modelos do PyTorch em TorchScript e usar a API do Elastic Inference para inferência. Hoje, o PyTorch se une ao TensorFlow e ao Apache MXNet como uma estrutura de aprendizado profundo que é suportada pelo Elastic Inference.
O Elastic Inference permite anexar a quantidade certa de aceleração acionada por GPU a qualquer instância do HAQM SageMaker, instância do EC2 ou tarefa do ECS para reduzir o custo da execução de inferência de aprendizado profundo em até 75%.
O PyTorch for Elastic Inference é suportado em regiões onde o HAQM Elastic Inference está disponível. Para obter mais informações, consulte Usando modelos PyTorch com Elastic Inference no guia do desenvolvedor e nossa postagem no blog, “Reduza os custos de inferência de ML nos modelos HAQM SageMaker for PyTorch usando HAQM Elastic Inference“.