Reduzca los costos de inferencia de aprendizaje automático en PyTorch con HAQM Elastic Inference

Ahora puede usar HAQM Elastic Inference para acelerar la inferencia y reducir los costos de inferencia para los modelos PyTorch en HAQM SageMaker, HAQM EC2 y HAQM ECS. Las bibliotecas PyTorch mejoradas para EI están disponibles automáticamente en HAQM SageMaker, las AMI de AWS Deep Learning y AWS Deep Learning Containers, para que pueda implementar sus modelos PyTorch en producción con cambios mínimos de código. Elastic Inference admite modelos compilados de TorchScript en PyTorch. Para usar Elastic Inference con PyTorch, debe convertir sus modelos de PyTorch en TorchScript y usar la API Elastic Inference para inferencia. Hoy, PyTorch se une a TensorFlow y Apache MXNet como un marco de aprendizaje profundo que es compatible con Elastic Inference.

Elastic Inference le permite asociar solo la cantidad correcta de aceleración impulsada por GPU a cualquier instancia de HAQM SageMaker, instancia EC2, o ECS para reducir el costo de ejecución de inferencias de aprendizaje automático en hasta un 75 %.

PyTorch para Elastic Inference es compatible con regiones donde HAQM Elastic Inference está disponible. Para obtener más información, consulte Uso de modelos PyTorch con Elastic Inference en la guía para desarrolladores y nuestra publicación de blog, “Reducir los costos de inferencia de aprendizaje automático en HAQM SageMaker para modelos PyTorch que usan HAQM Elastic Inference”.