Inserito il: Mar 18, 2020
Ora puoi utilizzare HAQM Elastic Inference per accelerare l'inferenza e ridurne i costi per i modelli PyTorch in HAQM SageMaker, HAQM EC2 e HAQM ECS. Le librerie migliorate di PyTorch per EI sono disponibili automaticamente in HAQM SageMaker, AMI di AWS Deep Learning e AWS Deep Learning Containers, con la possibilità di distribuire i modelli di PyTorch in produzione con modifiche minime al codice. Elastic Inference supporta i modelli compilati TorchScript su PyTorch. Per utilizzare Elastic Inference con PyTorch devi convertire i modelli PyTorch in TorchScript e utilizzare l'API di Elastic Inference per l'inferenza. Oggi, PyTorch si aggiunge a TensorFlow e Apache MXNet come framework di deep learning supportato da Elastic Inference.
Elastic Inference consente di collegare la giusta quantità di accelerazione basata su GPU a qualsiasi tipo di istanza HAQM SageMaker, EC2 o a un’attività su ECS per ridurre fino al 75% il costo dell’esecuzione dell’inferenza di apprendimento approfondito.
PyTorch per Elastic Inference ora è supportato in tutte le regioni in cui è disponibile HAQM Elastic Inference. Per ulteriori informazioni, consulta Utilizzo dei modelli PyTorch con Elastic Inference nella guida per sviluppatori e nel nostro post del blog "Riduci i costi di inferenza ML su HAQM SageMaker per i modelli PyTorch utilizzando HAQM Elastic Inference".