投稿日: Mar 18, 2020
HAQM Elastic Inference をご利用いただくことで、HAQM SageMaker、HAQM EC2、HAQM ECS 内の PyTorch モデルで行う推論の速度を向上させながら、コストを削減することができます。PyTorch 用に拡張された EI のライブラリーは、自動的に HAQM SageMaker、AWS Deep Learning AMI、そして AWS Deep Learning Containers 内で利用可能になります。したがって、最小限のコード修正だけで PyTorch モデルの本稼働へのデプロイが行えます。Elastic Inference でサポートするのは、PyTorch の TorchScript コンパイル済みモデルです。Elastic Inference での PyTorch 利用には、まず、ご自身の PyTorch モデルを TorchScript に変換した上で、推論は Elastic Inference API を通じて行っていただく必要があります。今回、Elastic Inference がサポートする深層学習フレームワークの仲間として、TensorFlow と Apache MXNet に PyTorch が加わりました。
Elastic Inference では、適切な量の GPU アクセラレーションを HAQM SageMaker インスタンスや EC2 インスタンス、あるいは ECS タスクにアタッチすることで、深層学習による推論の実行コストを最大 75% まで削減できます。
Elastic Inference の PyTorch は、HAQM Elastic Inference が利用可能なリージョンでサポートされています。詳細については、開発者ガイドの「Using PyTorch Models with Elastic Inference」、およびブログ記事の「Reduce ML inference costs on HAQM SageMaker for PyTorch models using HAQM Elastic Inference」をご参照ください。