投稿日: Jan 18, 2019
HAQM Elastic Inference は、任意の HAQM EC2 および HAQM SageMaker インスタンスタイプにアクセラレーターをアタッチできるようにするサービスで、これによって深層学習の推論ワークロードを加速化することができます。Elastic Inference アクセラレーターを使用すると、大幅に (最大 75%) 削減されたコストで、GPU アクセラレーションの低レイテンシーかつ高スループットなメリットがもたらされます。Elastic Inference を使用して、TensorFlow、Apache MXNet、ONNX モデルを推論にデプロイできます。
HAQM Elastic Inference で、TensorFlow 1.12 の最新バージョンのサポートが開始されました。これによって、HAQM Elastic Inference アクセラレーターを使用した TensorFlow モデルのデプロイ用の、簡単に使用できる新しい Python API 関数である EIPredictor が提供されます。EIPredictor は簡単な実験を可能にし、HAQM Elastic Inference があった場合とない場合のパフォーマンスを比較できます。HAQM Elastic Inference を使用した TensorFlow モデルの実行についての詳細は、こちらのブログ記事をご覧ください。
HAQM Elastic Inference の詳細については、ウェブページおよびドキュメントユーザーガイドを参照してください。