AWS Neuron が NxD Inference の一般提供開始、新機能、ツールの改善を発表
本日、AWS は、推論、トレーニング機能、デベロッパーツールを強化する Neuron 2.23 のリリースを発表しました。このリリースでは、NxD Inference ライブラリ (NxDI) が一般提供 (GA) となり、コンテキスト並列処理や ORPO などの新しいトレーニング機能が導入され、PyTorch 2.6 と JAX 0.5.3 のサポートが追加されました。
NxD Inference ライブラリはベータ版から一般提供となり、マルチチップ推論のすべてのユースケースで推奨されるようになりました。主な機能強化には、コンパイル時間を短縮する永続キャッシュのサポートとモデルの読み込み時間の最適化が含まれます。
トレーニングワークロード向けには、NxD Training ライブラリでは、Llama モデルのコンテキスト並列処理サポート (ベータ版) が導入され、最大 32K のシーケンス長が可能になりました。このリリースでは、DPO スタイルのデータセットで ORPO を使用するモデルアライメントのサポートが追加され、サードパーティライブラリ (具体的には PyTorch Lightning 2.5、Transformers 4.48、NeMo 2.1) のサポートがアップグレードされました。
Neuron Kernel Interface (NKI) では、新しい 32 ビット整数演算、Trainium2 の改善された ISA 機能、および新しいパフォーマンスチューニング API が導入されています。Neuron Profiler では、Perfetto によるプロファイル結果の表示が 5 倍速くなり、タイムラインベースのエラー追跡が可能になり、マルチプロセスの可視化が改善されました。
AWS Neuron SDK では、Trn1、Trn2、および Inf2 インスタンスでのモデルのトレーニングとデプロイがサポートされます。これらのインスタンスは、オンデマンドインスタンス、リザーブドインスタンス、スポットインスタンスとして、または Savings Plan の一部として、AWS リージョンで利用できます。
Neuron 2.23 の新機能と拡張機能の全リストを確認し、Neuron の使用を開始するには、以下を参照してください。