【開催報告】Neuron Community – Day One

Neuron Community – Day One 会場の様子

こんにちは、ソリューションアーキテクトの宇佐美です。2025年4月9日に開催された「Neuron Community – Day One」の様子をレポートします。このイベントは、2025年3月に立ち上げられた「Neuron Community」の協力のもと開催しました。記念すべきイベントの第1回目ということで、Day Oneと名付けられています。

Neuron Community とは

AWS では、機械学習のトレーニングと推論のための高性能で費用対効果の高い機械学習アクセラレータ（AWS Trainium、AWS Inferentia）、および深層学習と生成 AI ワークロードを実行するために使用される SDK の AWS Neuron を提供しています。現在、AWS Trainium / Inferentia エコシステムに関する情報は AWS 公式のドキュメントが中心であり、実践的な知見の共有が限られているのが現状です。このような背景から、ユーザー間での知見共有を促進する場として「Neuron Community」が発足しました。

AWS セッション

針原 佳貴 「オープニング」

資料：http://speakerdeck.com/hariby/aws-neuron-community-day-one

Neuron Community – Day One オープニング

オープニングでは、SA の針原より Neuron Community の立ち上げの経緯、その意義について説明しました。
2025年1月14日に開催されたイベント「基盤モデル開発者向け Deep Dive セッション: 最新の生成 AI 技術 ～ AWS Trainium2 & HAQM Bedrock Marketplace ～」で、カラクリ株式会社 取締役 CPO の中山 智文氏より、「一緒に Trainium のユーザーコミュニティを盛り上げていきましょう！」との声掛けがあり、これをきっかけに Neuron Community 活動がスタートしたことが紹介されました。

また、Neuron Community の意義は、エンジニア同士が会社の垣根を超えて交流し知見を共有していくことであると説明されました。日本では 2023年に実施した AWS LLM 開発支援プログラムで 15社中13社が AWS Trainium を活用して LLM を開発するなど、AWS Trainium / Inferentia の先進的な事例が複数登場していますが、まだまだ企業間のコラボレーションは発展途上です。Neuron Community が、企業を超えたコラボレーション促進の場となることが期待されます。

常世 大史 「AWS Neuron アップデート」

資料：http://speakerdeck.com/htokoyo/20250409-neuron-community-trainium-inferentia-neuron-update

AWS Trainium / Inferentia / Neuron SDK 最新情報 2025春

2つ目のセッションとして、Annapurna Labs の常世より AWS Trainium / Inferentia / Neuron の最新動向について紹介しました。Neuron Community の1回目のイベントということもあり、最初に AWS の AI アクセラレータチップの歴史や、アーキテクチャ、AI アクセラレータチップ向けの SDK である AWS Neuron のソフトウェアスタックを紹介しました。AWS の AI アクセラレータは、2019年に登場した HAQM EC2 Inf1 インスタンスから始まり、すでに6年以上の歴史と実績があります。その間、第1世代の AWS Inferentia、第2世代の AWS Trainium / Inferentia2、第3世代の AWS Trainium2 が登場しています。また、SDK の AWS Neuron のソフトウェアスタックに含まれる、大規模言語モデルの分散学習向けライブラリや分散推論向けライブラリが紹介されました。AWS Neuron には、Neuron コアを直接プログラミングするための Neuron Kernel Interface (NKI) も含まれています。NKI は、Python ベースでできており、馴染み深い NumPy スタイルで実装することができます。
その後、2025年4月3日にリリースされた AWS Neuron 2.22 について説明しました。このバージョンでは、推論ワークロードとして Llama-3.2-11B マルチモーダルモデル対応、マルチ LoRA サービング対応、量子化機能の拡張など、学習ワークロードとして LoRA教師あり (supervised) ファインチューニング対応などが行われていることが説明されました。

ライトニングトーク

安立 健人氏（グリーエックス株式会社）「持続可能なLLM推論インフラを考える〜 AWS Inferentia 採用のポイント〜」

グリーエックス株式会社の安立氏からは、「持続可能なLLM推論インフラを考える 〜AWS Inferentia 採用のポイント〜」と題して、推論向けの AI アクセラレータである AWS Inferentia の採用のポイントについて説明していただきました。
LLM がいよいよ実用フェーズへ移行してきた2025年は、推論インフラのコスト最適化・多様化が課題になり、持続可能なインフラをどう実現するかが重要になるという視点から、AWS Inferentia はコスト効率が高く、レイテンシやスループットにもメリットがあると評価されていることをお話しいただきました。また、GPU から AWS Inferentia への移行については、学習コストはあるのものの、PyTorch のコードを利用できるため移行自体はそれほど大変ではない点をコメント頂き、非クリティカルなワークロードからGPUとInferentiaとのハイブリッド運用を導入する現実的なアプローチも提案頂きました。
さらに、AWS Inferentia を採用する際の判断のポイントを、技術的判断ポイント、組織的判断ポイントに分けて、チェックリスト形式で説明していただきました。このリストには、「導入による達成目標の明確化」を行って具体的な数値目標（例：コスト削減 XX%）を定めることが重要であることなど、複数の実践的なアドバイスが含まれており、多くの方が熱心にメモを取っている様子が印象的でした。

中山 智文 氏（カラクリ株式会社 取締役 CPO）「AWS Trainium の壁を乗り越えるためにやってきたこと」

資料：http://drive.google.com/file/d/1pYKCINt9N1BITFuXFMnEZNijeJDVZBIG/edit

AWS Trainium の壁を乗り越えるためにやってきたこと

カラクリ株式会社の中山氏からは、「AWS Trainium の壁を乗り越えるためにやってきたこと」と題して、AWS Neuron が未対応の大規模言語モデルの学習をどのように実現してきたかを紹介していただきました。
中山氏は、諸事情で急遽リモート参加となりましたが、事前に準備していただいた動画をストリーミングする形で発表していただきました。コスト効率の高い HAQM EC2 Trn1 インスタンスの利用を決めたものの、当時 AWS Neuron では未対応であったモデルを自社で実装しており、学習させるための苦労は大きかったとのことです。エンジニア 3名の座談会形式で語られた、新しいモデルに自社で対応するために要した工夫と努力はたいへん興味深く、多くの参加者の興味を惹き、自分たちも挑戦したいという気持ちを掻き立てていたようです。最後に「気合とコミュニケーションで乗りこえることでかけた工数より遥かに大きいコスト削減効果は得られます。」とセッションを結んで頂きました。

さいごに

Neuron Community は、第1回目から非常に興味深い内容で、その後の懇親会も盛り上がりました。エンジニア同士が会社の垣根を超えて知見を共有するという Neuron Community の意義が実感できるイベントになっていたと思います。

今後も Neuron Community は、第2回、第3回と回を重ねながら成長していきます。オープンなコミュニティですので、AWS Trainium / Inferentia / Neuron に興味のある方は、下記のリンクから Discord の AWS Neuron Community サーバーに参加してみてください。

AWS Neuron Community (Discord) : http://discord.gg/DUx4g3Z3pq

著者について

宇佐美 雅紀 (Usami Masanori)

製造業のお客様を担当するソリューションアーキテクトです。
製造業のお客様のクラウド活用を支援しています。

常世 大史 (Tokoyo Hiroshi)

AWS Annapurna Labs のソリューションアーキテクトです。
Annapurna Labs が提供する AWS Trainium、Inferentia の技術支援に注力しています。