HAQM Robotics 使用 HAQM SageMaker 和 AWS Inferentia 實現大規模 ML 推論

HAQM Robotics 使用其軟體和機器來自動化 HAQM 配送中心的庫存流程。該公司的系統包含三個主要物理元件：行動貨架單元、機器人和員工工作站。機器人將行動貨架單元運送到工作站，員工放上貨物 (上架) 或取出貨物 (揀貨)。HAQM Robotics 的資深軟體經理 Eli Gallaudet 說：「我們現有的上架和揀選工作流程有時會給下游處理造成瓶頸。」「2017 年，我們啟動了一項計劃，以尋找簡化其中一些工作流程的方法。」

為了減少耗時的貨箱掃描，HAQM Robotics 建置了意圖偵測系統，這是一個以深度學習為基礎的電腦視覺系統，經過數百萬個上架動作影片範例的訓練。該公司希望訓練系統自動識別員工放置庫存貨物的位置。HAQM Robotics 公司知道需要雲端運算才能將該深度學習模型部署到 HAQM 配送中心後，於是求助於 AWS。該團隊將其模型部署到 Docker 容器，並使用 HAQM Elastic Container Service (HAQM ECS) (一種全受管的容器協同運作服務) 託管。

在收集了足夠多的上架動作影片範例後，該團隊嘗試將模型架構套用於帶標註的大型影片資料集。經過多次迭代後，該團隊可以開始讓部署的模型自動執行程序。

儘管 HAQM Robotics 可以利用 AWS 上的大量運算資源，但該公司仍然需要自己託管。在 AWS 在 AWS re:Invent 2017 上宣佈推出 HAQM SageMaker 後，HAQM Robotics 就迅速加以採用，從而無需自己建置昂貴的託管解決方案。HAQM Robotics 是第一家大規模部署到 HAQM SageMaker 的公司，並且到了 2021 年 1 月仍然是最大的部署之一。

起初，該團隊主要使用 HAQM SageMaker 來託管模型。HAQM Robotics 根據需要調整其服務的使用方式，最初使用混合架構，在內部部署和雲端各執行一部分演算法。「我們建置了一組核心功能，使我們能夠提供意圖偵測系統，」HAQM Robotics 公司的資深軟體經理 Tim Stallman 說。「然後隨著 HAQM SageMaker 功能上線，我們慢慢開始採用那些功能。」 例如，該團隊採用了 HAQM SageMaker Experiments，該功能使團隊能夠組織、追蹤、比較和評估 ML 實驗和模型版本。

HAQM Robotics 還使用了 HAQM SageMaker 自動擴展。「HAQM SageMaker 不僅管理我們用於推論的主機，」Gallaudet 說，「它還根據工作負載需要自動新增或移除主機。」 由於不需要採購或管理其由 500 多個 GPU 組成的機群，該公司的推論成本節省了近 50%。

HAQM Robotics 已經取得了相當大的成功。該公司使用 HAQM SageMaker 減少了花在管理上的時間並平衡了科學家與軟體開發工程師的人數比例。HAQM SageMaker 還使系統能夠在整個 HAQM 配送網路推出期間水平擴展，並且團隊相信 HAQM SageMaker 能夠滿足其尖峰推論需求。

此解決方案由 HAQM Elastic Compute Cloud (HAQM EC2) 提供支援，它在雲端中提供安全、可調整大小的運算容量，並可讓使用者在新主機類型可用時快速遷移主機類型。透過從 HAQM EC2 P2 執行個體遷移至 HAQM EC2 G4 執行個體，HAQM Robotics 團隊能夠將推論成本降低 20%。現在利用 AWS Inferentia，相較於 G4 執行個體，HAQM Robotics 團隊能夠將推論成本進一步降低 35% (比 P2 執行個體降低 50% 以上)，並且 Inferentia 的輸送量提高了 20%，讓他們每天無需增加資源，即可掃描更多包裹。HAQM Robotics 軟體工程師 Pei Wang 說道︰「到 2022 年，我們的系統將使用超過 1000 部 SageMaker 主機，而 AWS Inferentia 可協助我們以更高的輸送量，針對快速增長的流量提供服務，而無需重新訓練我們的 ML 模型」。

採用 HAQM SageMaker 技術的解決方案在初始部署後發展迅速。HAQM Robotics 團隊一開始在威斯康辛州的一個配送中心小規模實作該解決方案，之後迅速擴展到數十個配送中心。HAQM SageMaker 隨著該解決方案的發展而快速無縫擴展。「我們預計到 2022 年我們的處理量將幾乎翻倍，」Gallaudet 說。

該團隊看到了在 AWS 上進行實驗的其他許多機會，包括在邊緣使用 HAQM SageMaker Edge Manager 執行其模型，該工具可用於跨智慧裝置機群高效管理和監控 ML 模型。HAQM Robotics 還希望建置可以進一步自動化包裹追蹤並協助自動化包裹損壞評估的模型。

透過嘗試使用尖端技術，HAQM Robotics 能夠持續提高配送中心的效率並改善 HAQM 客戶體驗。「我們在這個意圖偵測系統上學到的許多技術以及取得的經驗直接使我們能夠快速推進這些專案，」Stallman 說。