張貼日期: Sep 3, 2019

HAQM SageMaker 客戶現在可使用較小的 HAQM FSx for Lustre 檔案系統作為資料來源以訓練機器學習模型。今天之前,可建立的最小 FSx for Lustre 檔案系統是 3.6 TB。對於小於這個大小的訓練集,客戶現在可建立並使用最小可達 1.2 TB 的檔案系統。

HAQM FSx for Lustre 是處理 HAQM S3 資料的高效能檔案系統,已針對機器學習、分析和高效能運算等工作負載進行優化。

使用 FSx for Lustre,客戶可以加速 HAQM SageMaker 訓練任務。2019 年 8 月 27 日宣布支援 HAQM FSx for Lustre 之前,HAQM SageMaker 在使用檔案輸入模式時,要在訓練任務開始時以透明的方式從 HAQM S3 下載完整的訓練集到本機檔案儲存。現在有了 HAQM FSx for Lustre,客戶可省去最初的 HAQM S3 下載時間,加快檔案模式訓練任務的速度。與 HAQM S3 連結時,HAQM FSx for Lustre 檔案系統會在首次存取物件時從 HAQM S3 自動複製物件到檔案系統。使用相同的 HAQM FSx for Lustre 檔案系統還能重複使用相同資料集上執行的 HAQM SageMaker 訓練任務,無須重複下載通用的物件。支援較小的檔案系統之後,HAQM FSx for Lustre 現在可用在更多的機器學習工作負載。

較小的 HAQM FSx for Lustre 檔案系統現在可在以下 AWS 區域使用:美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (奧勒岡)、美國西部 (加利佛尼亞北部)、歐洲 (愛爾蘭)、歐洲 (法蘭克福) 和亞太區域 (東京)。如需有關區域可用性的詳細資料,請查看 AWS 區域表。 

請瀏覽文件了解詳細資訊,以及閱讀部落格文章了解如何使用該功能。