Inserito il: Aug 27, 2019
HAQM SageMaker ora supporta i file system di HAQM Elastic File System (HAQM EFS) e HAQM FSx for Lustre come origini di dati per addestrare i modelli di machine learning su SageMaker. FSx for Lustre è un file system ad alte prestazioni ottimizzato per carichi di lavoro quali machine learning, analisi e high performance computing. HAQM EFS fornisce un file system semplice, scalabile ed elastico per carichi di lavoro basati su Linux da utilizzare per servizi AWS Cloud e risorse locali. Il supporto per questi file system accelera e semplifica l’utilizzo di HAQM SageMaker per l’addestramento di modelli tramite set di dati. Utilizzare un file system come origine di dati permette di ridurre il tempo necessario per cominciare il processo di addestramento, poiché elimina la necessità di scaricare i dati e consente di sfruttare i vantaggi in prestazioni e throughput del file system per eseguire il lavoro di addestramento più rapidamente.
Fino a oggi, HAQM SageMaker scaricava in modo trasparente un set completo di addestramento da HAQM S3 sullo storage locale di file all’inizio del lavoro di addestramento in modalità di input file. Ora, con HAQM FSx for Lustre, i clienti possono accelerare i loro lavori di addestramento in modalità file eliminando il processo di download iniziale di HAQM S3. Quando il file system di HAQM FSx for Lustre viene collegato ai bucket di HAQM S3, copia automaticamente gli oggetti da HAQM S3 sul file system quando si accede agli oggetti per la prima volta. Lo stesso file system FSx può anche essere utilizzato per diversi lavori di SageMaker, evitando di dover scaricare ripetutamente oggetti in comune ai vari lavori.
Inoltre, fino a oggi, i clienti potevano solo utilizzare HAQM SageMaker con set di addestramento archiviati su HAQM S3. Ora, i clienti possono anche utilizzare i set che sono archiviati su HAQM EFS. HAQM SageMaker interagisce direttamente con HAQM EFS, eliminando la necessità di dover copiare i set di dati da HAQM EFS su HAQM S3 per l’utilizzo con HAQM SageMaker.
La maggior parte degli algoritmi di machine learning incorporati in HAQM SageMaker supportano EFS e FSx for Lustre come origine di dati di input. Questa funzionalità è disponibile in tutte le regioni in cui i rispettivi file system sono disponibili. Per i dettagli sulla disponibilità delle regioni, consulta la tabella delle regioni AWS.
Consulta la documentazione e leggi il post del blog per maggiori informazioni su come utilizzare la funzionalità.