Inserito il: Sep 3, 2019
I clienti di HAQM SageMaker possono ora utilizzare i file system di dimensioni ridotte di HAQM FSx for Lustre come origine dati per la formazione dei modelli di machine learning. Fino ad oggi, il più piccolo file system FSx for Lustre creabile aveva le dimensioni di 3,6 TB. Per set di addestramento di dimensioni inferiori a queste, i clienti possono ora creare e utilizzare file system di soli 1,2 TB.
FSx for Lustre è un file system ad alte prestazioni che funziona con i dati di HAQM S3 ed è ottimizzato per carichi di lavoro quali machine learning, analisi e high performance computing.
Con FSx for Lustre, i clienti possono accelerare i loro lavori di formazione su HAQM SageMaker. Fino al 27 agosto 2019, data dell’annuncio del supporto per HAQM FSx for Lustre, HAQM SageMaker poteva scaricare in modo trasparente un set completo di addestramento da HAQM S3 sullo storage locale di file. Questa operazione era possibile solo all’inizio del lavoro di addestramento e in modalità di input di File. Ora, con HAQM FSx for Lustre, i clienti possono accelerare i loro lavori di addestramento in modalità file eliminando il processo di download iniziale di HAQM S3. Quando il file system di HAQM FSx for Lustre viene collegato ad HAQM S3, copia automaticamente gli oggetti da HAQM S3 sul file system quando si accede ad essi per la prima volta. Lo stesso file system HAQM FSx for Lustre può essere utilizzato anche per lavori di formazione iterativi di HAQM SageMaker in esecuzione sugli stessi set di dati, che impedisce il download ripetuto di oggetti comuni. Con il supporto di file system di dimensioni ridotte, HAQM FSx for Lustre può ora essere utilizzato per carichi di lavoro di machine learning anche più grandi.
I file system di dimensioni ridotte di HAQM FSx for Lustre sono ora disponibili nelle seguenti regioni AWS: Stati Uniti orientali (Virginia settentrionale), Stati Uniti orientali (Ohio), Stati Uniti occidentali (Oregon), Stati Uniti occidentali (California settentrionale), UE (Irlanda), UE (Francoforte), e Asia Pacifico (Tokyo). Per i dettagli sulla disponibilità delle regioni, consulta la tabella delle regioni AWS.
Consulta la documentazione e leggi il post del blog per maggiori informazioni su come utilizzare la funzionalità.