Inserito il: Jul 17, 2018
HAQM SageMaker supporta ora la modalità di input di Pipe per i contenitori incorporati TensorFlow. La modalità di input di Pipe consente lo streaming dei dati direttamente da HAQM Simple Storage Service (HAQM S3) al contenitore TensorFlow sull'istanza di training, servendosi del costrutto del dataset TensorFlow.
Questa funzionalità offre tempi di avvio più rapidi per i processi di training, un migliore throughput e un uso dello spazio su disco inferiore, riducendo così ulteriormente i costi di training modello su HAQM SageMaker. Ad esempio, nei nostri benchmark interni condotti in precedenza nel corso dell'anno, abbiamo lanciato la modalità di input di Pipe per gli algoritmi incorporati di HAQM SageMaker, tempi di avvio ridotti anche dell'87% su 78 GB di dataset di training, con un throughput due volte più veloce in alcuni benchmark, per una conseguente riduzione anche del 35% sul tempo di training totale.
Prima della modalità di input di Pipe, i dati venivano caricati da HAQM S3 ai volumi di HAQM Elastic Block Store (EBS) allegati alle istanze di training utilizzando la modalità di input di File, che richiedeva spazio su disco per archiviare modelli finali e dataset di training completi. La modalità di input di File può comunque essere utile per i processi di training che eseguono più epoche (Unix epoch) con dataset che si adattano completamente alla memoria. Le due modalità di input coprono uno spettro di casi d'uso, dai piccoli processi sperimentali di training ai processi di training distribuiti in termini di petabyte.
La modalità di input di Pipe per i contenitori TensorFlow in HAQM SageMaker è ora disponibile nelle regioni AWS di Stati Uniti orientali (Virginia settentrionale), Stati Uniti orientali (Ohio), Stati Uniti occidentali (Oregon), Europa (Irlanda), Europa (Francoforte), Asia Pacifico (Tokyo), Asia Pacifico (Seul) e Asia Pacifico (Sydney). Per ulteriori informazioni, consulta la documentazione HAQM SageMaker.