Veröffentlicht am: Jul 17, 2018
HAQM SageMaker unterstützt nun den Pipe Input Mode für die integrierten TensorFlow-Container. Der Pipe Input Mode ermöglicht den direkten Datenstrom des HAQM Simple Storage Service (HAQM S3) zum TensorFlow-Container in der Trainings-Instance mithilfe des TensorFlow-Datasetkonstrukts.
Diese Funktion bietet schnellere Startzeiten für Schulungsaufgaben, besseren Durchsatz und geringeren Speicherplatzverbrauch und senkt so die Kosten für Modellschulungen bei HAQM SageMaker. Zum Beispiel haben wir in unseren internen Benchmarks, die Anfang des Jahres mit dem Pipe Input Mode für die integrierten Algorithmen von HAQM Sagemaker eingeführt wurden, die Startzeiten bei 78 GB Schulungsdatensatz um bis zu 87 % reduziert, wobei der Durchsatz in einigen Benchmarks doppelt so schnell war – bis zu 35 % Reduktion der gesamten Trainingszeit.
Vor dem Pipe Input Mode wurden alle Ihre Daten von HAQM S3 in die HAQM Elastic Block Store-Volumes (HAQM EBS) geladen, die an Ihre Schulungs-Instances über den File Input Mode angehängt wurden. Dies erforderte Speicherplatz zum Speichern Ihrer endgültigen Modellartefakte und Ihres vollständigen Schulungsdatensatzes. Der File Input Mode kann weiterhin für Schulungsaufgaben nützlich sein, die mehrere Zeitspannen mit Datensätzen ausführen, die vollständig in den Speicher passen. Beide Eingabemodi decken ein Spektrum von Anwendungsfällen ab, von kleinen experimentellen bis hin zu verteilten Schulungsaufgaben im Petabyte-Bereich.
Pipe Input Mode for TensorFlow-Containers in HAQM SageMaker ist jetzt in den AWS-Regionen USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Oregon), Europa (Irland), Europa (Frankfurt), Asien-Pazifik (Tokio), Asien-Pazifik (Seoul) und Asien-Pazifik (Sydney) verfügbar. Besuchen Sie die HAQM SageMaker-Dokumentation für mehr Details.