Veröffentlicht am: Nov 22, 2023
Der HAQM-S3-Connector für PyTorch bietet einen hohen Durchsatz für PyTorch-Trainingsaufträge, die auf Daten in HAQM S3 zugreifen und diese speichern. PyTorch ist ein Open-Source-Framework für Machine Learning, das von AWS-Kunden häufig zum Erstellen und Trainieren von Machine-Learning-Modellen verwendet wird. Der HAQM-S3-Connector für PyTorch optimiert automatisch S3-Lese- und Listenanfragen, um das Laden von Daten und die Checkpoint-Leistung für Ihre Trainingsworkloads zu verbessern. Das Speichern von Checkpoints für Machine-Learning-Trainingsmodelle ist mit dem HAQM-S3-Connector für PyTorch bis zu 40 % schneller als das Speichern im HAQM-EC2-Instance-Speicher.
Der HAQM S3-Connector für PyTorch bietet eine neue Implementierung des Datensatz-Primitivs von PyTorch, mit der Sie Trainingsdaten aus HAQM S3 laden können. Er unterstützt sowohl Datensätze im Kartenstil für zufällige Datenzugriffsmuster als auch Datensätze im iterierbaren Stil für sequenzielle Datenzugriffsmuster. Der HAQM-S3-Connector für PyTorch enthält auch eine Checkpoint-Schnittstelle zum Speichern und Laden von Checkpoints direkt in HAQM S3 ohne vorheriges Speichern im lokalen Speicher und ohne dass benutzerdefinierter Code für den Upload in HAQM S3 geschrieben werden muss.
HAQM-S3-Connector für PyTorch ist ein Open-Source-Projekt. Informationen zu den ersten Schritten finden Sie auf der Github-Seite.