Publié le: Nov 22, 2023
Le connecteur HAQM S3 pour PyTorch fournit un débit élevé pour les tâches de formation PyTorch qui accèdent aux données et les stockent dans HAQM S3. PyTorch est un framework de machine learning open source largement utilisé par les clients AWS pour créer et entraîner des modèles de machine learning. Le connecteur HAQM S3 pour PyTorch optimise automatiquement les demandes de lecture et de liste S3 afin d'améliorer le chargement des données et les performances des points de contrôle pour vos charges de travail de formation. L'enregistrement des points de contrôle du modèle de formation par machine learning est jusqu'à 40 % plus rapide avec le connecteur HAQM S3 pour PyTorch que l'enregistrement dans le stockage d'instance HAQM EC2.
Le connecteur HAQM S3 pour PyTorch fournit une nouvelle implémentation de la primitive de jeux de données de PyTorch que vous pouvez utiliser pour charger des données d'entraînement depuis HAQM S3. Il prend en charge à la fois les ensembles de données de type carte pour les modèles d'accès aux données aléatoires et les jeux de données de style itérable pour les modèles d'accès aux données séquentiels. Le connecteur HAQM S3 pour PyTorch inclut également une interface de pointage permettant d'enregistrer et de charger les points de contrôle directement dans HAQM S3, sans avoir à les enregistrer au préalable sur le stockage local et à écrire du code personnalisé à télécharger sur HAQM S3.
HAQM S3 Connector pour PyTorch est un projet open source. Pour commencer, consultez la page Github.