Publié le: Mar 13, 2024
Le connecteur HAQM S3 pour PyTorch permet désormais d'enregistrer les points de contrôle du modèle PyTorch Lightning directement dans HAQM S3, améliorant ainsi le coût et les performances de vos tâches de formation en machine learning. PyTorch Lightning est un framework open source qui fournit une interface de haut niveau pour la formation avec PyTorch. Le connecteur HAQM S3 pour PyTorch optimise automatiquement les demandes S3 afin d'améliorer le chargement des données et les performances des points de contrôle pour vos charges de travail de formation. L'enregistrement des points de contrôle du modèle PyTorch Lightning est jusqu'à 40 % plus rapide avec le connecteur HAQM S3 pour PyTorch que l'écriture dans le stockage d'instance HAQM EC2.
Le connecteur HAQM S3 pour PyTorch propose une nouvelle implémentation de la primitive de points de contrôle de PyTorch Lightning, que vous pouvez utiliser pour enregistrer les points de contrôle du modèle de machine learning directement sur HAQM S3. Les points de contrôle du modèle nécessitent généralement de suspendre les tâches de formation, de sorte que le temps nécessaire pour enregistrer un point de contrôle a un impact sur les temps de formation globaux. Grâce à cette intégration, vous pouvez enregistrer, charger et supprimer des points de contrôle directement depuis les tâches de formation de PyTorch Lightning vers HAQM S3.
Le connecteur HAQM S3 pour PyTorch est un projet open source. Pour commencer, consultez la page Github.