Publié le: Sep 3, 2019
Les clients HAQM SageMaker peuvent désormais utiliser des systèmes de fichiers HAQM FSx for Lustre plus petits comme sources de données pour les modèles de machine learning de formation. Jusqu'ici, la taille du système de fichiers FSx for Lustre le plus petit qui pouvait être créé était de 3,6 To. Pour les jeux de formations dont la taille est inférieure, les clients peuvent désormais créer et utiliser des systèmes de fichiers de seulement 1,2 To.
HAQM FSx for Lustre est un système de fichiers hautes performances compatible avec les données HAQM S3 et optimisé pour les charges de travail de machine learning, d'analyse et de calcul hautes performances.
Avec FSx for Lustre, les clients accélèrent leurs tâches de formation HAQM SageMaker. Jusqu'à l'annonce de la prise en charge d'HAQM FSx for Lustre le 27 août 2019, HAQM SageMaker téléchargeait de manière transparente un jeu complet de formations d'HAQM S3 vers le stockage de fichiers local à l'entame de la tâche de formation, avec le mode d'entrée File. Désormais, avec HAQM FSx for Lustre, les clients peuvent accélérer leurs tâches de formation en mode File en s'épargnant le temps de téléchargement initial dans HAQM S3. Lorsqu'ils sont associés à HAQM S3, les systèmes de fichiers HAQM FSx for Lustre copient automatiquement les objets d'HAQM S3 vers le système de fichiers lors du tout premier accès aux objets. Le même système de fichiers HAQM FSx for Lustre peut être utilisé pour des tâches de formation HAQM SageMaker itératives exécutées sur les mêmes ensembles de données, évitant ainsi le téléchargement répété d'objets courants. Avec la prise en charge de systèmes de fichiers plus petits, HAQM FSx for Lustre peut désormais être utilisé pour encore plus de charges de travail de machine learning.
Les systèmes de fichiers HAQM FSx for Lustre plus petits sont désormais disponibles dans les régions AWS suivantes : USA Est (Virginie du Nord), USA Est (Ohio), USA Ouest (Oregon), USA Ouest (Californie du Nord), UE (Irlande), UE (Francfort) et Asie-Pacifique (Tokyo). Pour en savoir plus sur la disponibilité régionale, consultez le tableau des régions AWS.
Consultez la documentation pour en savoir plus. Lisez l'article du blog pour plus d'informations sur l'utilisation de la fonction.