Publié le: Aug 27, 2019
HAQM SageMaker prend désormais en charge les systèmes de fichiers HAQM Elastic File System (HAQM EFS) et HAQM FSx for Lustre comme sources de données pour la formation de modèles de machine learning sur SageMaker. HAQM FSx for Lustre est un système de fichiers haute performance optimisé pour les charges de travail de machine learning, d’analyse, de calcul haute performance, etc. HAQM EFS fournit un système de fichiers simple, scalable et Elastic pour les charges de travail basées sur Linux à utiliser avec les services du Cloud AWS et les ressources sur site. La prise en charge de ces systèmes de fichiers permet d’accélérer et de simplifier l’utilisation d’HAQM SageMaker pour la formation de modèles à l’aide d’ensembles de données. L’utilisation de systèmes de fichiers comme sources de données réduit les délais de démarrage à travers l’élimination de l’étape de téléchargement des données du processus de formation. Par ailleurs, les divers avantages en termes de performances et de débit du système de fichiers aident à accélérer l’exécution des tâches de formation.
Jusqu’ici, avec le mode d’entrée File, HAQM SageMaker téléchargeait de manière transparente un jeu complet de formations d’HAQM S3 vers le stockage de fichiers local à l’entame de la tâche de formation. Désormais, avec HAQM FSx for Lustre, les clients peuvent accélérer leurs tâches de formation en mode File en s’épargnant le temps de téléchargement initial dans HAQM S3. En cas d’association du système de fichiers HAQM FSx for Lustre aux compartiments HAQM S3, il copie automatiquement les objets d’HAQM S3 vers le système de fichiers lors du tout premier accès aux objets. Vous pouvez également utiliser le même système de fichiers FSx pour plusieurs tâches SageMaker, ce qui vous évite le téléchargement répété d’objets communs.
Jusqu’à ce jour, les clients ne pouvaient utiliser HAQM SageMaker qu’avec des jeux de formations stockés sur HAQM 3S3. Désormais, ils peuvent également utiliser les jeux de formations stockés sur HAQM EFS. HAQM SageMaker interagit directement avec HAQM EFS, ce qui élimine la nécessité de copier les jeux de données d’HAQM EFS vers HAQM S3 en vue de leur utilisation dans HAQM SageMaker.
La plupart des algorithmes de machine learning intégrés à HAQM SageMaker prennent en charge EFS et FSx for Lustre comme sources de données d’entrée. Cette fonction est disponible dans toutes les régions où les systèmes de fichiers respectifs sont disponibles. Pour en savoir plus sur la disponibilité régionale, veuillez consulter le tableau des régions AWS.
Consultez la documentation pour en savoir plus. Lisez l’article du blog pour plus d’informations sur l’utilisation de la fonction.