Publicado: Aug 27, 2019
Agora, o HAQM SageMaker oferece suporte aos sistemas de arquivos do HAQM Elastic File System (HAQM EFS) e do HAQM FSx for Lustre como fontes de dados para treinamento de modelos de machine learning no SageMaker. O HAQM FSx for Lustre é um sistema de arquivos de alta performance, otimizado para cargas de trabalho como machine learning, análises e computação de alta performance. O HAQM EFS oferece um sistema de arquivos simples, escalável e elástico para cargas de trabalho baseadas em Linux para uso com serviços de nuvem AWS e recursos no local. O suporte a esses sistemas de arquivos acelera e simplifica o uso do HAQM SageMaker para treinar modelos com conjuntos de dados. A fonte de dados do sistema de arquivos reduz o tempo de inicialização, eliminando a etapa de download de dados no processo de treinamento e aproveitando os diversos benefícios de performance e throughput do sistema de arquivos para acelerar a execução da tarefa de treinamento.
Até hoje, o HAQM SageMaker fazia download de forma transparente de um conjunto completo de treinamento do HAQM S3 para o armazenamento de arquivos local no início de uma tarefa de treinamento no modo de entrada por arquivo. Agora, com o HAQM FSx for Lustre, os clientes podem acelerar as tarefas de treinamento do modo de arquivo, evitando o tempo do download inicial do HAQM S3. Quando o sistema de arquivos do HAQM FSx for Lustre é vinculado a buckets do HAQM S3, copia automaticamente objetos do HAQM S3 ao sistema de arquivos quando os objetos são acessados pela primeira vez. O mesmo sistema de arquivos do FSx pode ser usado em várias tarefas do SageMaker, evitando o download repetido de objetos comuns.
Além disso, até hoje, os clientes somente podiam usar o HAQM SageMaker com conjuntos de treinamento armazenados no HAQM S3. Agora, os clientes também podem usar conjuntos de treinamento armazenados no HAQM EFS. O HAQM SageMaker interage diretamente com o HAQM EFS, eliminando a necessidade de copiar conjuntos de dados do HAQM EFS para o HAQM S3 para serem usados pelo HAQM SageMaker.
A maioria dos algoritmos de machine learning incorporados do HAQM SageMaker oferece suporte ao EFS e ao FSx for Lustre como fonte de dados de entrada. Esse recurso está disponível em todas as regiões em que os respectivos sistemas de arquivos são oferecidos. Para obter detalhes sobre a disponibilidade nas regiões, consulte a tabela de regiões da AWS.
Consulte a documentação para obter mais informações e leia a publicação de blog sobre como usar o recurso.