Publicado: Nov 22, 2023
O conector do HAQM S3 para PyTorch oferece alto throughput para trabalhos de treinamento do PyTorch que acessam e armazenam dados no HAQM S3. O PyTorch é uma estrutura de machine learning de código aberto amplamente usada pelos clientes da AWS para criar e treinar modelos de machine learning. O conector do HAQM S3 para PyTorch otimiza automaticamente as solicitações de leitura e listagem do S3 para melhorar o carregamento de dados e a performance de pontos de verificação de workloads de treinamento. Salvar pontos de verificação do modelo de treinamento de machine learning é até 40% mais rápido com o conector do HAQM S3 para PyTorch do que salvar no armazenamento de instâncias do HAQM EC2.
O conector do HAQM S3 para PyTorch oferece uma nova implementação da primitiva de conjunto de dados do PyTorch que você pode usar para carregar dados de treinamento do HAQM S3. Ele tem suporte para conjuntos de dados em estilo de mapa para padrões aleatórios de acesso a dados e para conjuntos de dados de estilo iterável para padrões sequenciais de acesso a dados. O conector do HAQM S3 para PyTorch também inclui uma interface de ponto de verificação para salvar e carregar pontos de verificação diretamente no HAQM S3, sem necessidade de salvá-los no armazenamento local e escrever código personalizado para carregá-los no HAQM S3.
O conector do HAQM S3 para PyTorch é um projeto de código aberto. Para começar a usar, acesse a página do GitHub.