HAQM Robotics usa HAQM SageMaker e AWS Inferentia para habilitar inferências de ML em escala

A HAQM Robotics usa software e máquinas para automatizar o fluxo de inventários nos centros de distribuição da HAQM. O sistema da empresa tem três componentes físicos importantes: unidades móveis de armazenamento, robôs e estações de trabalho para funcionários. Os robôs colocam estantes móveis nas estações, e os funcionários abastecem o estoque (armazenamento) ou coletam itens (retirada). “Às vezes, nossos fluxos de trabalho existentes de armazenamento e retirada acabam criando obstáculos no processamento de tarefas posteriores. Em 2017, lançamos uma iniciativa para descobrir como simplificar esses fluxos de trabalho”, contou Eli Gallaudet, gerente sênior de softwares da HAQM Robotics.

Com o objetivo de reduzir a verificação demorada de recipientes, a HAQM Robotics criou o Intent Detection System, um sistema de visão computacional baseado em aprendizado profundo treinado com milhões de exemplos de vídeos com ações de armazenamento. A empresa queria treinar o sistema para que ele identificasse automaticamente o local onde os associados colocam itens do estoque. Como a HAQM Robotics sabia que precisaria de computação em nuvem para implantar os modelos de aprendizado profundo nos centros de distribuição da HAQM, ela recorreu à AWS. A equipe implantou os modelos em contêineres do Docker, hospedando-os com o HAQM Elastic Container Service (HAQM ECS), um serviço de orquestração de contêineres totalmente gerenciado.

Quando a equipe coletou um número suficiente de vídeos com exemplos de ações de organização, ela tentou aplicar as arquiteturas de modelo no conjunto maior de dados de vídeos comentados. Após várias iterações, a equipe pôde deixar os modelos implantados automatizarem o processo.

Embora a HAQM Robotics pudesse usar os amplos recursos de computação da AWS, a empresa ainda precisava lidar com a hospedagem. Quando a AWS anunciou o lançamento do HAQM SageMaker no AWS re:Invent 2017, a HAQM Robotics logo o adotou, evitando a necessidade de criar uma solução custosa de hospedagem por conta própria. A HAQM Robotics foi a primeira empresa a implantar o HAQM SageMaker em grande escala e continua tendo uma das maiores implantações desde janeiro de 2021.

No início, a equipe usava o HAQM SageMaker principalmente para hospedar modelos. A HAQM Robotics adaptou o uso do serviço conforme necessário, inicialmente usando uma arquitetura híbrida e executando alguns algoritmos on-premises e outros na nuvem. “Criamos um conjunto principal de funcionalidades que nos permitiu desenvolver o Intent Detection System. Depois, com a disponibilidade dos recursos do HAQM SageMaker, começamos a adotá-los aos poucos”, contou Tim Stallman, gerente sênior de softwares da HAQM Robotics. A equipe adotou, por exemplo, o HAQM SageMaker Experiments — um recurso que permitiu que a equipe organizasse, monitorasse, comparasse e avaliasse experimentos e versões de modelos de ML.

A HAQM Robotics também usou a escalabilidade automática do HAQM SageMaker. “O HAQM SageMaker faz muito mais do que gerenciar os hosts que usamos para as inferências. Ele também adiciona ou remove automaticamente hosts conforme necessário para processar a workload”, comentou Gallaudet. Como a empresa não precisa adquirir nem gerenciar sua própria frota de mais de 500 GPUs, ela reduziu em quase 50% os custos de inferência.

Desde então, a HAQM Robotics realizou grandes avanços. A empresa usou o HAQM SageMaker para reduzir o tempo gasto na gestão e equilibrar a proporção de cientistas e engenheiros de desenvolvimento de software. O HAQM SageMaker também permitiu a redução e o aumento da escala do sistema na horizontal durante o lançamento na rede de distribuição da HAQM e a equipe tem certeza de que o HAQM SageMaker poderá lidar com os picos de demanda de inferência.

Essa solução conta com o suporte do HAQM Elastic Compute Cloud (HAQM EC2), que oferece capacidade computacional segura e redimensionável na nuvem e permite que usuários migrem tipos de host rapidamente com a disponibilização de novos tipos. A equipe do HAQM Robotics conseguiu reduzir seus custos de inferência em 20% migrando de Instâncias P2 do HAQM EC2 para Instâncias G4 do HAQM EC2. Agora utilizando o AWS Inferentia, a equipe da HAQM Robotics é capaz de reduzir ainda mais os custos de inferência em 35% em relação a instâncias G4 (mais de 50% de redução em relação a instâncias P2) e o Inferentia forneceu um aumento de 20% no throughput, permitindo que mais pacotes fossem escaneados diariamente, sem exigir mais recursos. “Nosso sistema usará mais de 1000 hosts SageMaker em 2022, e o AWS Inferentia nos ajuda a atender o tráfego cada vez maior, com um throughput superior, sem retreinar nossos modelos de ML", informa Pei Wang, engenheiro de software da HAQM Robotics.

A solução com o suporte do HAQM SageMaker cresceu rapidamente após a implantação inicial. A equipe da HAQM Robotics começou a implementar a solução em pequena escala em um centro de distribuição em Winsconsin e ampliou o plano rapidamente para dezenas de unidades. Com o crescimento da solução, o HAQM SageMaker se adaptou rápida e perfeitamente. “Esperamos quase dobrar nosso volume em 2022”, afirma Gallaudet.

A equipe vê diversas outras oportunidades de experimentos na AWS, como a execução de seus modelos na borda por meio do HAQM SageMaker Edge Manager, que gerencia e monitora modelos de ML com eficiência em frotas de dispositivos inteligentes. A HAQM Robotics também pretende criar modelos que possam automatizar ainda mais o monitoramento de pacotes e ajudar a automatizar a avaliação de danos em pacotes.

Graças aos testes com tecnologias de ponta, a HAQM Robotics continua aumentando a eficiência nos centros de distribuição e melhorando a experiência do cliente da HAQM. “Muitas das técnicas que aprendemos e experiências que tivemos com o Intent Detection System contribuíram diretamente para a rápida tomada de decisões nesses projetos”, contou Stallman.