HAQM Robotics utilise HAQM SageMaker et AWS Inferentia pour rendre possible l'inférence ML à grande échelle.

HAQM Robotics utilise ses logiciels et ses machines pour automatiser le flux des stocks dans les centres de traitement HAQM. Le système de l'entreprise se compose de trois éléments physiques principaux : les rayonnages mobiles, les robots et les postes de travail des employés. Les robots livrent des unités de rayonnages mobiles aux stations, et les employés y placent les stocks (rangement) ou les en retirent (prélèvement). « Nos flux de travail existants en matière de rangement et de prélèvement peuvent parfois créer un goulot d'étranglement pour le traitement en aval », explique Eli Gallaudet, senior software manager chez HAQM Robotics. « En 2017, nous avons donné le coup d'envoi d'une initiative visant à déterminer comment simplifier certains de ces flux de travail. »

Afin de réduire le temps passé à scanner les bacs, HAQM Robotics a mis au point le système de détection d'intention, un système de reconnaissance d'image basé sur l'apprentissage profond et entraîné sur des millions d'exemples vidéo d'actions de rangement. L'entreprise souhaitait entraîner le système pour qu'il identifie automatiquement l'endroit où les associés placent les articles en stock. Sachant qu'il aurait besoin de calcul cloud pour déployer les modèles d'apprentissage en profondeur dans les centres de traitement HAQM, HAQM Robotics s'est tourné vers AWS. L'équipe a déployé ses modèles sur les conteneurs Docker, les hébergeant en utilisant HAQM Elastic Container Service (HAQM ECS), un service d'orchestration de conteneurs entièrement géré.

Une fois que l'équipe a recueilli suffisamment d'exemples vidéo d'actions de rangement, elle a expérimenté l'application d'architectures de modèles au grand jeu de données vidéo annotées. Après plusieurs itérations, l'équipe a pu commencer à laisser les modèles déployés automatiser le processus.

Bien qu'HAQM Robotics ait pu puiser dans les vastes ressources de calcul d'AWS, l'entreprise devait encore se charger elle-même de l'hébergement. Lorsqu'AWS a annoncé la sortie d'HAQM SageMaker lors d'AWS re:Invent 2017, HAQM Robotics l'a rapidement adoptée, évitant ainsi de devoir construire sa propre solution d'hébergement coûteuse. HAQM Robotics a été la première entreprise à se déployer à grande échelle sur HAQM SageMaker et reste l'un des déploiements les plus importants en janvier 2021.

Au début, l'équipe utilisait principalement HAQM SageMaker pour héberger les modèles. HAQM Robotics a adapté son utilisation des services en fonction des besoins, en utilisant initialement une architecture hybride et en exécutant certains algorithmes sur site et d'autres dans le cloud. « Nous avons construit un ensemble de fonctionnalités de base qui nous a permis de fournir le système de détection d'intention », explique Tim Stallman, senior software manager chez HAQM Robotics. « Et puis, au fur et à mesure que les fonctionnalités d'HAQM SageMaker sont apparues, nous avons lentement commencé à les adopter. » Par exemple, l'équipe a adopté HAQM SageMaker Experiments, une fonctionnalité qui lui a permis d'organiser, de suivre, de comparer et d'évaluer les expériences ML et les versions de modèles.

HAQM Robotics a également utilisé la scalabilité automatique HAQM SageMaker. « HAQM SageMaker ne se contente pas de gérer les hôtes que nous utilisons pour les inférences », explique M. Gallaudet. « Il ajoute ou supprime aussi automatiquement des hôtes en fonction de la charge de travail. » Parce qu'elle n'a pas besoin de se procurer ou de gérer sa propre flotte de plus de 500 GPU, l'entreprise a économisé près de 50 % sur ses coûts d'inférence.

HAQM Robotics a connu un succès considérable. L'entreprise a utilisé HAQM SageMaker pour réduire le temps consacré à la gestion et pour équilibrer le rapport entre les scientifiques et les ingénieurs en développement logiciel. HAQM SageMaker a également permis au système de prendre de l'expansion horizontalement au cours de son déploiement dans le réseau de traitement d'HAQM, et l'équipe est convaincue qu'HAQM SageMaker peut répondre à ses demandes d'inférence de pointe.

Cette solution est soutenue par HAQM Elastic Compute Cloud (HAQM EC2), qui fournit une capacité de calcul sécurisée et redimensionnable dans le cloud et permet aux utilisateurs de migrer rapidement les types d'hôtes à mesure que de nouveaux types d'hôtes deviennent disponibles. L'équipe HAQM Robotics a pu réduire ses coûts d'inférence de 20 % en migrant des instances HAQM EC2 P2 vers les instances HAQM EC2 G4. En utilisant désormais AWS Inferentia, l'équipe d'HAQM Robotics est en mesure de réduire davantage les coûts d'inférence de 35 % par rapport aux instances G4 (réduction de plus de 50 % par rapport aux instances P2) et Inferentia a fourni un débit 20 % plus élevé, leur permettant de scanner plus de colis par jour sans nécessiter plus de ressources. « Notre système utilisera plus de 1000 hôtes SageMaker en 2022 et AWS Inferentia nous aide à desservir le trafic en croissance rapide à un débit plus élevé sans recycler nos modèles ML », explique Pei Wang, ingénieur logiciel chez HAQM Robotics.

La solution basée sur HAQM SageMaker s'est développée rapidement après son déploiement initial. L'équipe d'HAQM Robotics a commencé à mettre en œuvre la solution à petite échelle dans un centre de traitement du Wisconsin et l'a rapidement étendue à des dizaines d'autres. Au fur et à mesure que la solution se développait, HAQM SageMaker s'y adaptait rapidement et harmonieusement. « Nous prévoyons de presque doubler notre volume en 2022 », déclare Gallaudet.

L'équipe voit de nombreuses autres occasions d'expérimentation sur AWS, notamment l'exécution de ses modèles en périphérie en utilisant HAQM SageMaker Edge Manager, qui gère et surveille efficacement les modèles de ML sur des flottes d'appareils intelligents. HAQM Robotics prévoit également de construire des modèles permettant d'automatiser davantage le suivi des colis et de contribuer à l'évaluation automatique des dommages subis par les colis.

En expérimentant des technologies de pointe, HAQM Robotics continue d'accroître l'efficacité des centres de traitement et d'améliorer l'expérience client d'HAQM. « Bon nombre des techniques que nous avons apprises et des expériences que nous avons vécues avec le système de détection d'intention nous ont directement permis d'avancer rapidement sur ces projets », explique M. Stallman.