HAQM Robotics utilizza HAQM SageMaker e AWS Inferentia per abilitare le inferenze di ML su vasta scala

HAQM Robotics utilizza il proprio software e i propri macchinari per automatizzare il flusso dell'inventario nei centri logistici di HAQM. Esistono tre componenti fisici principali nel sistema dell'azienda: unità mobili di scaffalatura, robot e workstation dei dipendenti. I robot portano le unità di scaffalatura alle stazioni e i dipendenti eseguono l'inserimento nell'inventario (stoccaggio) o l'estrazione dall'inventario (prelievo). "I nostri flussi di lavoro di stoccaggio e prelievo esistenti a volte possono creare colli di bottiglia per la nostra elaborazione a valle", ha affermato Eli Gallaudet, responsabile software senior di HAQM Robotics. "Nel 2017 abbiamo avviato un'iniziativa per comprendere come semplificare tali flussi di lavoro".

Nel tentativo di ridurre il numero eccessivo di scansioni che richiedono molto tempo, HAQM Robotics ha creato l'Intent Detection System, un sistema di visione artificiale basato sull'apprendimento approfondito addestrato con milioni di esempi video delle azioni di stoccaggio. L'azienda ha voluto addestrare il sistema in modo da identificare automaticamente il punto in cui i dipendenti collocano gli elementi dell'inventario. Sapendo che questo richiederebbe l'elaborazione nel cloud per implementare modelli di apprendimento approfondito per i centri logistici di HAQM, HAQM Robotics si è rivolta ad AWS. Il team ha implementato i propri modelli in container Docker, ospitandoli con HAQM Elastic Container Service (HAQM ECS), un servizio di orchestrazione dei container completamente gestito.

Dopo che il team ha raccolto un numero sufficiente di esempi video delle azioni di stoccaggio, ha sperimentato con l'applicazione di architetture dei modelli al set di dati video annotati di grandi dimensioni. Dopo molte iterazioni, il team ha potuto iniziare a consentire ai modelli implementati di automatizzare il processo.

Nonostante HAQM Robotics potesse attingere a vaste risorse di calcolo in AWS, l'azienda doveva gestire ancora l'hosting autonomamente. Quando AWS ha annunciato il rilascio di HAQM SageMaker all'evento AWS re:Invent 2017, HAQM Robotics l'ha adottato rapidamente, evitando la necessità di creare da sé una soluzione di hosting costosa. HAQM Robotics è stata la prima azienda a implementare in HAQM SageMaker su vasta scala e rimane una delle più grandi implementazioni al gennaio 2021.

All'inizio, il team ha utilizzato principalmente HAQM SageMaker per l'hosting dei modelli. HAQM Robotics ha adattato il suo utilizzo del servizio in base alle necessità, utilizzando inizialmente un'architettura ibrida ed eseguendo alcuni algoritmi on-premise e alcuni nel cloud. "Abbiamo creato un set principale di funzionalità che ci hanno consentito di fornire l'Intent Detection System", afferma Tim Stallman, senior software manager (responsabile software senior) di HAQM Robotics. "Successivamente, quando le funzionalità di HAQM SageMaker sono arrivate online, abbiamo iniziato lentamente ad adottarle". Ad esempio, il team ha adottato HAQM SageMaker Experiments, una funzionalità che gli ha consentito di organizzare, tracciare, confrontare e valutare gli esperimenti di ML e le versioni dei modelli.

HAQM Robotics ha utilizzato anche la scalabilità automatica di HAQM SageMaker. "HAQM SageMaker non si limita a gestire gli host che utilizziamo per le inferenze", ha spiegato Gallaudet. "Aggiunge o rimuove automaticamente gli host in base alle esigenze per supportare il carico di lavoro". Poiché non ha la necessità di acquistare o gestire il suo parco istanze di oltre 500 GPU, l'azienda ha risparmiato circa il 50% dei costi delle inferenze.

HAQM Robotics ha avuto un successo notevole. L'azienda ha utilizzato HAQM SageMaker per ridurre il tempo trascorso sulla gestione e per bilanciare il rapporto degli scienziati rispetto ai tecnici di sviluppo del software. HAQM SageMaker ha consentito inoltre al sistema di eseguire il ridimensionamento orizzontale durante la sua implementazione nella rete dei centri logistici di HAQM e il team è certo che HAQM SageMaker possa gestire le esigenze dei suoi picchi di inferenza.

Questa soluzione è supportata da HAQM Elastic Compute Cloud (HAQM EC2), che offre una capacità di calcolo sicura e dimensionabile nel cloud e consente agli utenti di eseguire rapidamente la migrazione dei tipi di host non appena diventano disponibili nuovi tipi di host. Il team di HAQM Robotics è stato in grado di ridurre i costi di inferenza del 20% eseguendo la migrazione dalle istanze P2 di HAQM EC2 alle istanze G4 di HAQM EC2. Ora che utilizza AWS Inferentia, il team di HAQM Robotics è in grado di ridurre ulteriormente i costi di inferenza del 35% rispetto alle istanze G4 (oltre il 50% di riduzione rispetto alle istanze P2) e Inferentia ha fornito una velocità di trasmissione effettiva superiore del 20%, consentendo di scansionare più pacchetti al giorno senza richiedere più risorse. "Il nostro sistema utilizza più di 1000 host SageMaker nel 2022 e AWS Inferentia ci consente di servire il traffico in rapida crescita con una velocità di trasmissione effettiva superiore senza dover riaddestrare i nostri modelli di ML", afferma Pei Wang, software engineer di HAQM Robotics.

La soluzione supportata da HAQM SageMaker è cresciuta rapidamente dopo la prima implementazione iniziale. Il team di HAQM Robotics ha iniziato a implementare la soluzione su scala ridotta in un centro logistico in Wisconsin e l'ha estesa rapidamente ad altre decine. Mentre la soluzione cresceva, HAQM SageMaker eseguiva rapidamente e facilmente il dimensionamento. "Prevediamo di raddoppiare il nostro volume nel 2022", ha dichiarato Gallaudet.

Il team vede molte altre opportunità per sperimentare in AWS, inclusa l'esecuzione dei suoi modelli sull'edge utilizzando Gestore di bordo HAQM SageMaker, che esegue in modo efficiente la gestione e il monitoraggio di modelli di ML tra parchi istanze di dispositivi smart. HAQM Robotics prevede inoltre di creare modelli che possano automatizzare ulteriormente il tracciamento e consentire di automatizzare la valutazione dei danni ai pacchi.

Sperimentando con tecnologie all'avanguardia, HAQM Robotics continua ad aumentare l'efficienza nei centri logistici e a migliorare l'esperienza cliente di HAQM. "Molte delle tecniche che abbiamo appreso e delle esperienze che abbiamo avuto con l'Intent Detection System ci hanno consentito direttamente di passare rapidamente a questi progetti", ha affermato Stallman.