HAQM Robotics nutzt HAQM SageMaker und AWS Inferentia, um ML-Inferenzierung in großem Maßstab zu ermöglichen

Die Software und Maschinen von HAQM Robotics werden zur Automatisierung der Inventarisierung in den Logistikzentren von HAQM eingesetzt. Das System des Unternehmens besteht aus drei physischen Hauptkomponenten: mobilen Regaleinheiten, Robotern und Mitarbeiterarbeitsplätzen. Die Roboter bringen die mobilen Regaleinheiten zu den Stationen, wo Mitarbeiter Inventar hineinlegen (verstauen) oder herausnehmen (entnehmen). „Unsere bestehenden Workflows für das Verstauen und Entnehmen führen manchmal zu einem Engpass für die nachgelagerte Verarbeitung“, erklärt Eli Gallaudet, Senior Software Manager bei HAQM Robotics. „2017 haben wir eine Initiative gestartet, um herauszufinden, wie wir einige dieser Workflows vereinfachen können.“

HAQM Robotics hat das Intent Detection System entwickelt, um das zeitaufwändige Scannen von Behältern zu reduzieren. Das Intent Detection System ist ein auf Deep Learning basierendes Computer-Vision-System, das mit Millionen von Videobeispielen von Verstauungsaktionen trainiert wurde. Das Unternehmen wollte das System so trainieren, dass es automatisch erkennt, wo die Mitarbeiter ihre Waren ablegen. HAQM Robotics wusste, dass für die Bereitstellung der Deep-Learning-Modelle in den Logistikzentren von HAQM Cloud-Computing erforderlich sein würde, und wandte sich deshalb an AWS. Das Team stellte seine Modelle auf Docker-Containern bereit und hostete sie auf HAQM Elastic Container Service (HAQM ECS), einem vollständig verwalteten Container-Orchestrierungsservice.

Sobald das Team genügend Videobeispiele von Verstauungsaktionen gesammelt hatte, experimentierte es mit der Anwendung von Modellarchitekturen auf den großen kommentierten Videodatensatz. Nach mehreren Durchläufen konnte das Team damit beginnen, den Prozess von den bereitgestellten Modellen automatisieren zu lassen.

Obwohl HAQM Robotics auf reichlich Computing-Ressourcen bei AWS zurückgreifen konnte, musste das Unternehmen das Hosting selbst übernehmen. Als AWS bei der AWS re:Invent 2017 die Veröffentlichung von HAQM SageMaker verkündete, implementierte HAQM Robotics den Service umgehend. So musste das Unternehmen keine eigene teure Hosting-Lösung entwickeln. HAQM Robotics war das erste Unternehmen, das HAQM SageMaker in großem Umfang nutzte, und ist nach wie vor eine der größten Bereitstellungen (Stand Januar 2021).

Zu Beginn verwendete das Team HAQM SageMaker vor allem zum Hosten der Modelle. HAQM Robotics passte die Nutzung des Services je nach Bedarf an und verwendete zunächst eine hybride Architektur, bei der einige Algorithmen On-Premises und einige in der Cloud ausgeführt wurden. „Wir haben eine Reihe von Kernfunktionen entwickelt, die es uns ermöglichten, das Intent Detection System bereitzustellen“, sagt Tim Stallman, Senior Software Manager bei HAQM Robotics. „Und als die Funktionen von HAQM SageMaker online gingen, haben wir sie nach und nach implementiert.“ Das Team verwendete beispielsweise HAQM SageMaker Experiments – eine Funktion, mit der das Team ML-Experimente und Modellversionen organisieren, verfolgen, vergleichen und bewerten konnte.

HAQM Robotics nutzte außerdem die automatische Skalierung von HAQM SageMaker. „HAQM SageMaker verwaltet nicht nur die Hosts, die wir für Inferenzen verwenden“, erklärt Gallaudet. „Der Service fügt automatisch Hosts hinzu oder entfernt sie je nach Workload.“ Da das Unternehmen keine eigene Flotte von über 500 GPUs anschaffen und verwalten musste, konnte es fast 50 % seiner Inferenzkosten einsparen.

HAQM Robotics erzielte beträchtliche Erfolge. Das Unternehmen setzte HAQM SageMaker ein, um den Verwaltungsaufwand zu reduzieren und das Verhältnis von Wissenschaftlern und Softwareentwicklern auszugleichen. HAQM SageMaker ermöglichte auch die horizontale Skalierung des Systems während der Einführung im gesamten Netzwerk der Logistikzentren von HAQM – und das Team ist überzeugt, dass HAQM SageMaker die Spitzenanforderungen an Inferenzen erfüllen kann.

Die Lösung stützt sich auf HAQM Elastic Compute Cloud (HAQM EC2). Der Service bietet sichere, anpassbare Rechenkapazität in der Cloud und ermöglicht Benutzern, neue Host-Typen schnell zu migrieren, sobald sie verfügbar sind. Das HAQM-Robotics-Team konnte seine Inferenzkosten um 20 % senken, indem es von HAQM-EC2-P2-Instances auf HAQM EC2-G4-Instances migrierte. Das HAQM-Robotics-Team benutzt jetzt AWS Inferentia. Das Team kann jetzt die Inferenzkosten über G4-Instances um weitere 35 % senken (über 50 % Senkung von P2-Instances) und Inferentia hat einen 20 % höheren Durchsatz erzielt, und dadurch konnten mehr Pakete pro Tag gescannt werden, ohne mehr Ressourcen zu benötigen. „Unser System nutzt mehr als 1000 SageMaker-Hosts in 2022 und AWS Inferentia hilft uns dabei, dem schnell zunehmenden Verkehr bei höherem Durchsatz zu dienen, ohne unsere ML-Modelle erneut trainieren zu müssen.“ sagt Pei Wang, ein Software-Ingenieur bei HAQM Robotics.

Die Lösung mit HAQM SageMaker wuchs nach der ersten Bereitstellung rasant an. Das HAQM-Robotics-Team begann mit der Implementierung in kleinem Umfang in einem Logistikzentrum in Wisconsin und weitete die Lösung auf weitere Dutzend aus. Als die Lösung in immer größerem Umfang eingesetzt wurde, skalierte HAQM SageMaker schnell und nahtlos mit ihr. „Wir gehen davon aus, dass wir unser Volumen 2022 fast verdoppeln werden“, sagt Gallaudet.

Das Team sieht viele weitere Möglichkeiten, in AWS zu experimentieren, einschließlich der Ausführung von Modellen am Edge mit HAQM SageMaker Edge Manager. Damit lassen sich ML-Modelle effizient über eine Flotte von Smart-Geräten verwalten und überwachen. HAQM Robotics plant außerdem, Modelle zu entwickeln, die die Paketverfolgung weiter automatisieren und bei der automatischen Bewertung von Paketschäden helfen können.

Durch das Experimentieren mit hochmodernen Technologien steigert HAQM Robotics weiterhin die Effizienz in den Logistikzentren und verbessert das Kundenerlebnis bei HAQM. „Viele der Techniken, die wir durch unsere Arbeit mit dem Intent Detection System gelernt haben, haben die schnelle Umsetzung dieser Projekte ermöglicht“, erklärt Stallman.