AWS Inferentia

Chaque puce Inferentia de première génération possède quatre NeuronCores de première génération, et chaque instance EC2 Inf1 possède jusqu’à 16 puces Inferentia. Chaque puce Inferentia2 possède deux NeuronCores de deuxième génération, et chaque instance EC2 Inf2 possède jusqu’à 12 puces Inferentia2. Chaque puce Inferentia2 prend en charge jusqu’à 190 téra opérations flottantes par seconde (TFLOPS) de performance FP16. L’Inferentia de première génération possède 8 Go de mémoire DDR4 par puce et dispose également d’une grande quantité de mémoire sur puce. Inferentia2 offre 32 Go de HBM par puce, ce qui augmente la mémoire totale de 4 fois et la bande passante mémoire de 10 fois par rapport à Inferentia.

AWS Neuron SDK s'intègre nativement aux frameworks ML les plus utilisés, tels que PyTorch et TensorFlow. Avec AWS Neuron, vous pouvez utiliser ces frameworks pour déployer de manière optimale des modèles de DL sur les deux puces AWS Inferentia et Neuron est conçu pour minimiser les changements de code et les liens avec les solutions spécifiques aux fournisseurs. Neuron vous aide à exécuter vos applications d’inférence pour la compréhension/le traitement du langage naturel (NLP), la traduction des langues, la génération de vidéos et d’images, la reconnaissance vocale, la personnalisation, la détection des fraudes, etc. sur les puces Inferentia.

Inferentia de première génération prend en charge les types de données FP16, BF16 et INT8. Inferentia2 ajoute un support supplémentaire pour FP32, TF32, et le nouveau type de données configurable FP8 (cFP8) pour fournir aux développeurs plus de flexibilité afin d'optimiser la performance et la précision. AWS Neuron prend des modèles FP32 de haute précision et les convertit automatiquement en types de données de moindre précision, tout en optimisant la précision et les performances. La conversion automatique réduit les délais de mise sur le marché en supprimant le besoin de reformation en basse précision.

Inferentia2 ajoute des optimisations matérielles pour les formats d'entrée dynamiques et des opérateurs personnalisés écrits en C++. Il prend également en charge l'arrondi stochastique, un mode d'arrondi par probabilités qui permet d'obtenir des performances élevées et une plus grande précision par rapport aux modes d'arrondi traditionnels.

Les instances Inf2 offrent jusqu’à 50 % de performance/watt de plus que les instances HAQM EC2 comparables, car elles et les puces Inferentia2 sous-jacentes sont spécialement conçues pour exécuter des modèles de DL à grande échelle. Les instances Inf2 vous aident à atteindre vos objectifs de durabilité lors du déploiement de modèles ultra-larges.