Veröffentlicht am: Apr 13, 2023
AWS kündigt heute die allgemeine Verfügbarkeit von Inf2-Instances in HAQM Elastic Compute Cloud (HAQM EC2) an. Diese Instances liefern hohe Leistung zu den niedrigsten Kosten in HAQM EC2 für generative KI-Modelle, einschließlich großer Sprachmodelle (LLMs) und Vision-Transformatoren. Inf2-Instances werden von bis zu 12 AWS-Inferentia2-Chips unterstützt, dem neuesten von AWS entwickelten Deep-Learning-Beschleuniger (DL). Sie bieten einen bis zu viermal höheren Durchsatz und eine bis zu zehnmal geringere Latenz als HAQM-EC2-Inf1-Instances der ersten Generation.
Sie können Inf2-Instances verwenden, um beliebte Anwendungen wie Textzusammenfassung, Codegenerierung, Video- und Bildgenerierung, Spracherkennung, Personalisierung und mehr auszuführen. Inf2-Instances sind die ersten inferenzoptimierten Instances in HAQM EC2, die verteilte Inferenz im großen Maßstab einführen, die von NeuronLink, einem schnellen, nicht blockierenden Interconnect, unterstützt wird. Sie können jetzt Modelle mit Hunderten von Milliarden von Parametern für mehrere Beschleuniger auf Inf2-Instances effizient bereitstellen. Inf2-Instances bieten einen bis zu dreimal höheren Durchsatz, eine bis zu achtmal geringere Latenz und ein bis zu 40 % besseres Preis-Leistungs-Verhältnis als vergleichbare HAQM-EC2-Instances. Um Ihnen zu helfen, Ihre Nachhaltigkeitsziele zu erreichen, bieten Inf2-Instances im Vergleich zu vergleichbaren HAQM-EC2-Instances eine bis zu 50 % bessere Leistung pro Watt.
Inf2-Instances bieten bis zu 2,3 Petaflops DL-Leistung und bis zu 384 GB Gesamtbeschleunigerspeicher mit einer Bandbreite von 9,8 TB/s. AWS Neuron SDK lässt sich nativ in beliebte Machine-Learning-Frameworks wie PyTorch und TensorFlow integrieren. Sie können also weiterhin Ihre vorhandenen Frameworks und Anwendungscodes für die Bereitstellung auf Inf2 verwenden. Entwickler können mit AWS Deep Learning AMIs, AWS Deep Learning Containers oder verwalteten Services wie HAQM Elastic Container Service (HAQM ECS), HAQM Elastic Kubernetes Service (HAQM EKS) und HAQM SageMaker in Inf2-Instances einsteigen.
Inf2-Instances sind in vier Größen (inf2.xlarge, inf2.8xlarge, inf2.24xlarge, inf2.48xlarge) in den folgenden AWS-Regionen als On-Demand-Instances, Reserved Instances und Spot Instances oder als Teil eines Savings Plans erhältlich: USA Ost (Nord-Virginia) und USA Ost (Ohio).
Weitere Informationen zu Inf2-Instances finden Sie auf der Webseite zu HAQM-EC2-Inf2-Instances und in der AWS-Neuron-Dokumentation.