Comment Ateme optimise les coûts et les performances de son Cloud DVR avec HAQM S3

Optimiser les coûts et les performances du stockage avec HAQM Simple Storage Service (HAQM S3) est un défi majeur pour de nombreuses entreprises. Ateme, le leader mondial des solutions de compression, diffusion et streaming vidéo, partage son retour d’expérience sur la façon dont son produit « Cloud DVR » permet aux téléspectateurs d’enregistrer leurs programmes préférés tout en réduisant les coûts et en améliorant les performances du stockage grâce à HAQM S3. Découvrez comment Ateme et AWS ont développé ensemble une solution cloud native tirant parti des fonctionnalités avancées d’HAQM S3 comme HAQM S3 Intelligent-Tiering, les bonnes pratiques autour de la stratégie au niveau préfixes et le « byte-range fetching ».

Définir les exigences des applications

Avant de choisir les bonnes options de stockage sur HAQM S3, il est essentiel de bien comprendre les besoins de vos applications en termes de disponibilité, durée de stockage, taille/capacité, performances, fréquence d’accès et distribution de contenu. Pour sa solution de Cloud DVR, Ateme a dû identifier des exigences clés.

Comme l’explique Chrys Le Gall, Global Leader Cloud Solutions Architecture chez Ateme :

« Nous gérons plus de 100 pétaoctets de vidéos sur HAQM S3, avec un débit de streaming de plus de 10 Tbps. C’est l’équivalent de 1100 années de vidéos bout à bout ! Un de nos défis était de pouvoir gérer les pannes, avec parfois un disque qui tombe en panne chaque jour. »

Figure 1 : Comprendre comment les applications d’Ateme consomment les ressources HAQM S3

Optimiser les coûts avec les classes de stockage S3

HAQM S3 propose plusieurs classes de stockage adaptées à différents cas d’usage, modèles d’accès et durées de rétention. Le choix dépend notamment de la fréquence d’accès aux données, de la durée de stockage souhaitée et de la taille des objets stockés sur HAQM S3.

Selon le modèle d’accès à vos données, deux approches peuvent être utilisées pour optimiser les coûts. Si le modèle d’accès à vos données est connu ou prévisible, vous pouvez utiliser les politiques de cycle de vie pour transiter vos données entre les classes de stockage qui répondent au mieux aux exigences de vos applications. Mais la majorité des données ont un modèle d’accès inconnu ou imprévisible. Dans ce cas, HAQM S3 intelligent-Tiering est la solution recommandée pour réaliser des réductions de coûts de façon automatisée.

Ateme a opté pour une approche en deux temps : utiliser d’abord HAQM S3 Intelligent-Tiering pour un modèle de consommation initialement inconnu, puis définir des politiques de cycle de vie plus fines par la suite. L’entreprise a ainsi pu faire migrer automatiquement les données vers les classes les moins coûteuses (S3 Standard-IA et S3 Glacier Instant Retrieval) au fil du temps.

Figure 2 : Optimisation des classes de stockage d’HAQM S3

« Grâce à HAQM S3 Intelligent-Tiering, nous n’avons pas eu à nous soucier du modèle d’accès de nos données dès le départ. Le service s’en est chargé pour nous de façon transparente», commente Chrys Le Gall.

L’utilisation d’Intelligent Tiering permet à Ateme de réduire les coûts d’HAQM S3 de 25% par rapport à l’utilisation du tier HAQM S3 Standard. Une fois le modèle d’usage connu, l’utilisation de lifecycle policies plus fine permet de diminuer les coûts de 5 à 10% de plus.

Optimiser les performances

L’élasticité d’HAQM S3 permet de gérer des charges de travail volumineuses.

Mais pour en tirer pleinement parti, il faudrait prendre en considération quelques aspects très importants, comme l’aménagement de votre espace clé, l’amélioration du débit de transfert des données dans et depuis HAQM S3, ou encore la réduction des latences de vos requêtes.

Ateme gère plus de 100 Po de vidéos dans S3, et en termes de streaming vidéo cela représente plus de 10 Tbps de débit.

Ateme a donc mis en place plusieurs techniques pour améliorer les performances de son application:

Augmentation du nombre de préfixes

Comme indiqué dans la documentation sur l’optimisation des performances, votre application peut atteindre au moins 3 500 demandes PUT/COPY/POST/DELETE ou 5 500 demandes GET/HEAD par seconde par préfixe HAQM S3 partitionné. Or, l’application “Cloud DVR” a besoin d’écrire 4000 requêtes de PUT par seconde et 18 000 requêtes de GET par seconde.

Ateme a pu contourner cette limitation en ajoutant l’identifiant de la chaîne TV (aka “channel ID”) plus tôt dans les préfixes ce qui a permis d’augmenter le nombre de préfixes. Cela a permis de mieux répartir la charge de lecture et de réduire le nombre de requêtes GET par préfixe.

Agrégation de multiples objets en conteneurs pour réduire le nombre d’objets

Ateme a regroupé des profils vidéos, des pistes audio, les sous-titres associés, les métadonnées dans un seul méta objet qu’ils ont appelé un conteneur. Cela permet de manipuler moins d’objets pour S3 mais de plus grande taille. Ils ont divisé ainsi le nombre de requêtes par 12 et ils ont descendu à environ 350 requêtes PUT par seconde.

Figure 3 : Utilisation de conteneurs pour réduire les coûts d’HAQM S3

Utilisation du Byte-Range Fetch

Lorsqu’un utilisateur est sur son téléphone ou sa télévision et veut regarder une vidéo, l’application Cloud DVR va créer la liste pour la session de l’utilisateur qui contient tous les éléments nécessaires pour pouvoir regarder le flux vidéo. L’application de Cloud DVR fait une requête HEAD vers HAQM S3 pour lister tous les sous-objets de leur conteneur et elle va faire un ‘Byte-Range Fetch’ pour récupérer seulement les morceaux de vidéo, audio, sous titres dont ils ont besoin.

En utilisant cette technique Ateme a pu réduire le débit de sortie d’HAQM S3 de 50%.

Surveiller et optimiser en continu : Garder une visibilité à 360° sur son stockage

Afin de pouvoir optimiser les coûts et les performances du stockage de vos données sur HAQM S3 il est important de disposer des informations nécessaires vous permettant d’avoir une visibilité globale sur votre stockage HAQM S3. Pour cela, HAQM S3 offre un catalogue complet d’outils vous permettant d’avoir accès à des données et des métriques critiques.

Par exemple, vous pouvez utiliser HAQM S3 Storage Lens pour identifier les opportunités de réduction de coûts en ayant accès à des métriques comme le pourcentage d’objets ayant des versions non courantes. Si vous avez besoin d’avoir une visibilité avec une granularité au niveau de l’objet, vous pouvez utiliser HAQM S3 Inventory en combinaison avec HAQM Athena pour, par exemple, identifier la distribution des objets à travers les niveaux d’accès d’HAQM S3 Intelligent-Tiering.

Pour garder le contrôle sur ses coûts et performances de stockage, Ateme s’appuie sur les outils de monitoring et d’analyse d’AWS comme HAQM S3 Storage Lens.

« HAQM S3 Storage Lens nous a permis d’avoir une vue agrégée sur plus de 100 buckets S3 en utilisant Storage Class Analysis. Nous avons pu analyser finement l’utilisation de nos classes de stockage et redéfinir nos politiques de cycle de vie en conséquence », explique Chrys Le Gall.

Conclusion

Dans ce blog, nous avons exploré les différentes techniques mises en place par Ateme pour optimiser les coûts et les performances de son stockage vidéo sur HAQM S3. En tirant parti des différentes classes de stockage, en structurant intelligemment ses objets, l’entreprise a réussi à réduire ses coûts tout en améliorant les performances de sa solution de Cloud DVR.

« Migrer notre Cloud DVR sur AWS nous a apporté une mise à l’échelle que nous n’aurions pas pu avoir en on-premise. Nous pouvons ajouter des dizaines de nouvelles chaînes sans nous soucier des délais d’approvisionnement de nouveaux serveurs. » – Chrys Le Gall

Ces bonnes pratiques peuvent être reproduites par d’autres entreprises souhaitant tirer le meilleur parti d’HAQM S3, quel que soit leur secteur d’activité. N’hésitez pas à approfondir le sujet en consultant la documentation détaillée sur les classes de stockage S3, l’optimisation des performances ou encore l’outil d’analyse S3 Storage Lens.

Pour aller plus loin,  dans la maîtrise d’HAQM S3, AWS propose un workshop dédié pour vous former aux fonctionnalités avancées du service.

Enfin, vous pouvez revoir la session complète dispensée lors de l’AWS Paris Summit 2024 : « Optimisez les coûts et les performances du stockage avec HAQM S3 » pour découvrir d’autres conseils et retours d’expérience d’Ateme.