Présentation
Le transfert de données depuis HAQM S3 Glacier Vaults vers HAQM S3 restaure, copie et transfère les archives stockées dans un coffre-fort HAQM Simple Storage Service Glacier (HAQM S3 Glacier) dans un compartiment S3 et dans une classe de stockage de votre choix, y compris les classes de stockage S3 Glacier. Cette solution AWS simplifie l’utilisation de vos données en automatisant le processus de transfert, ce qui rend les données archivées plus accessibles et plus économiques.
Remarque :
Les classes de stockage HAQM S3 Glacier, notamment Glacier Deep Archive, Glacier Flexible Retrieval et Glacier Instant Retrieval, sont différentes des classes de stockage S3. Consultez cette page web pour en savoir plus sur ces classes de stockage.
Avantages
L’automatisation permet de gagner du temps et de réduire les risques d’erreurs humaines lors du processus de transfert de données, ce qui permet de garantir un fonctionnement plus fiable et plus cohérent.
Le transfert de données depuis des coffres-forts HAQM S3 Glacier vers des compartiments S3 facilite l’analyse et l’utilisation des données. Les données sont plus facilement accessibles pour les outils d’analytique et les applications, et ce, sans délais de restauration prolongés.
Les classes de stockage HAQM S3 permettent le balisage et un accès plus rapide à vos données. Les avantages du balisage incluent la classification des données, un contrôle d’accès précis, la gestion du cycle de vie et la répartition des coûts.
Pour les données rarement consultées, la classe de stockage HAQM S3 Glacier Deep Archive permet d’économiser environ 75 % sur les coûts de stockage dans la région AWS USA Est (Ohio) par rapport à ceux d’un coffre-fort S3 Glacier.
Détails techniques
Vous pouvez déployer automatiquement cette architecture à l’aide du guide d’implémentation et du modèle AWS CloudFormation qui l’accompagne.
Étape 1
Invoquez un flux de travail de transfert à l’aide d’un document AWS Systems Manager (document SSM).
Étape 2
Le document SSM lance un flux de travail de l’orchestrateur AWS Step Functions.
Étape 3
Le flux de travail de l’orchestrateur Step Functions lance un flux de travail Step Functions Get Inventory imbriqué pour récupérer le fichier d'inventaire.
Étape 4
Une fois la récupération de l’inventaire terminée, la solution invoque le flux de travail de lancement de récupération Step Functions imbriqué.
Étape 5
Lorsqu’une tâche est prête, HAQM S3 Glacier envoie une notification à une rubrique HAQM Simple Notification Service (HAQM SNS) indiquant que la tâche est terminée.
Étape 6
La solution stocke toutes les notifications de fin de tâche dans la file d’attente de notifications HAQM Simple Queue Service (HAQM SQS).
Étape 7
Lorsqu’une tâche d’archivage est prête, la file d’attente de notifications HAQM SQS invoque la fonction de traitement de notifications AWS Lambda. Cette fonction Lambda prépare les étapes initiales de la récupération des archives.
Étape 8
La fonction de traitement de notifications Lambda place les messages de récupération de lots dans la file d’attente de récupération de lots HAQM SQS pour le traitement de lots.
Étape 9
La file d’attente de récupération de lots HAQM SQS invoque la fonction de récupération de lots Lambda afin de traiter chaque lot.
Étape 10
La fonction de récupération de lots Lambda télécharge le lot depuis le coffre-fort HAQM S3 Glacier.
Étape 11
La fonction de récupération de lots Lambda charge une partie du chargement en plusieurs parties vers HAQM Simple Storage Service (HAQM S3).
Étape 12
Une fois qu’un nouveau lot est téléchargé, la solution en stocke les métadonnées dans HAQM DynamoDB (etag, checksum_sha_256, tree_checksum).
Étape 13
La fonction de récupération de lots Lambda vérifie si tous les lots de cette archive ont été traités. Dans l’affirmative, elle insère un événement dans la file d’attente de validation HAQM SQS afin d’invoquer la fonction de validation Lambda.
Étape 14
La fonction de validation Lambda effectue un contrôle d’intégrité, puis ferme le chargement en plusieurs parties d’HAQM S3.
Étape 15
Un flux DynamoDB invoque la fonction de traitement de métriques Lambda afin de mettre à jour les métriques du processus de transfert dans DynamoDB.
Étape 16
Le flux de travail de l’orchestrateur Step Functions entre dans une attente asynchrone, s’interrompant jusqu’à la fin du flux de travail de récupération d’archives avant de lancer le flux de travail de nettoyage Step Functions.
Étape 17
Le flux DynamoDB invoque la fonction de facilitation asynchrone Lambda, qui déverrouille les attentes asynchrones dans Step Functions.
Étape 18
Les règles HAQM EventBridge lancent périodiquement les flux de travail d’extension de la fenêtre de téléchargement Step Functionset de mise à jour du tableau de bord HAQM CloudWatch.
Étape 19
Suivez la progression du transfert au moyen du tableau de bord CloudWatch.
Étape 1
Invoquez un flux de travail de transfert à l’aide d’un document AWS Systems Manager (document SSM).
Étape 2
Le document SSM lance un flux de travail de l’orchestrateur AWS Step Functions.
Étape 3
Le flux de travail de l’orchestrateur Step Functions lance un flux de travail Step Functions Get Inventory imbriqué pour récupérer le fichier d'inventaire.
Étape 4
Une fois la récupération de l’inventaire terminée, la solution invoque le flux de travail de lancement de récupération Step Functions imbriqué.
Étape 5
Lorsqu’une tâche est prête, HAQM S3 Glacier envoie une notification à une rubrique HAQM Simple Notification Service (HAQM SNS) indiquant que la tâche est terminée.
Étape 6
La solution stocke toutes les notifications de fin de tâche dans la file d’attente de notifications HAQM Simple Queue Service (HAQM SQS).
Étape 7
Lorsqu’une tâche d’archivage est prête, la file d’attente de notifications HAQM SQS invoque la fonction de traitement de notifications AWS Lambda. Cette fonction Lambda prépare les étapes initiales de la récupération des archives.
Étape 8
La fonction de traitement de notifications Lambda place les messages de récupération de lots dans la file d’attente de récupération de lots HAQM SQS pour le traitement de lots.
Étape 9
La file d’attente de récupération de lots HAQM SQS invoque la fonction de récupération de lots Lambda afin de traiter chaque lot.
Étape 10
La fonction de récupération de lots Lambda télécharge le lot depuis le coffre-fort HAQM S3 Glacier.
Étape 11
La fonction de récupération de lots Lambda charge une partie du chargement en plusieurs parties vers HAQM Simple Storage Service (HAQM S3).
Étape 12
Une fois qu’un nouveau lot est téléchargé, la solution en stocke les métadonnées dans HAQM DynamoDB (etag, checksum_sha_256, tree_checksum).
Étape 13
La fonction de récupération de lots Lambda vérifie si tous les lots de cette archive ont été traités. Dans l’affirmative, elle insère un événement dans la file d’attente de validation HAQM SQS afin d’invoquer la fonction de validation Lambda.
Étape 14
La fonction de validation Lambda effectue un contrôle d’intégrité, puis ferme le chargement en plusieurs parties d’HAQM S3.
Étape 15
Un flux DynamoDB invoque la fonction de traitement de métriques Lambda afin de mettre à jour les métriques du processus de transfert dans DynamoDB.
Étape 16
Le flux de travail de l’orchestrateur Step Functions entre dans une attente asynchrone, s’interrompant jusqu’à la fin du flux de travail de récupération d’archives avant de lancer le flux de travail de nettoyage Step Functions.
Étape 17
Le flux DynamoDB invoque la fonction de facilitation asynchrone Lambda, qui déverrouille les attentes asynchrones dans Step Functions.
Étape 18
Les règles HAQM EventBridge lancent périodiquement les flux de travail d’extension de la fenêtre de téléchargement Step Functionset de mise à jour du tableau de bord HAQM CloudWatch.
Étape 19
Suivez la progression du transfert au moyen du tableau de bord CloudWatch.
Rubriques connexes
S3 Glacier est un service sécurisé et durable d’archivage de données à faible coût et de sauvegarde à long terme à l’aide de coffres-forts.
Cet atelier en autoformation fournit un guide étape par étape pour lancer la solution AWS, Transfert de données de coffres-forts HAQM S3 Glacier vers HAQM S3, dans votre compte AWS.
- Date de publication