Übersicht
Datenübertragung von HAQM S3 Glacier Tresoren zu HAQM S3 stellt wieder her, kopiert und überträgt Archive, die in einem HAQM-Simple-Storage-Service-Glacier-Tresor (HAQM S3 Glacier) gespeichert sind, zu einem S3 Bucket und einer Speicherklasse Ihrer Wahl, einschließlich der S3 Glacier Speicherklassen. Diese AWS-Lösung vereinfacht die Verwendung Ihrer Daten, indem sie den Übertragungsprozess automatisiert und archivierte Daten zugänglicher und kostengünstiger macht.
Hinweis:
HAQM-S3-Glacier-Speicherklassen, einschließlich Glacier Deep Archive, Glacier Flexible Retrieval und Glacier Instant Retrieval unterscheiden sich von den S3-Speicherklassen. Besuchen Sie diese Webseite, um mehr über diese Speicherklassen zu erfahren.
Vorteile
Die Automatisierung spart Zeit und minimiert die Wahrscheinlichkeit menschlicher Fehler während des Datentransferprozesses, was zu einem zuverlässigeren und konsistenteren Betrieb beiträgt.
Die Übertragung von Daten aus HAQM-S3-Glacier-Tresoren in S3-Buckets erleichtert die Datenanalyse und -nutzung. Daten sind für Anwendungen und Analysetools leichter zugänglich, ohne dass die Wiederherstellungszeiten verlängert werden müssen.
HAQM-S3-Speicherklassen ermöglichen das Tagging und einen schnelleren Zugriff auf Ihre Daten. Zu den Vorteilen des Tagging gehören Datenklassifizierung, detaillierte Zugriffskontrolle, Lebenszyklusmanagement und Kostenzuweisung.
Bei Daten, auf die selten zugegriffen wird, können in der AWS-Region USA Ost (Ohio) mit der Speicherklasse HAQM S3 Glacier Deep Archive im Vergleich zu einem S3-Glacier-Tresor fast 75 % der Speicherkosten eingespart werden.
Technische Details
Sie können diese Architektur mit dem Implementierungsleitfaden und der dazugehörigen Vorlage für AWS CloudFormation automatisch bereitstellen.
Schritt 1
Rufen Sie einen Übertragungsworkflow mithilfe eines AWS Systems Manager-Dokuments (SSM-Dokument) auf.
Schritt 2
Das SSM-Dokument startet einen Workflow von AWS Step Functions Orchestrator.
Schritt 3
Der Workflow von Step Functions Orchestrator initiiert einen verschachtelten Step-Functions-Get-Inventory-Workflow zum Abrufen der Inventardatei.
Schritt 4
Nach Abschluss der Inventarabfrage ruft die Lösung den verschachtelten Step-Functions-Initiate-Retrieval-Workflow auf.
Schritt 5
Wenn ein Auftrag fertig ist, sendet HAQM S3 Glacier eine Benachrichtigung an ein Thema von HAQM Simple Notification Service (HAQM SNS), das auf den Abschluss des Auftrags hinweist.
Schritt 6
Die Lösung speichert alle Benachrichtigungen über den Abschluss von Aufträgen in der Benachrichtigungswarteschlange von HAQM Simple Queue Service (HAQM SQS).
Schritt 7
Wenn ein Archivierungsauftrag bereit ist, ruft die Benachrichtigungswarteschlange von HAQM SQS die AWS-Lambda-Funktion „Notifications Processor“ auf. Diese Lambda-Funktion bereitet die ersten Schritte für den Archivabruf vor.
Schritt 8
Die Lambda-Funktion „Notifications Processor“ platziert Nachrichten zum Abrufen von Blöcken in der HAQM-SQS-Warteschlange „Chunks Retrieval“ für die Chunk-Verarbeitung.
Schritt 9
Die HAQM-SQS-Warteschlange „Chunks Retrieval“ ruft die Lambda-Funktion „Chunk Retrieval“ auf, um jeden Chunk zu verarbeiten.
Schritt 10
Die Lambda-Funktion „Chunk Retrieval“ lädt den Chunk aus dem HAQM-S3-Glacier-Tresor herunter.
Schritt 11
Die Lambda-Funktion „Chunk Retrieval“ lädt einen mehrteiligen Upload auf HAQM Simple Storage Service (HAQM S3) hoch.
Schritt 12
Nachdem ein neuer Chunk heruntergeladen wurde, speichert die Lösung Chunk-Metadaten in HAQM DynamoDB (etag, checksum_sha_256, tree_checksum).
Schritt 13
Die Lambda-Funktion „Chunk Retrieval“ überprüft, ob alle Chunks für dieses Archiv verarbeitet wurden. Falls ja, fügt sie ein Ereignis in die HAQM-SQS-Validierungswarteschlange ein, um die Lambda-Funktion „Validate“ aufzurufen.
Schritt 14
Die Lambda-Funktion „Validate“ führt eine Integritätsprüfung durch und schließt dann den mehrteiligen HAQM-S3-Upload.
Schritt 15
Ein DynamoDB-Stream ruft die Lambda-Funktion „Metrics Processor“ auf, um die Metriken des Übertragungsprozesses in DynamoDB zu aktualisieren.
Schritt 16
Bei dem Workflow von Step Functions Orchestrator beginnt eine asynchrone Wartezeit, die unterbrochen wird, bis der Workflow zum Abrufen von Archiven abgeschlossen ist, bevor der Step-Functions-Cleanup-Workflow initiiert wird.
Schritt 17
Der DynamoDB-Stream ruft die Lambda-Funktion „Async Facilitator“ auf, die asynchrone Wartezeiten in Step Functions freischaltet.
Schritt 18
Die HAQM-EventBridge-Regeln initiieren regelmäßig die Step-Functions-Workflows Extend Download Window und Update HAQM-CloudWatch-Dashboard.
Schritt 19
Überwachen Sie den Fortschritt der Übertragung mithilfe des CloudWatch-Dashboards.
Schritt 1
Rufen Sie einen Übertragungsworkflow mithilfe eines AWS Systems Manager-Dokuments (SSM-Dokument) auf.
Schritt 2
Das SSM-Dokument startet einen Workflow von AWS Step Functions Orchestrator.
Schritt 3
Der Workflow von Step Functions Orchestrator initiiert einen verschachtelten Step-Functions-Get-Inventory-Workflow zum Abrufen der Inventardatei.
Schritt 4
Nach Abschluss der Inventarabfrage ruft die Lösung den verschachtelten Step-Functions-Initiate-Retrieval-Workflow auf.
Schritt 5
Wenn ein Auftrag fertig ist, sendet HAQM S3 Glacier eine Benachrichtigung an ein Thema von HAQM Simple Notification Service (HAQM SNS), das auf den Abschluss des Auftrags hinweist.
Schritt 6
Die Lösung speichert alle Benachrichtigungen über den Abschluss von Aufträgen in der Benachrichtigungswarteschlange von HAQM Simple Queue Service (HAQM SQS).
Schritt 7
Wenn ein Archivierungsauftrag bereit ist, ruft die Benachrichtigungswarteschlange von HAQM SQS die AWS-Lambda-Funktion „Notifications Processor“ auf. Diese Lambda-Funktion bereitet die ersten Schritte für den Archivabruf vor.
Schritt 8
Die Lambda-Funktion „Notifications Processor“ platziert Nachrichten zum Abrufen von Blöcken in der HAQM-SQS-Warteschlange „Chunks Retrieval“ für die Chunk-Verarbeitung.
Schritt 9
Die HAQM-SQS-Warteschlange „Chunks Retrieval“ ruft die Lambda-Funktion „Chunk Retrieval“ auf, um jeden Chunk zu verarbeiten.
Schritt 10
Die Lambda-Funktion „Chunk Retrieval“ lädt den Chunk aus dem HAQM-S3-Glacier-Tresor herunter.
Schritt 11
Die Lambda-Funktion „Chunk Retrieval“ lädt einen mehrteiligen Upload auf HAQM Simple Storage Service (HAQM S3) hoch.
Schritt 12
Nachdem ein neuer Chunk heruntergeladen wurde, speichert die Lösung Chunk-Metadaten in HAQM DynamoDB (etag, checksum_sha_256, tree_checksum).
Schritt 13
Die Lambda-Funktion „Chunk Retrieval“ überprüft, ob alle Chunks für dieses Archiv verarbeitet wurden. Falls ja, fügt sie ein Ereignis in die HAQM-SQS-Validierungswarteschlange ein, um die Lambda-Funktion „Validate“ aufzurufen.
Schritt 14
Die Lambda-Funktion „Validate“ führt eine Integritätsprüfung durch und schließt dann den mehrteiligen HAQM-S3-Upload.
Schritt 15
Ein DynamoDB-Stream ruft die Lambda-Funktion „Metrics Processor“ auf, um die Metriken des Übertragungsprozesses in DynamoDB zu aktualisieren.
Schritt 16
Bei dem Workflow von Step Functions Orchestrator beginnt eine asynchrone Wartezeit, die unterbrochen wird, bis der Workflow zum Abrufen von Archiven abgeschlossen ist, bevor der Step-Functions-Cleanup-Workflow initiiert wird.
Schritt 17
Der DynamoDB-Stream ruft die Lambda-Funktion „Async Facilitator“ auf, die asynchrone Wartezeiten in Step Functions freischaltet.
Schritt 18
Die HAQM-EventBridge-Regeln initiieren regelmäßig die Step-Functions-Workflows Extend Download Window und Update HAQM-CloudWatch-Dashboard.
Schritt 19
Überwachen Sie den Fortschritt der Übertragung mithilfe des CloudWatch-Dashboards.
Ähnliche Inhalte
S3 Glacier ist ein sicherer und dauerhafter Service für die kostengünstige Datenarchivierung und Langzeitsicherung mit Tresoren.
Dieser Workshop im Selbststudium bietet eine schrittweise Anleitung für die Einführung der AWS-Lösung „Datenübertragung von HAQM S3 Glacier Vaults zu HAQM S3“ in Ihrem AWS-Konto.
- Datum der Veröffentlichung