Panoramica
Il trasferimento dei dati di vault di HAQM S3 Glacier ad HAQM S3 ripristina, copia e trasferisce gli archivi conservati in un vault di HAQM Simple Storage Service Glacier (HAQM S3 Glacier) in un bucket S3 e in una classe di archiviazione a scelta, incluse le classi di archiviazione S3 Glacier. Questa soluzione AWS semplifica l'uso dei dati automatizzando il processo di trasferimento e rendendo i dati archiviati più accessibili ed economici.
Nota:
Le classi di archiviazione HAQM S3 Glacier, tra cui Deep Archive Glacier, recupero flessibile Glacier e recupero istantaneo Glacier, sono diverse dalle classi di archiviazione S3. Visita questa pagina web per ulteriori informazioni su queste classi di archiviazione.
Vantaggi
L'automazione consente di risparmiare tempo e riduce al minimo la probabilità di errore umano durante il processo di trasferimento dei dati, contribuendo a garantire un funzionamento più affidabile e coerente.
Il trasferimento dei dati dai vault di HAQM S3 Glacier ai bucket S3 facilita l'analisi e l'utilizzo dei dati. I dati sono più facilmente accessibili per le applicazioni e gli strumenti di analisi, senza tempi di ripristino prolungati.
Le classi di archiviazione HAQM S3 consentono l'applicazione di tag e un accesso più rapido ai dati. I vantaggi dell'applicazione di tag includono la classificazione dei dati, il controllo granulare degli accessi, la gestione del ciclo di vita e l'allocazione dei costi.
Per i dati a cui si accede raramente, la classe di archiviazione Deep Archive HAQM S3 Glacier consente di risparmiare quasi il 75% per l'archiviazione nella regione AWS degli Stati Uniti orientali (Ohio) rispetto a un vault S3 Glacier.
Dettagli tecnici
Questa architettura può essere implementata automaticamente consultando la Guida all'implementazione e il modello AWS CloudFormation allegato.
Fase 1
Richiama un flusso di lavoro di trasferimento utilizzando un documento AWS Systems Manager (documento SSM).
Fase 2
Il documento SSM avvia il flusso di lavoro dell'orchestratore AWS Step Functions.
Fase 3
Il flusso di lavoro dell'orchestratore Step Functions avvia un flusso di lavoro annidato di Step Functions Get Inventory per recuperare il file di inventario.
Fase 4
Al termine del recupero dell'inventario, la soluzione richiama il flusso di lavoro annidato di Step Functions Initiate Retrieval.
Fase 5
Quando un lavoro è pronto, HAQM S3 Glacier invia una notifica a un argomento HAQM Simple Notification Service (HAQM SNS) che indica il completamento del lavoro.
Fase 6
La soluzione archivia tutte le notifiche di completamento dei lavori nella coda delle notifiche di HAQM Simple Queue Service (HAQM SQS).
Fase 7
Quando un processo di archiviazione è pronto, la coda delle notifiche di HAQM SQS richiama la funzione AWS Lambda Notifications Processor. Questa funzione Lambda prepara i passaggi iniziali per il recupero dell'archivio.
Fase 8
La funzione Lambda Notifications Processor inserisce i messaggi di recupero dei blocchi nella coda di recupero di HAQM SQS Chunks per l'elaborazione dei blocchi.
Fase 9
La coda HAQM SQS Chunks Retrieval richiama la funzione Lambda Chunk Retrieval per elaborare ogni blocco.
Fase 10
La funzione Lambda Chunk Retrieval scarica il blocco dal vault HAQM S3 Glacier.
Fase 11
La funzione Lambda Chunk Retrieval carica una parte di caricamento in più parti su HAQM Simple Storage Service (HAQM S3).
Fase 12
Dopo aver scaricato un nuovo blocco, la soluzione archivia i metadati dei blocchi in HAQM DynamoDB (etag, checksum_sha_256, tree_checksum).
Fase 13
La funzione Lambda Chunk Retrieval verifica se tutti i blocchi di quell'archivio sono stati elaborati. In caso affermativo, inserisce un evento nella coda di HAQM SQS Validation per richiamare la funzione Lambda Validate.
Fase 14
La funzione Lambda Validate esegue un controllo di integrità, quindi chiude il caricamento in più parti su HAQM S3.
Fase 15
Un flusso DynamoDB richiama la funzione Lambda Metrics Processor per aggiornare le metriche del processo di trasferimento a DynamoDB.
Fase 16
Il flusso di lavoro dell'orchestratore Step Functions prevede un'attesa asincrona, che si interrompe fino alla conclusione del flusso di lavoro di recupero dell'archivio prima di avviare il flusso di lavoro di pulizia Step Functions.
Fase 17
Il flusso DynamoDB richiama la funzione Lambda Async Facilitator, che sblocca le attese asincrone in Step Functions.
Fase 18
Le regole di HAQM EventBridge avviano periodicamente i flussi di lavoro Step Functions Extend Download Window e Update HAQM CloudWatch Dashboard.
Fase 19
Monitora l'avanzamento del trasferimento utilizzando il pannello di controllo di CloudWatch.
Fase 1
Richiama un flusso di lavoro di trasferimento utilizzando un documento AWS Systems Manager (documento SSM).
Fase 2
Il documento SSM avvia il flusso di lavoro dell'orchestratore AWS Step Functions.
Fase 3
Il flusso di lavoro dell'orchestratore Step Functions avvia un flusso di lavoro annidato di Step Functions Get Inventory per recuperare il file di inventario.
Fase 4
Al termine del recupero dell'inventario, la soluzione richiama il flusso di lavoro annidato di Step Functions Initiate Retrieval.
Fase 5
Quando un lavoro è pronto, HAQM S3 Glacier invia una notifica a un argomento HAQM Simple Notification Service (HAQM SNS) che indica il completamento del lavoro.
Fase 6
La soluzione archivia tutte le notifiche di completamento dei lavori nella coda delle notifiche di HAQM Simple Queue Service (HAQM SQS).
Fase 7
Quando un processo di archiviazione è pronto, la coda delle notifiche di HAQM SQS richiama la funzione AWS Lambda Notifications Processor. Questa funzione Lambda prepara i passaggi iniziali per il recupero dell'archivio.
Fase 8
La funzione Lambda Notifications Processor inserisce i messaggi di recupero dei blocchi nella coda di recupero di HAQM SQS Chunks per l'elaborazione dei blocchi.
Fase 9
La coda HAQM SQS Chunks Retrieval richiama la funzione Lambda Chunk Retrieval per elaborare ogni blocco.
Fase 10
La funzione Lambda Chunk Retrieval scarica il blocco dal vault HAQM S3 Glacier.
Fase 11
La funzione Lambda Chunk Retrieval carica una parte di caricamento in più parti su HAQM Simple Storage Service (HAQM S3).
Fase 12
Dopo aver scaricato un nuovo blocco, la soluzione archivia i metadati dei blocchi in HAQM DynamoDB (etag, checksum_sha_256, tree_checksum).
Fase 13
La funzione Lambda Chunk Retrieval verifica se tutti i blocchi di quell'archivio sono stati elaborati. In caso affermativo, inserisce un evento nella coda di HAQM SQS Validation per richiamare la funzione Lambda Validate.
Fase 14
La funzione Lambda Validate esegue un controllo di integrità, quindi chiude il caricamento in più parti su HAQM S3.
Fase 15
Un flusso DynamoDB richiama la funzione Lambda Metrics Processor per aggiornare le metriche del processo di trasferimento a DynamoDB.
Fase 16
Il flusso di lavoro dell'orchestratore Step Functions prevede un'attesa asincrona, che si interrompe fino alla conclusione del flusso di lavoro di recupero dell'archivio prima di avviare il flusso di lavoro di pulizia Step Functions.
Fase 17
Il flusso DynamoDB richiama la funzione Lambda Async Facilitator, che sblocca le attese asincrone in Step Functions.
Fase 18
Le regole di HAQM EventBridge avviano periodicamente i flussi di lavoro Step Functions Extend Download Window e Update HAQM CloudWatch Dashboard.
Fase 19
Monitora l'avanzamento del trasferimento utilizzando il pannello di controllo di CloudWatch.
Contenuto correlato
S3 Glacier è un servizio sicuro e durevole per l'archiviazione dei dati a basso costo e il backup a lungo termine tramite vault.
Questo workshop di autoapprendimento fornisce una guida dettagliata per il lancio della soluzione AWS, Trasferimento dati da vault da vault HAQM S3 Glacier ad HAQM S3, nel tuo account AWS.
- Data di pubblicazione