O blog da AWS

Discutindo opções de armazenamento para Windows Server na AWS, parte 1: HAQM FSx File Gateway

Por: Caio Ribeiro César, Arquiteto de Soluções Especializadas em Microsoft na  AWS
Diego Voltz, Arquiteto de Soluções Senior em Enterprise na AWS e
Samuel Sousa, Arquiteto de Soluções especialista em Storage na AWS.

 

O AWS Storage Gateway é um conjunto de serviços que habilita a extensão dos benefícios da nuvem para as aplicações que residem on-premises. A integração é feita sem a necessidade de modificar a forma com que as aplicações se comunicam atualmente pois a comunicação acontece através da utilização de protocolos padrões de storage como NFS, SMB e iSCSI. O AWS Storage Gateway possui quatro tipos: Volume Gateway, Tape Gateway, HAQM S3 File Gateway e  HAQM FSx File Gateway.

Os dois últimos serão objetos de estudo nesta série, mas antes, vamos falar um pouco do HAQM FSx for Windows.

O HAQM FSx for Windows File Server, fornece armazenamento de arquivos altamente confiável, escalável e totalmente gerenciado, acessível pelo protocolo SMB (Service Message Block). Este serviço é baseado no sistema operacional Windows Server, oferecendo uma ampla gama de recursos administrativos (cotas de usuários, shadow copy,  integração com o Microsoft Active Directory, deduplicação de dados, entre outros). O HAQM FSx for Windows oferece opções de implantação Multi-AZ e Single-AZ, backups totalmente gerenciados e criptografia de dados em repouso e em trânsito. Além disso, os clientes podem otimizar os custos e a performance das necessidades das cargas de trabalho com opções de armazenamento em SSD e HDD, e ainda dimensionar o armazenamento e alterar a performance de throughput do sistema de arquivos a qualquer momento. O armazenamento de arquivos do HAQM FSx pode ser acessado nas instâncias e dispositivos de computação do Windows, Linux e MacOS em execução na AWS ou no local.

Em 2020, criamos uma série de posts explicando as funcionalidades do HAQM FSx for Windows. Esta série tem quatro capítulos:

  1. Criando e Configurando o FSx
  2. Mais funcionalidades: VolumeShadowCopy, DFS Namespace, Data Deduplication e Quotas
  3. Mapeando o FSx para servidores Linux
  4. Migrando dados com o AWS DataSync (Cenário de Multi-Região)

Ainda em 2020, contruímos um Workshop sob demanda que discute e demonstra recursos e arquiteturas do HAQM FSx for Windows.

Nesta nova série, iremos discutir e comparar opções de armazenamento para Windows Server na AWS. Ela será dividida em três partes:

  • Parte 1: HAQM FSx File Gateway (você está aqui)
  • Parte 2: HAQM S3 File Gateway
  • Parte 3: HAQM FSx File Gateway vs. HAQM S3 File Gateway

Conforme demostrado acima, já temos diversos materiais públicos para o HAQM FSx for Windows. Desta vez, vamos falar do lançamento de 2021, o HAQM FSx File Gateway.

O HAQM FSx File Gateway é um novo tipo de gateway de arquivo que fornece baixa latência e acesso eficiente a compartilhamentos de arquivos do HAQM FSx para Windows File Server. Em um cenário em que o acesso ocorre do ambiente on-premises, devido aos requisitos de latência ou largura de banda, podemos usar o HAQM FSx File Gateway para acesso direto a compartilhamentos de arquivos do Windows totalmente gerenciados, altamente confiáveis e escaláveis a PBs (com o uso do DFS Namespace) fornecidos pelo HAQM FSx para Windows File Server.

Existem diversos benefícios ao se integrar o HAQM FSx for Windows com o HAQM FSx File Gateway:

  1. Eliminar servidores de arquivos do ambiente on-premises, consolidando todos os seus dados na AWS para aproveitar a escala e a economia do armazenamento em nuvem.
  2. Fornecer opções que podemos usar para diversas cargas de trabalho , incluindo aquelas que requerem acesso local aos dados da nuvem (acesso híbrido com melhor velocidade). O acesso de baixa latência garante que possamos continuar a usar aplicações sensíveis à latência. O armazenamento em cache conserva a largura de banda compartilhada entre o ambiente on-premises e a nuvem, importante quando temos muitos usuários tentando acessar dados de compartilhamento de arquivos diretamente.
  3. Os aplicativos que precisam permanecer no ambiente on-premises agora podem se beneficiar com a mesma baixa latência e alto desempenho que teriam ao ser executados em Elastic Compute cloud na AWS (EC2), sem sobrecarregar suas redes ou impactar as latências experimentadas por seus aplicativos mais exigentes.
  4. A adaptação de cloud pode ser feita em mais etapas e melhor granularidade, diminuindo o impacto e tempo para o descomissionamento do ambiente on-premises.
  5. Este modelo de arquitetura faz com que os dados residam no HAQM FSx for Windows, utilizando os diversos benefícios deste produto.
  6. Integração com backups (incluindo backups efetuados diretamente no HAQM FSx for Windows e AWS Backup). Antes de iniciar um backup, o HAQM FSx efetua uma comunicação com cada HAQM FSx File Gateway para garantir que todos os dados não comitados sejam liberados, ajudando a reduzir ainda mais a sobrecarga administrativa e as preocupações ao mover compartilhamentos de arquivos locais para a nuvem.
  7. Diminuição de custo de transferência de dados na AWS quando comparado com o cenário da aplicação efetuando o acesso diretamente no HAQM FSx for Windows. Para mais informações sobre custos de transferência de dados na AWS, clique aqui.

O HAQM FSx File Gateway está disponível usando várias opções de plataforma: appliance físico, máquinas virtuais (VMware ESXi, Microsoft Hyper-V, Linux KVM) ou em EC2.

Para a demonstração de funcionalidade, iremos utilizar como fonte de dados de storage um HAQM FSx for Windows na região de São Paulo (sa-east-1). Lembrando que temos como pré-requisitos a configuração de uma VPC, um Security Group (no mínimo) e, no caso da configuração Multi-AZ, duas subnets (uma em cada zona de disponibilidade). Após validarmos os pré-requisitos, iremos configurar a capacidade de throughput para 32 MB/s, para também demonstrar a funcionalidade de auditoria.

 

Imagem 1: Criação do HAQM FSx for Windows com a configuração de Multi-AZ, 32GB SSD e 32 MB/S para throughput. A auditoria de acesso a arquivos requer um sistema de arquivos com capacidade de transferência mínima de 32 MB/s.

 

Imagem 2: Configurações de auditoria do HAQM FSx for Windows.

 

Imagem 3: HAQM FSx for Windows sendo criado.

 

Imagem 4: HAQM FSx for Windows criado.

 

Imagem 5: Acessando os dados do HAQM FSx.

 

Para a criação do HAQM FSx File Gateway, selecionamos a opção “Storage > Storage Gateway” ou efetuamos a pesquisa do produto “Storage Gateway”.

 

Imagem 6: Localizando o Storage Gateway na lista de produtos AWS.

 

Imagem 7: Localizando o Storage Gateway na barra de pesquisa.

 

Agora, selecionamos a opção “Create Gateway” para efetuar a criação do File Gateway que será utilizado nesta demonstração.

 

Imagem 8: Iniciando o setup para o File Gateway.

 

Selecionamos a opção “HAQM FSx File Gateway”.

 

Imagem 9: Selecionando a opção “HAQM FSx File Gateway”.

 

Na opção de plataforma, iremos selecionar “HAQM EC2” em caráter de teste. Geralmente, as opções mais comuns são VMWare, Hyper-V, KVM ou appliance físico ; vide que o modelo de arquitetura é manter o caching de storage no ambiente on-premises. O modelo de EC2 geralmente é utilizado quando o dado reside no HAQM FSx for Windows e é necessário um caching de leitura para uma aplicação que também reside em EC2, ou até um cacheamento para cenários de multi-região.

 

Imagem 10: Selecionando a plataforma do HAQM FSx File Gateway.

 

Iremos seguir as instruções de setup para a execução do HAQM FSx File Gateway em EC2.

 

Imagem 11: EC2 HAQM FSx File Gateway em execução.

 

Agora, iremos selecionar a opção de endpoint de serviço. Para mais informações, clique aqui.

 

Imagem 12: Selecionando o tipo de endpoint para o HAQM FSx File Gateway.

 

No próximo passo, iremos nos conectar ao HAQM FSx File Gateway.

 

Imagem 13: Conectando ao HAQM FSx File Gateway.

 

Agora iremos ativar o HAQM FSx File Gateway e atribuir um nome para o serviço.

 

Imagem 14: Ativando o HAQM FSx File Gateway e atrib.

 

Agora, iremos escolher os discos locais para o HAQM FSx File Gateway utilizar para armazenamento em cache (buffer de upload). Os discos locais correspondem aos discos provisionados no EC2.

 

Imagem 15: Selecionando os discos para armazenamento em cache.

 

Iremos criar um novo log group no CLoudWatch para o armazenamento de dados de monitoramento do HAQM FSx File Gateway.*

 

Imagem 16: Habilitando logging.

 

Na tela seguinte, revisamos as configurações e selecionamos a opção “Finish”. Fomos redirecionados à console do Storage Gateway, com o nosso HAQM FSx File Gateway em execução.

 

Imagem 17: HAQM FSx File Gateway em execução.

 

Agora, iremos selecionar a opção “Attach FSx file system”.

 

Imagem 18: Integrando o HAQM FSx File Gateway com o HAQM FSx for Windows.

 

Na próxima tela de configuração, adicionamos as informações do Active Directory em que o HAQM FSx for Windows é membro, juntamente com as informações de usuário para efetuar o domain join.

Tenha certeza de que o EC2 consegue resolver os nomes para o seu “domain name”. Para mais informações sobre DNS Híbrido da AWS com o Active Directory, clique aqui.

 

Imagem 19: Adicionando o HAQM FSx File Gateway no domínio.

 

Imagem 20: Adicionando o HAQM FSx File Gateway no domínio, status em progresso.

 

Agora, iremos atribuir o HAQM FSx for Windows que será utilizado. Nesta opção, selecionamos o HAQM FSx for Windows que foi criado para esta demonstração.

 

Imagem 21: Selecionando o HAQM FSx for Windows.

 

Podemos também configurar os intervalos em que o cache do HAQM FSx File Gateway irá atualizar os arquivos (refresh interval). Nesta demonstração, estamos usando um TTL de 1 hora.

 

Imagem 22: Atribuindo o refresh interval.

 

Na próxima página, revisamos as configurações e clicamos em “Attach”.

 

Imagem 23: HAQM FSx File Gateway e HAQM FSx for Windows em processo de integração.

 

Após alguns minutos, o status é alterado para “Available”.

 

Imagem 24: HAQM FSx File Gateway integrado com o HAQM FSx for Windows.

 

Agora que configuramos o HAQM FSx File Gateway, podemos utilizar este recurso em um EC2 Windows.

 

Imagem 25: Comando para mapear um drive de rede com o HAQM FSx File Gateway.

 

Podemos confirmar que o HAQM FSx File Gateway está efetuando o cache de conteúdo do HAQM FSx:

 

Imagem 26: Arquivos de fotos armazenados no HAQM FSx for Windows.

 

Imagem 27: Arquivos de fotos armazenados no HAQM FSx File Gateway.

 

Agora, criamos uma nova pasta no HAQM FSx, chamada “Teste”. Podemos ver que o HAQM FSx File Gateway ainda não possui ela “replicada”, devido ao refresh time interval configurado no setup (1 hora):

 

Imagem 28: Pasta “Teste“ criada no HAQM FSx for Windows.

 

Imagem 29: Pasta “Teste“ ainda não replicada no FSx File Gateway.

 

Imagem 30: Pasta “Teste“ replicada no HAQM FSx File Gateway após 1 hora.

 

Ao clicar em “Propriedades” de qualquer arquivo ou pasta do HAQM FSx File Gateway, também podemos confirmar que o permissionamento de Active Directory é mantido (Security).

 

Imagem 31: Permissionamento do arquivo no HAQM FSx File Gateway.

 

Nos eventos de auditoria do HAQM FSx for Windows, os logs são mantidos:

 

Imagem 32: Eventos de auditoria do HAQM FSx for Windows.

 

Optar por uma solução de gateway próximo das aplicações on-premises pode ter um impacto positivo no desempenho. Para demonstrar, iremos efetuar o download da última versão do DiskSpd e executar um teste de performance com o objetivo de comparar o HAQM FSx com o HAQM FSx File Gateway.

Este exemplo executará um teste de I/O randômico de 30 segundos usando um arquivo de teste de 2GB com uma taxa de gravação de 25% e leitura de 75%, com um tamanho de bloco de 8K. Ele usará oito threads de trabalho, cada um com quatro I/Os e um valor de gravação de 1 GB.

Configurações

  • HAQM FSx HDD com 32 MB/s Throughput (US West Oregon).
  • Servidor de aplicação em EC2 M5xLarge (South East Asia Singapore).
  • Conexão (VPC Peering) entre US West Oregon & South East Asia Singapore.
  • Appliance do HAQM FSx File Gateway instalado em uma instância EC2 M4xLarge com 150 GB de cache (South East Asia Singapore)

Teste 1) HAQM FSx for Windows

$random = $(Get-Random)

fsutil file createnew 
\\amznfsxovuaxsaw.example.com\share\${env:computername}-$random.dat 2000000000

DiskSpd.exe –b8K –d30 –o4 –t8 –h –r –w25 –L –Z1G 
\\amznfsxovuaxsaw.example.com\share\${env:computername}-$random.dat

 

Imagem 33: Execução de diskspd no HAQM FSx for Windows

 

Teste 2) HAQM FSx File Gateway 

$random = $(Get-Random)

fsutil file createnew 
\\amazonfgw.example.com\share\${env:computername}-$random.dat 2000000000

DiskSpd.exe –b8K –d30 –o4 –t8 –h –r –w25 –L –Z1Gdisk 
\\amazonfgw.example.com\share\${env:computername}-$random.dat

Imagem 34: Execução de diskspd no HAQM FSx File Gateway

 

Comparando os resultados, conseguimos comprovar que a utilização do HAQM FSx File Gateway melhora a performance de utilização:

 

HAQM FSx for Windows Read IO

Imagem 35: HAQM Fsx for Windows: média de 157 IOPS.

 

HAQM FSx for Windows Read (ms)

Imagem 36: HAQM Fsx for Windows: 99% das operações de leitura com uma latência média de 329 milissegundos.

 

HAQM FSx File Gateway Read IO

Imagem 37: HAQM Fsx File Gateway: média de 1587 IOPS.

 

HAQM FSx File Gateway Read (ms)

Imagem 38: HAQM Fsx for Windows: 99% das operações de leitura com uma latência média de 215 milissegundos.

Em mais testes efetuados com o HAQM FSx File Gateway, comprovamos uma melhoria significativa de acesso:

Resultados com HAQM FSx for Windows (sem HAQM FSx File Gateway)

  • Entre 30-40 minutos para uma cópia de 3GB para o HAQM FSx for Windows.
  • 5 minutos para remover os 3GB (separados em 186 arquivos).
  • Entre 30-45min para uma cópia de 8GB (único arquivo) do HAQM FSx for Windows para o EC2.

Resultados HAQM FSx for Windows integrado com o HAQM FSx File Gateway

  • Entre 1-2 minutos para uma cópia de 3GB para o HAQM FSx File Gateway.
  • 1-2 segundos para remover os 3GB (separados em 186 arquivos).
  • 1-3 minutos para uma cópia de 8GB (único arquivo) do HAQM FSx File Gateway para o EC2.

 

*Para validar as métricas de utilização do HAQM FSx File Gateway, basta acessar o CloudWatch e criar o dashboard.

 

Imagem 39: Dashboard de utilização do HAQM FSx File Gateway.

 

Neste blog post, demonstramos a utilização do HAQM FSx File Gateway para fornecimento de baixa latência e acesso eficiente a compartilhamentos de arquivos do HAQM FSx para Windows File Server.

 

Imagem 40: Modelo de arquitetura do HAQM FSx File Gateway, com acesso de clientes SMB (onpremises) e uma conexão de rede para a AWS Cloud, com o HAQM FSx for Windows atuando como fonte de armazenamento de dados.

 

Sobre os autores

Caio Ribeiro César atualmente trabalha como arquiteto de soluções especializadas em tecnologia da Microsoft na nuvem AWS. Ele iniciou sua carreira profissional como administrador de sistemas, que continuou por mais de 14 anos em áreas como Segurança da Informação, Identity Online e Plataformas de Email Corporativo. Recentemente, se tornou fã da computação em nuvem da AWS e auxilia os clientes a utilizar o poder da tecnologia da Microsoft na AWS.

 

 

 

 

Diego Voltz atua como arquiteto de soluções senior no seguimento de enterprise na AWS. Ele atuou por 15 anos como CTO de Startups no seguimento de Web Hosting e Health, tendo como foco virtualização, Storage e containers, hoje ajuda os clientes da AWS na jornada de adoção da nuvem e na otimização dos custos.

 

 

 

 

Samuel Sousa é Arquiteto de Soluções especialista em Storage na AWS para a América Latina. Ele possui mais de 10 anos de experiência na área de arquitetura de soluções focado especificamente no armazenamento, gerenciamento, proteção e recuperação de dados. Juntou-se ao time da AWS em 2020 e, desde então, vem ajudando os clientes a migrar e a otimizar suas cargas de trabalho na nuvem.