Blog de HAQM Web Services (AWS)

Discusión de las opciones de almacenamiento para Windows Server en AWS, parte 1: Gateway de archivos HAQM FSx

Por: Caio Ribeiro César, Arquitecto de Soluciones Especializadas en Microsoft  AWS
Diego Voltz, Arquitecto de Soluciones Senior em Enterprise AWS y
Samuel Sousa, Arquitecto de Soluciones especialista en Storage AWS.

 

AWS Storage Gateway es un conjunto de servicios que permite ampliar los beneficios de la nube a las aplicaciones que residen en las instalaciones. La integración se realiza sin necesidad de modificar la forma en que las aplicaciones se comunican actualmente porque la comunicación se realiza mediante el uso de protocolos de almacenamiento estándar como NFS, SMB e iSCSI. AWS Storage Gateway tiene cuatro tipos: Volume Gateway, Tape Gateway, HAQM S3 File Gateway y HAQM S3 File Gateway.

Los dos últimos serán objetos de estudio de esta serie, pero primero, hablemos un poco de HAQM FSx para Windows.

HAQM FSx para Windows File Server proporciona almacenamiento de archivos altamente fiable, escalable y totalmente administrado, accesible mediante el protocolo Service Message Block (SMB).  Este servicio se basa en el sistema operativo Windows Server y ofrece una amplia gama de características administrativas (cuotas de usuario, instantáneas, integración con Microsoft Active Directory, deduplicación de datos, entre otras). HAQM FSx para Windows ofrece opciones de implementación Multi-AZ y AZ única, copias de seguridad totalmente gestionadas y cifrado de datos en reposo y en tránsito. Además, los clientes pueden optimizar las necesidades de carga de trabajo y el rendimiento con opciones de almacenamiento SSD y HDD, además de escalar el almacenamiento y cambiar el rendimiento del sistema de archivos en cualquier momento. Se puede acceder al almacenamiento de archivos HAQM FSx desde instancias y dispositivos informáticos Windows, Linux y macOS que se ejecutan en AWS o en las instalaciones.

En el 2020, creamos una serie de publicaciones que explican las características de HAQM FSx para Windows. Esta serie tiene cuatro capítulos:

  1. Creación y configuración de FSx
  2. Más características: VolumeShadowCopy, espacio de nombres DFS, deduplicación de datos y cuotas
  3. Asignación de FSx a servidores Linux
  4. Migración de datos con AWS DataSync (escenario multirregional)

También en el 2020 creamos un taller bajo demanda que analiza y demuestra las características y arquitecturas de HAQM FSx para Windows.

En esta nueva serie, analizaremos y compararemos las opciones de almacenamiento de Windows Server en AWS. Se dividirá en tres partes:

  • Parte 1: HAQM FSx File Gateway (usted está aquí)
  • Parte 2: Gateway de archivos de HAQM S3
  • Parte 3: HAQM FSx File Gateway vs. Gateway de archivos de HAQM S3

Como se describe anteriormente,  tenemos varias publicaciones sobre HAQM FSx para Windows. En esta ocasión, hablaremos del lanzamiento realizado en el 2021: HAQM FSx File Gateway.

HAQM FSx File Gateway es un nuevo tipo de puerta de enlace de archivos que proporciona baja latencia y acceso eficiente a recursos compartidos de archivos de HAQM FSx para Windows File Server. En un escenario en el que el acceso se hace desde el entorno local, debido a los requisitos de latencia o ancho de banda, podemos utilizar HAQM FSx File Gateway para obtener acceso directo a sistemas de archivos compartidos Windows totalmente administrados, altamente confiables y escalables hasta PB (utilizando espacios de nombres DFS) proporcionados por HAQM FSx para Windows File Server.

La integración de HAQM FSx para Windows con HAQM FSx File Gateway presenta varias ventajas:

  1. Eliminar los servidores de archivo del entorno local y consolidar todos los datos en AWS para aprovechar la escalabilidad y la economía del almacenamiento en la nube.
  2. Proporcionar opciones que se puedan utilizar para una variedad de cargas de trabajo, incluidas aquellas que requieren acceso local a los datos en la nube (mayor velocidad de acceso híbrido). El acceso de baja latencia permite continuar el uso de aplicaciones sensibles a la latencia. El almacenamiento en caché conserva el ancho de banda compartido entre el entorno local y la nube, el cual es importante cuando muchos usuarios intentan acceder directamente a los archivos compartidos.
  3. Las aplicaciones que requieren permanecer en el entorno local pueden beneficiarse de la misma baja latencia y alto rendimiento que tendrían al ejecutarse en la nube Elastic Compute en AWS (EC2), sin sobrecargar sus redes ni afectar las latencias experimentadas por sus aplicaciones más exigentes.
  4. La adopción de la nube se puede realizar en varios pasos y con una mayor granularidad, lo que reduce el impacto y el tiempo de desmontaje del entorno en las instalaciones.
  5. Este modelo de arquitectura hace que los datos residan en HAQM FSx para Windows, utilizando las diversas ventajas de este producto.
  6. Integración con copias de seguridad (incluidas las copias de seguridad realizadas directamente en HAQM FSx para Windows y AWS Backup). Antes de iniciar una copia de seguridad, HAQM FSx se comunica con cada HAQM FSx File Gateway forzar la escritura de datos que aún no han sido persistidos al almacenamiento, lo que ayuda a reducir aún más la carga administrativa y las preocupaciones al mover los sistemas de archivos compartidos locales a la nube.
  7. Disminución del costo de transferencia de datos en AWS en comparación con el escenario en el cual la aplicación accede directamente a HAQM FSx para Windows. Para obtener más información sobre los costos de transferencia de datos en AWS, haga clic aquí.

HAQM FSx File Gateway está disponible en varias opciones de plataforma: dispositivo físico, máquinas virtuales (VMware ESXi, Microsoft Hyper-V, KVM Linux) o en EC2.

Para mostrar la funcionalidad, utilizaremos un HAQM FSx para Windows en la región de São Paulo (sa-east-1) como fuente de datos de almacenamiento. Recuerde que tenemos como requisitos previos la configuración de una VPC, un grupo de seguridad (como mínimo) y, en el caso de la configuración Multi-AZ, dos subredes (una en cada zona de disponibilidad). Tras validar los requisitos previos, estableceremos la tasa de transferencia en 32 MB/s, mínima necesaria para la demostración de la funcionalidad de auditoría.

 

Imagen 1: Creación de HAQM FSx para Windows con la configuración de Multi-AZ, SSD de 32 GB y 32 MB/S de tasa de transferencia .  La auditoría de acceso a archivos requiere un sistema de archivos con una capacidad de transferencia mínima de 32 MB/s.

 

Imagen 2: Configuración de auditoría de HAQM FSx para Windows.

 

Imagen 3: Se está creando HAQM FSx para Windows.

 

Imagen 4: Se ha creado HAQM FSx para Windows.

 

Imagen 5: Acceso a los datos de HAQM FSx.

 

Para la creación de HAQM FSx File Gateway, seleccionamos la opción «Almacenamiento > Storage Gateway» o buscamos el producto «Storage Gateway».

 

Imagen 6: Búsqueda de Storage Gateway en la lista de productos de AWS.

 

Imagen 7: Búsqueda de Storage Gateway en la barra de búsqueda.

 

Ahora seleccionamos la opción «Create Gateway» (Crear puerta de enlace) para crear la puerta de enlace de archivos que se utilizará en esta demostración.

 

Imagen 8: Inicio de la configuración de File Gateway.

 

Seleccionamos la opción «HAQM FSx File Gateway».

 

Imagen 9: Selección de la opción «HAQM FSx File Gateway».

 

En la opción de plataforma, seleccionaremos «HAQM EC2» a manera de prueba. En general, las opciones más comunes son VMware, Hyper-V, KVM o un dispositivo físico. Note que el modelo de arquitectura consiste en mantener el almacenamiento en caché en el entorno local. El modelo EC2 se utiliza normalmente cuando los datos se encuentran en HAQM FSx para Windows y se requiere almacenamiento en caché de lectura para una aplicación que también reside en EC2, o incluso un almacenamiento en caché para escenarios de varias regiones.

 

Imagen 10: Selección de la plataforma de HAQM FSx File Gateway.

 

Seguiremos las instrucciones de configuración para ejecutar HAQM FSx File Gateway en EC2.

 

Imagen 11: EC2 HAQM FSx File Gateway en ejecución.

 

Ahora seleccionaremos la opción VPC para configurar el punto de enlace. Para obtener más información, haga clic aquí.

 

Imagen 12: Selección del tipo de punto de enlace para HAQM FSx File Gateway.

 

En el siguiente paso, nos conectaremos a HAQM FSx File Gateway.

 

Cuadro 13: Conexión a HAQM FSx File Gateway.

 

Ahora activaremos HAQM FSx File Gateway y asignaremos un nombre al servicio.

 

Cuadro 14: Habilitación de HAQM FSx File Gateway y Attrib.

 

Ahora elegiremos los discos locales de HAQM FSx File Gateway para utilizarlos como almacenamiento en caché (búfer de carga). Los discos locales corresponden a los discos aprovisionados en la instancia de EC2.

 

Cuadro 15: Selección de los discos para almacenar en caché.

 

Creamos un nuevo grupo de registros en CloudWatch para almacenamiento de datos de monitoreo de HAQM FSx File Gateway. *

 

Imagen 16: Habilitación del registro.

 

En la siguiente pantalla, revisamos la configuración y seleccionamos la opción «Finalizar». Nos redirige a la consola de Storage Gateway, con nuestra HAQM FSx File Gateway en ejecución.

 

Imagen 17: HAQM FSx File Gateway en ejecución.

 

Ahora seleccionaremos la opción «Adjuntar sistema de archivos FSx».

 

Imagen 18: Integración de HAQM FSx File Gateway con HAQM FSx para Windows.

 

En la siguiente pantalla de configuración, agregamos la información del Active Directory del cual nuestro HAQM FSx for Windows será miembro, junto con la información de usuario para realizar la unión al dominio.

Asegúrese de que EC2 pueda resolver a través de DNS las direcciones IP de «nombre de dominio».  Para obtener más información sobre el DNS híbrido de AWS con Active Directory, haga clic aquí.

 

Imagen 19: Agregar HAQM FSx File Gateway al dominio.

 

Imagen 20: Agregar HAQM FSx File Gateway al dominio, estado en curso.

 

Ahora asignaremos el HAQM FSx para Windows que utilizará el HAQM FSx File Gatewat. En esta opción, seleccionamos el sistema de archivos HAQM FSx para Windows que se creó para esta demostración.

 

Cuadro 21: Selección de HAQM FSx para Windows.

 

También podemos configurar los intervalos en los que la caché de HAQM FSx File Gateway actualizará los archivos (intervalo de actualización). En esta demostración, usamos un TTL de 1 hora.

 

Imagen 22: Asignación del intervalo de actualización.

 

En la página siguiente, revisamos la configuración y hacemos clic en «Attach FSx file system» (adjuntar el sistema de archivos compartido FSx).

 

Imagen 23: HAQM FSx File Gateway y HAQM FSx para Windows en proceso de integración.

 

Después de unos minutos, el estado cambia a «Available» (disponible).

 

Imagen 24: HAQM FSx File Gateway integrado con HAQM FSx para Windows.

 

Ahora que hemos configurado HAQM FSx File Gateway, podemos utilizar esta función en una instancia EC2 que ejecuta Windows.

 

Imagen 25: Comando para asignar una unidad de red con HAQM FSx File Gateway.

 

Podemos confirmar que HAQM FSx File Gateway está almacenando en caché el contenido de HAQM FSx:

 

Cuadro 26: Archivos de fotos almacenados en HAQM FSx para Windows.

 

Imagen 27: Archivos de fotos almacenados en HAQM FSx File Gateway.

 

Ahora, hemos creado una nueva carpeta en HAQM FSx, llamada «Test». Podemos ver que HAQM FSx File Gateway todavía no la ha «replicado» debido al intervalo de tiempo de actualización configurado (1 hora):

 

Imagen 28: Carpeta de prueba creada en HAQM FSx para Windows.

 

Imagen 29: La carpeta «Test» aún no se ha replicado en FSx File Gateway.

 

Imagen 30: Carpeta de prueba replicada en HAQM FSx File Gateway después de 1 hora.

 

Al hacer clic en «Propiedades» de cualquier archivo o carpeta de HAQM FSx File Gateway, también podemos confirmar que se mantienen los permisos de Active Directory (Seguridad).

 

Imagen 31: Permiso del archivo en HAQM FSx File Gateway.

 

Los registros de  los eventos de auditoría de HAQM FSx para Windows se guardan Cloudwatch:

 

Imagen 32: Eventos de auditoría de HAQM FSx para Windows.

 

Optar por una solución de puerta de enlace cercana a las aplicaciones locales puede tener un impacto positivo en el rendimiento. Para demostrarlo, descargaremos la última versión de DiskSPD y realizaremos una prueba de rendimiento para comparar HAQM FSx con HAQM FSx File Gateway.

En este ejemplo se ejecutará una prueba de I/O aleatorio de 30 segundos utilizando un archivo de prueba de 2 GB con una tasa de escritura del 25% y lectura del 75%, con un tamaño de bloque de 8K. Utilizará ocho hilos de trabajo, cada uno con cuatro operaciones de I/O y un valor de escritura de 1 GB.

Configuración

  • Unidad de disco duro HAQM FSx con una tasa de transferencia de 32 MB/s (EE. UU., Oregón occidental).
  • Servidor de aplicaciones en EC2 M5xLarge (Sudeste Asiático Singapur).
  • Conexión (interconexión de VPC) entre Estados Unidos, Oregón occidental y el sudeste asiático Singapur.
  • HAQM FSx File Gateway Appliance instalado en una instancia de caché EC2 M4xLarge de 150 GB (Sudeste Asiático Singapur)

 

Prueba 1) HAQM FSx para Windows

$random = $(Get-Random)

fsutil file createnew 
\\amznfsxovuaxsaw.example.com\share\${env:computername}-$random.dat 2000000000

DiskSpd.exe –b8K –d30 –o4 –t8 –h –r –w25 –L –Z1G 
\\amznfsxovuaxsaw.example.com\share\${env:computername}-$random.dat

 

Imagen 33: Ejecución de diskspd en HAQM FSx para Windows

 

Prueba 2) HAQM FSx File Gateway 

$random = $(Get-Random)

fsutil file createnew 
\\amazonfgw.example.com\share\${env:computername}-$random.dat 2000000000

DiskSpd.exe –b8K –d30 –o4 –t8 –h –r –w25 –L –Z1Gdisk 
\\amazonfgw.example.com\share\${env:computername}-$random.dat

Imagen 34: Ejecución de diskspd en HAQM FSx File Gateway

 

Al comparar los resultados, hemos podido demostrar que el uso de HAQM FSx File Gateway mejora el rendimiento:

 

E/S de lectura de HAQM FSx para Windows

Imagen 35: HAQM Fsx para Windows: promedio de 157 IOPS.

 

Lectura de HAQM FSx para Windows (ms)

Imagen 36: HAQM FSx para Windows: 99% de las operaciones de lectura con una latencia promedio de 329 milisegundos.

 

IO de lectura de HAQM FSx File Gateway

Imagen 37: HAQM Fsx File Gateway: media de 1587 IOPS.

 

Lectura de HAQM FSx File Gateway (ms)

Imagen 38: HAQM FSx para Windows: 99% de las operaciones de lectura con una latencia promedio de 215 milisegundos.

En más pruebas realizadas con HAQM FSx File Gateway, hemos demostrado una mejora significativa en el acceso:

Resultados con HAQM FSx para Windows (sin HAQM FSx File Gateway)

  • Entre 30 y 40 minutos para copiar 3 GB a HAQM FSx para Windows.
  • 5 minutos para eliminar los 3 GB (separados en 186 archivos).
  • Entre 30 y 45 minutos para una copia de 8 GB (archivo único) de HAQM FSx para Windows para EC2.

Resultados de HAQM FSx para Windows integrados con HAQM FSx File Gateway

  • Entre 1 a 2 minutos para copiar 3 GB a HAQM FSx File Gateway.
  • 1 o 2 segundos para eliminar los 3 GB (separados en 186 archivos).
  • 1 a 3 minutos para copiar 8 GB (archivo único) desde HAQM FSx File Gateway a EC2.

 

*Para validar las métricas de uso de HAQM FSx File Gateway, simplemente vaya a CloudWatch y cree un panel de control.

Imagen 39: Panel de uso de HAQM FSx File Gateway.

 

En este blog, demostramos el uso de HAQM FSx File Gateway para proporcionar baja latencia y acceso eficiente a los recursos compartidos de archivos de HAQM FSx para Windows File Server.

 

 

 

 

Imagen 40: Arquitectura de HAQM FSx File Gateway, con acceso de cliente SMB (local) y conexión de red a la nube de AWS, usando HAQM FSx para Windows como fuente de almacenamiento de datos.

 

Este artículo fue traducido del Blog de AWS en Portugués

 

Sobre los autores

Caio Ribeiro César es Arquitecto de Soluciones Especialista en Microsoft en AWS Brasil.

 

 

 

 

Diego Voltz trabaja como arquitecto de soluciones sénior, en el segmento enterprise AWS.  Diego se ha desempeñado como CTO de Startups  en los sectores de Web Hosting y HealthTech, centrándose en virtualización, almacenamiento y contenedores. Hoy, ayuda a los clientes de AWS en el proceso de adopción de la nube y la optimización de costos.

 

 

 

Samuel Sousa es Arquitecto de Soluciones especialista en Storage AWS América Latina.