Publicado en: Sep 3, 2019
Los clientes de HAQM SageMaker ahora pueden utilizar sistemas de archivos de HAQM FSx for Lustre de menor tamaño como origen de datos para entrenar modelos de aprendizaje automático. Hasta hoy, el sistema de archivos de FSx for Lustre más pequeño que se podía crear era de 3,6 TB. Para conjuntos de entrenamiento más pequeños, los clientes ahora pueden crear y usar sistemas de archivos de un tamaño de tan solo 1,2 TB.
HAQM FSx for Lustre es un sistema de archivos de alto rendimiento que funciona con datos de HAQM S3 y que está optimizado para cargas de trabajo como el aprendizaje automático, el análisis y la informática de alto rendimiento.
Con FSx for Lustre, los clientes pueden agilizar sus trabajos de entrenamiento de HAQM SageMaker. Antes de la presentación de la compatibilidad con HAQM FSx for Lustre del 27 de agosto de 2019, HAQM SageMaker descargaba de manera transparente un conjunto de entrenamiento completo de HAQM S3 al almacenamiento de archivos local al comienzo del trabajo de entrenamiento con el modo File input (Entrada de archivo). Ahora, con HAQM FSx for Lustre, los clientes pueden ahorrar el tiempo que implica la descarga inicial de HAQM S3 y, de este modo, acelerar los trabajos de entrenamiento del modo File (Archivo). Cuando están vinculado con HAQM S3, los sistemas de archivos de HAQM FSx for Lustre copian los objetos de HAQM S3 al sistema de archivos cuando se obtiene acceso a ellos por primera vez. El mismo sistema de archivos de HAQM FSx for Lustre se puede utilizar para trabajos de entrenamiento de HAQM SageMaker iterativos que se ejecuten en los mismos conjuntos de datos, lo que evita la descarga duplicada de objetos comunes. Mediante la compatibilidad con sistemas de archivos de menor tamaño, ahora es posible utilizar HAQM FSx for Lustre para un número aún mayor de cargas de trabajo de aprendizaje automático.
Los sistemas de archivos de HAQM FSx for Lustre de menor tamaño están disponibles en las siguientes regiones de AWS: EE.UU. Este (Norte de Virginia), EE.UU. Este (Ohio), EE.UU. Oeste (Oregón), EE.UU. Oeste (Norte de California), UE (Irlanda), UE (Fráncfort) y Asia Pacífico (Tokio). Para obtener información sobre la disponibilidad por regiones, consulte la Tabla de regiones de AWS.
Consulte la documentación para obtener más información y lea la publicación del blog para conocer cómo utilizar esta característica.