Preguntas frecuentes sobre HAQM Managed Service para Apache Flink

Sí, mediante el uso de los conectores de Apache Flink DataStream, las aplicaciones de HAQM Managed Service para Apache Flink pueden utilizar AWS Glue Schema Registry, una función sin servidor de AWS Glue. Puede integrar Apache Kafka, HAQM MSK y HAQM Kinesis Data Streams, como receptor u origen, con sus cargas de trabajo de HAQM Managed Service para Apache Flink. Consulte la guía para desarrolladores de AWS Glue Schema Registry para empezar y obtener más información.

Una aplicación es la entidad de HAQM Managed Service para Apache Flink con la que trabaja. Las aplicaciones de HAQM Managed Service para Apache Flink leen y procesan continuamente los datos de streaming en tiempo real. Usted escribe un código de aplicación en un lenguaje compatible con Apache Flink para procesar los datos de streaming entrantes y producir elementos de salida. A continuación, HAQM Managed Service para Apache Flink escribe el resultado en un destino configurado.

Cada aplicación posee tres componentes principales:

1. Entrada: la entrada es el origen de streaming de su aplicación. En la configuración de entrada, se asignan las fuentes de streaming a los flujos de datos. Los datos fluyen de sus orígenes de datos a sus flujos de datos. Se procesan los datos de estos flujos de datos al utilizar el código de la aplicación, al enviar datos procesados a sus flujos o destinos de datos posteriores. Las entradas se añaden dentro del código de la aplicación para las aplicaciones de Apache Flink y los bloc de notas de Studio y a través de la API de las aplicaciones de HAQM Managed Service para Apache Flink. 
2. Código de la aplicación: el código de la aplicación es una serie de operadores de Apache Flink que procesan elementos de entrada y producen elementos de salida. En su forma más simple, el código de la aplicación puede ser un único operador de Apache Flink que lee a partir de un flujo de datos asociado con un origen de streaming y escribe en otro flujo de datos asociado con un elemento de salida. En el caso de un bloc de notas de Studio, podría tratarse de una simple consulta selecta de SQL de Flink, con los resultados mostrados en contexto dentro del bloc de notas. Puede escribir el código de Apache Flink en los idiomas compatibles para las aplicaciones de HAQM Managed Service para Apache Flink o los blocs de notas de Studio.
3. Salida: luego, si lo desea, puede configurar la salida de una aplicación para conservar los datos en un destino externo. Estos resultados se añaden dentro del código de aplicación para las aplicaciones de HAQM Managed Service para Apache Flink y los blocs de notas de Studio. 

AWS proporciona varias herramientas que puede utilizar a fin de supervisar sus aplicaciones de HAQM Managed Service para Apache Flink, incluido el acceso al panel de Flink para las aplicaciones de Apache Flink. Puede configurar algunas de estas herramientas para que realicen la supervisión por usted. Para obtener más información sobre cómo supervisar la aplicación, consulte las siguientes guías para desarrolladores: 

• Supervisión de HAQM Managed Service para Apache Flink en la Guía para desarrolladores de HAQM Managed Service para Apache Flink.
• Supervisión de HAQM Managed Service para Apache Flink en la Guía para desarrolladores de HAQM Managed Service para Apache Flink Studio.

HAQM Managed Service para Apache Flink necesita permisos para leer los registros de los orígenes de datos de streaming que especifique en su aplicación. HAQM Managed Service para Apache Flink también necesita permisos para escribir la salida de su aplicación en destinos específicos en la configuración de salida de su aplicación. Puede conceder estos permisos mediante la creación de funciones de AWS Identity and Access Management (IAM) que HAQM Managed Service para Apache Flink pueda asumir. Los permisos que conceda a esta función determinan lo que HAQM Managed Service para Apache Flink puede hacer cuando el servicio asume la función. Para más información, consulte las siguientes guías para desarrolladores:

• Concesión de permisos en la Guía para desarrolladores de HAQM Managed Service para Apache Flink.
• Concesión de permisos en la Guía para desarrolladores de HAQM Managed Service para Apache Flink Studio.

HAQM Managed Service para Apache Flink ajusta la escala de su aplicación de manera elástica para adaptarse al procesamiento de datos de su flujo de origen y al nivel de complejidad de su consulta en la mayoría de los casos. HAQM Managed Service para Apache Flink aprovisiona la capacidad en forma de KPU de HAQM. Una KPU le proporciona 1 vCPU y 4 GB de memoria. 

Para las aplicaciones de Apache Flink y los blocs de notas de Studio, HAQM Managed Service para Apache Flink asigna 50 GB de almacenamiento de aplicaciones en ejecución por KPU que utiliza la aplicación para los puntos de control y está disponible para su uso a través de disco temporal. Un punto de control es una copia de seguridad actualizada de una aplicación en ejecución que se utiliza para recuperarse inmediatamente de una interrupción de la aplicación. También puede controlar la ejecución en paralelo de las tareas de la aplicación de HAQM Managed Service para Apache Flink (como la lectura de una fuente o un operador de ejecución) mediante los parámetros Parallelism y ParallelismPerKPU en la API. El parámetro Parallelism define el número de instancias simultáneas de una tarea. Todos los operadores, los orígenes y los receptores se ejecutan con un paralelismo definido, de forma predeterminada. El parámetro parallelismperKPU define la cantidad del número de tareas paralelas que se pueden programar por cada KPU de su aplicación, de forma predeterminada. Para obtener más información, consulte Escalamiento en la Guía para desarrolladores de HAQM Managed Service para Apache Flink. 

Para obtener información sobre las prácticas recomendadas para Apache Flink, consulte la sección Prácticas recomendadas de la Guía para desarrolladores de HAQM Managed Service para Apache Flink. La sección cubre las prácticas recomendadas para la tolerancia a errores, rendimiento, registro, codificación y más. 

Para obtener información sobre las prácticas recomendadas para HAQM Managed Service para Apache Flink Studio, consulte la sección Best Practices (Mejores prácticas) de la Guía para desarrolladores de HAQM Managed Service para Apache Flink Studio. Además de referirse a las prácticas recomendadas, esta sección cubre los ejemplos para aplicaciones SQL, Python y Scala, los requisitos para implementar su código como una aplicación de procesamiento de flujos en ejecución continua, el rendimiento, el registro y mucho más.

Sí. Puede obtener acceso a los recursos que hay detrás de una VPC de HAQM. Puede aprender a configurar su aplicación para acceder a una VPC en la sección Cómo usar una VPC de HAQM de la Guía para desarrolladores de HAQM Managed Service para Apache Flink.

Las aplicaciones de HAQM Managed Service para Apache Flink y los blocs de notas de HAQM Managed Service para Apache Flink Studio que están configurados para acceder a los recursos de una VPC determinada no tienen acceso a Internet como configuración predeterminada. Puede aprender a configurar el acceso a Internet para su aplicación en la sección Internet y acceso al servicio de la Guía para desarrolladores de HAQM Managed Service para Apache Flink.

Con HAQM Managed Service para Apache Flink, solo paga por lo que utiliza. HAQM Managed Service para Apache Flink no conlleva el aprovisionamiento de recursos ni costos iniciales. 

Se le cobra una tarifa por hora en función de la cantidad de KPU de HAQM que utilice para ejecutar su aplicación de streaming. Una sola KPU es una unidad de capacidad de procesamiento de secuencias compuesta de 1 vCPU de capacidad informática y 4 GB de memoria. HAQM Managed Service para Apache Flink escala automáticamente el número de KPU requerido por su aplicación de procesamiento de flujos, tales como las demandas de memoria y cálculo varían en respuesta a la complejidad del procesamiento y la velocidad de datos de streaming procesados. 

Para las aplicaciones de Apache Flink y Apache Beam, pagará una KPU adicional única por aplicación para la organización de aplicaciones. En las aplicaciones de Apache Flink y Apache Beam también paga por el almacenamiento de aplicaciones en ejecución y copias de seguridad de aplicaciones duraderas. El almacenamiento de aplicaciones en ejecución se utiliza para capacidades de procesamiento con estado en HAQM Managed Service para Apache Flink.s y se paga por GB al mes. Las copias de seguridad de aplicaciones duraderas son opcionales, se pagan por GB al mes y proporcionan un punto de recuperación a un momento dado para las aplicaciones. 

En el caso de HAQM Managed Service para Apache Flink Studio, en modo de desarrollo o interactivo, se le cobra una KPU adicional para la orquestación de aplicaciones y una KPU para el desarrollo interactivo. También se le cobra por la ejecución del almacenamiento de la aplicación. No se le cobra por las copias de seguridad duraderas de las aplicaciones.

Para obtener más información sobre precios, consulte la página de precios de HAQM Managed Service para Apache Flink.

Para las aplicaciones de Apache Flink y Apache Beam, si la aplicación de HAQM Managed Service para Apache Flink está en ejecución, se le cobrará un mínimo de dos KPU y 50 GB de almacenamiento de la aplicación en ejecución.

En el caso de los blocs de notas de HAQM Managed Service para Apache Flink Studio, se le cobrará un mínimo de 3 KPU y 50 GB de almacenamiento de aplicaciones en ejecución si la aplicación está en ejecución.

Apache Flink es un motor y marco de código abierto para el procesamiento de datos por lotes y de secuencias de datos. Esto facilita la creación de aplicaciones de streaming, porque proporciona operadores potentes y resuelve los principales problemas de streaming, tales como el procesamiento duplicado. Apache Flink proporciona distribución de datos, comunicación y tolerancia a fallos para cálculos distribuidos a lo largo de flujos de datos.

Puede comenzar por descargar las bibliotecas de código abierto, incluidos el SDK de AWS, Apache Flink y los conectores para los servicios de AWS. Obtenga instrucciones sobre cómo descargar las bibliotecas y crear su primera aplicación en la Guía para desarrolladores de HAQM Managed Service para Apache Flink.

Puede escribir su código de Apache Flink con secuencias de datos y operadores de secuencia. Las secuencias de datos de la aplicación son la estructura de datos con la que puede realizar el procesamiento en lugar de utilizar su código. Los datos fluyen de manera continua desde las fuentes hacia las secuencias de datos de aplicaciones. Se utilizan uno o dos operadores de secuencias para definir el procesamiento de secuencias de datos de la aplicación, incluidos la transformación, la partición, el agregado, la cadena y la ventana. Las secuencias de datos y los operadores se pueden conectar en cadenas en serie y en paralelo. A continuación se muestra un breve ejemplo del uso de un pseudocódigo.

DataStream <GameEvent> rawEvents = env.addSource(

New KinesisStreamSource(“input_events”));

DataStream <UserPerLevel> gameStream =

rawEvents.map(event - > new UserPerLevel(event.gameMetadata.gameId,

event.gameMetadata.levelId,event.userId));

gameStream.keyBy(event -> event.gameId)

.keyBy(1)

.window(TumblingProcessingTimeWindows.of(Time.minutes(1)))

.apply(...) - > {...};

gameStream.addSink(new KinesisStreamSink("myGameStateStream"));

Los operadores toman una secuencia de datos de la aplicación como entrada y envían los datos procesados a una secuencia de datos de la aplicación como salida. Los operadores pueden conectarse para crear aplicaciones con varios pasos y no requieren conocimientos avanzados de sistemas distribuidos para implementar y operar.

HAQM Managed Service para Apache Flink es compatible con todos los operadores de Apache Flink que se pueden utilizar para resolver una amplia variedad de casos de uso, como mapas, KeyBy, agregaciones, ventanas, uniones y más. Por ejemplo, el operador de mapas permite realizar procesamiento arbitrario, al tomar un elemento de un flujo de datos de entrada y producir otro elemento. KeyBy organiza lógicamente los datos mediante una clave específica para que usted pueda procesar puntos de datos similares juntos. Aggregations realiza el procesamiento a través de múltiples claves, como SUM, MIN y MAX. Window Join une dos flujos de datos juntos en una clave e intervalo determinados. 

Puede crear operadores personalizados si estos no satisfacen sus necesidades. Puede encontrar más ejemplos en la sección Operators (Operadores) de la Guía para desarrolladores de HAQM Managed Service para Apache Flink. Puede encontrar un listado detallado de los operadores de Apache Flink en la documentación de Apache Flink. 

Puede configurar integraciones predeterminadas proporcionadas por Apache Flink con código mínimo o crear su propia integración para conectarse virtualmente a cualquier origen de datos. Las bibliotecas de código abierto basadas en Apache Flink admiten fuentes y destinos de streaming, o receptores, para procesar la entrega de datos. Esto también incluye compatibilidad con el enriquecimiento de datos a través de conectores de E/S asíncrona. A continuación se detallan algunos de estos conectores:

• Orígenes de datos de streaming: HAQM Managed Streaming para Apache Kafka (HAQM MSK), Destinos de HAQM Kinesis Data Streams o receptores: HAQM Kinesis Data Streams
• HAQM Kinesis Data Firehose, HAQM DynamoDB, HAQM Elasticsearch Service y Simple Storage Service (HAQM S3) (a través de integraciones de receptores de archivos)

Sí. Puede usar aplicaciones de HAQM Managed Service para Apache Flink para replicar datos entre HAQM Kinesis Data Streams, HAQM MSK y otros sistemas. Un ejemplo presentado en la documentación demuestra cómo leer de un tema HAQM MSK y escribir en otro.

Puede agregar un origen o un destino a su aplicación basándose en un conjunto de primitivas que le permiten leer y escribir desde archivos, directorios, sockets o cualquier cosa a la que pueda acceder a través de Internet. Apache Flink proporciona estas primitivas para orígenes de datos y receptores de datos. Las primitivas vienen con configuraciones como la capacidad de leer y escribir datos de forma continua o una vez, de manera asincrónica o sincrónica, y mucho más. Por ejemplo, puede configurar una aplicación para leer de forma continua desde HAQM S3 mediante la ampliación de la actual integración de origen basada en archivos.

Las aplicaciones de Apache Flink en HAQM Managed Service para Apache Flink usan un modelo de entrega del tipo exactamente una vez si una aplicación está construida con operadores idempotentes, incluidas las fuentes y los receptores. Esto significa que los datos procesados afectan a los resultados posteriores una vez y sólo una vez.

De forma predeterminada, las aplicaciones de HAQM Managed Service para Apache Flink utilizan la semántica del tipo exactamente una vez de Apache Flink. La aplicación admite la semántica de procesamiento del tipo exactamente una vez si diseña sus aplicaciones con fuentes, operadores y receptores que utilizan la semántica del tipo exactamente una vez de Apache Flink.

HAQM Managed Service para Apache Flink realiza automáticamente una copia de seguridad del estado de la aplicación en ejecución mediante puntos de control e instantáneas. Los puntos de control guardan el estado actual de la aplicación y permiten que las aplicaciones de HAQM Managed Service para Apache Flink recuperen la posición de la aplicación para proporcionar la misma semántica como una ejecución sin errores. Los puntos de control utilizan almacenamiento de aplicaciones en ejecución. Los puntos de control para las aplicaciones de Apache Flink se proporcionan a través de la funcionalidad de puntos de control de Apache Flink. Las instantáneas guardan un punto de recuperación puntual para las aplicaciones y utilizan copias de seguridad duraderas de las aplicaciones. Las instantáneas son análogas a los puntos de guardado de Flink.

Para obtener más información sobre las versiones compatibles de Apache Flink, consulte la página Notas de lanzamiento de HAQM Managed Service para Apache Flink. Esta página también incluye las versiones de Apache Beam, Java, Scala, Python y SDK de AWS compatibles con HAQM Managed Service para Apache Flink. 

Sí, HAQM Managed Service para Apache Flink admite aplicaciones de streaming creadas con Apache Beam. Puede crear aplicaciones de streaming de Apache Beam en Java y ejecutarlas en diferentes motores y servicios, entre estos, Apache Flink en HAQM Managed Service para Apache Flink. Encontrará información sobre las versiones compatibles de Apache Flink y Apache Beam en la Guía para desarrolladores de HAQM Managed Service para Apache Flink. 

Puede comenzar desde las consolas de HAQM Managed Service para Apache Flink Studio, HAQM Kinesis Data Streams o HAQM MSK en unos pocos pasos para lanzar un bloc de notas sin servidor para consultar inmediatamente secuencias de datos y llevar a cabo análisis de datos interactivos.

Análisis de datos interactivos: puede escribir código en el bloc de notas en SQL, Python o Scala para interactuar con sus datos de streaming, y con tiempos de respuesta de consultas en segundos. Puede utilizar las visualizaciones integradas para explorar los dato, ver la información en tiempo real sobre sus datos de streaming desde su bloc de notas, y desarrollar aplicaciones de procesamiento de flujo con la tecnología de Apache Flink.

Una vez que su código esté listo para ejecutarse como una aplicación de producción, puede hacer la transición con un solo paso a una aplicación de procesamiento de flujo que procesa GB de datos por segundo, sin servidores.

Aplicación de procesamiento de flujo: una vez que esté listo para promover su código a producción, puede crearlo haciendo clic en “Deploy as stream processing application” (Implementar como aplicación de procesamiento de flujo) en la interfaz del bloc de notas o emitir un solo comando en la CLI. Studio se encarga de toda la gestión de la infraestructura necesaria para que pueda ejecutar su aplicación de procesamiento de flujo a escala, con el escalado automático y el estado duradero habilitados, al igual que en una aplicación de HAQM Managed Service para Apache Flink.

Puede realizar operaciones SQL como las siguientes:

• Escanear y filtrar (SELECT, WHERE [SELECCIONAR, DÓNDE]) 
• Agregaciones (GROUP BY, GROUP BY WINDOW, HAVING [AGRUPAR POR, AGRUPAR POR VENTANA, TENER]) 
• Conjunto (UNION, UNIONALL, INTERSECT, IN, EXISTS [UNIÓN, UNIONALL, CRUZAR, ADENTRO, EXISTE]) 
• Ordenar (ORDER BY, LIMIT [ORDENAR POR, LÍMITE]) 
• Uniones (INNER, OUTER, Timed Window: BETWEEN, AND, Joining with Temporal Tables – tables that track changes over time [INTERNA, EXTERNA, Ventana de tiempo: ENTRE, Y, Unir con tablas temporales: tablas que rastrean los cambios a lo largo del tiempo)
• Top-N
• Deduplicación
• Reconocimiento de patrones

Algunas de estas consultas, como GROUP BY (AGRUPAR POR), OUTER JOIN (UNIÓN EXTERNA) y Top N, son de actualización de resultados para datos de streaming, lo que significa que los resultados se actualizan continuamente a medida que se procesan los datos de streaming. También se admiten otras instrucciones DDL, como CREATE (CREAR), ALTER (MODIFICAR) y DROP (ARRASTRAR). Para obtener una lista completa de consultas y ejemplos, consulte la documentación de consultas sobre Apache Flink.

La API de tablas de Apache Flink es compatible con Python y Scala a través de la integración del lenguaje mediante cadenas de Python y expresiones de Scala. Las operaciones admitidas son muy similares a las operaciones SQL admitidas; entre ellas, seleccionar, ordenar, agrupar, unir, filtrar y crear ventanas. En nuestra Guía para desarrolladores, puede encontrar una lista completa de las operaciones y ejemplos.

Para obtener más información sobre las versiones compatibles de Apache Flink, consulte la página Notas de lanzamiento de HAQM Managed Service para Apache Flink. Esta página también incluye las versiones de Apache Zeppelin, Apache Beam, Java, Scala, Python y SDK de AWS compatibles con HAQM Managed Service para Apache Flink.

• Origen de datos: HAQM Managed Streaming para Apache Kafka (HAQM MSK), HAQM Kinesis Data Streams, HAQM S3 
• Destinos o máscaras: HAQM MSK, HAQM Kinesis Data Streams y HAQM S3

Puede obtener un crédito de servicio de SLA para HAQM Managed Service para Apache Flink en virtud del SLA de HAQM Managed Service para Apache Flink si más de una zona de disponibilidad en la que ejecuta una tarea, dentro de la misma región de AWS, tiene un porcentaje de tiempo de actividad mensual inferior al 99,9 % durante cualquier ciclo de facturación mensual. Para obtener información completa sobre los términos y las condiciones del SLA, así como detalles sobre cómo enviar una reclamación, consulte la página de información del SLA de HAQM Managed Service para Apache Flink.