Características de HAQM Managed Service para Apache Flink

HAQM Managed Service para Apache Flink incluye bibliotecas de código abierto tales como Apache Flink, Apache Beam, Apache Zeppelin, SDK de AWS e integraciones de servicios de AWS. Apache Flink es un marco y motor que sirve para crear aplicaciones de streaming precisas y de alta disponibilidad. Apache Beam es un modelo unificado para definir aplicaciones de streaming y de procesamiento de datos por lotes que se ejecutan en varios motores de ejecución. El SDK de AWS elimina la complejidad de la codificación para muchos servicios de AWS al proporcionar API en su idioma preferido e incluye bibliotecas de AWS, ejemplos de código y documentación. 

HAQM Managed Service para Apache Flink es compatible con las API flexibles de Flink en Java, Scala, Python y SQL especializadas para diferentes casos de uso, incluido el procesamiento de eventos con estado, ETL de streaming (extracción, transformación y carga) y análisis en tiempo real. Con operadores prediseñados y capacidades de análisis, puede crear una aplicación de streaming de Apache Flink en cuestión de horas en lugar de meses, y las bibliotecas son ampliables, por lo que puede realizar el procesamiento en tiempo real para varios casos de uso.

Puede configurar e integrar un destino u origen de datos con un código mínimo. Utilice las bibliotecas de HAQM Managed Service para Apache Flink para integrarlas con los siguientes servicios de AWS:  

• HAQM S3
• HAQM MSK
• HAQM OpenSearch Service
• HAQM DynamoDB
• HAQM Kinesis Data Streams
• HAQM Kinesis Data Firehose
• HAQM CloudWatch
• AWS Glue Schema Registry

Además de las integraciones de AWS, las bibliotecas de HAQM Managed Service para Apache Flink incluyen más de 40 conectores de Apache Flink y la capacidad de crear integraciones personalizadas. Con algunas líneas de código más, puede modificar el comportamiento de cada integración con la funcionalidad avanzada. También puede crear integraciones personalizadas mediante un conjunto de tipos primitivos de Apache Flink que le permiten leer y escribir desde archivos, directorios, conectores u otros orígenes a las que puede acceder a través de Internet.

Con HAQM Managed Service para Apache Flink, puede crear aplicaciones en las que los registros procesados afectan los resultados exactamente una vez, lo que se conoce como procesamiento único. Incluso en el caso de una interrupción de la aplicación, como el mantenimiento del servicio interno o la actualización de la aplicación iniciada por el usuario, el servicio garantiza que todos los datos se procesen y que no haya datos duplicados.

El servicio almacena el procesamiento, o estado, previo y en curso en el almacenamiento de la aplicación en ejecución. Compare resultados pasados y actuales durante cualquier periodo de tiempo y logre una recuperación rápida durante las interrupciones de la aplicación. El estado siempre está cifrado y se guarda de manera progresiva en el almacenamiento de la aplicación en ejecución.

Puede crear y eliminar copias de seguridad de aplicaciones duraderas a través de una simple llamada a la API. Restaure inmediatamente sus aplicaciones desde la última copia de seguridad después de una interrupción, o restaure su aplicación a una versión anterior. 

HAQM Managed Service para Apache Flink admite algoritmos de aprendizaje automático (ML). Puede crear aplicaciones en tiempo real para la clasificación, la agrupación en clústeres, la evaluación, las recomendaciones de ingeniería de características, las regresiones y las estadísticas. 

HAQM Managed Service para Apache Flink es compatible con AWS Glue Schema Registry. Schema Registry le permite mejorar la calidad de los datos y a protegerse frente a cambios inesperados mediante comprobaciones de compatibilidad que rigen la evolución de los esquemas en HAQM Managed Service para Apache Flink para cargas de trabajo conectadas a Apache Kafka, HAQM MSK o HAQM Kinesis Data Streams, ya sea como conector de origen o de destino.