Publicado en: Nov 29, 2022
HAQM Redshift ahora admite la ingesta de streaming en tiempo real para HAQM Kinesis Data Streams (HAQM KDS) y HAQM Managed Streaming para Apache Kafka (HAQM MSK). La ingesta de streaming de HAQM Redshift elimina la necesidad de organizar los datos de streaming en HAQM S3 antes de ingerirlos en HAQM Redshift, lo que les permite a los clientes conseguir una baja latencia, medida en segundos, mientras ingieren cientos de megabytes de datos de streaming por segundo en su almacenamiento de datos.
Los ingenieros y analistas de datos, así como los desarrolladores de macrodatos, están desarrollando el análisis de lote a tiempo real, adoptando motores de streaming como HAQM KDS y HAQM MSK, para implementar una lógica de respuesta y análisis casi en tiempo real sobre los datos de las aplicaciones de streaming. Hoy en día, los clientes que quieren ingerir datos en tiempo real, procedentes de servicios como HAQM KDS y HAQM MSK, en HAQM Redshift primero deben preparar los datos en HAQM S3 y utilizar el comando COPY, que obtiene una latencia de minutos. Con la nueva capacidad de ingesta de streaming en HAQM Redshift, se puede utilizar SQL (Structured Query Language) dentro de Redshift para brindar la capacidad de conectarse e ingerir directamente los datos de múltiples secuencias de datos de HAQM KDS o de múltiples temas de HAQM MSK simultáneamente. La ingesta de streaming de HAQM Redshift simplifica las canalizaciones de datos al permitirle crear vistas materializadas sobre los flujos directamente. Las vistas materializadas también pueden incluir transformaciones SQL como parte de la canalización ELT (Extract Load Transform).
Una vez que se definen las vistas materializadas, los datos de streaming se ingieren de forma automática y continua desde la secuencia de KDS o el tema de MSK en la vista materializada de streaming de HAQM Redshift cuando está habilitada la función de actualización automática. Además, puede optar por actualizar manualmente la vista materializada de streaming cuando desea tener control directo sobre la programación de la ingesta. Este enfoque le permite realizar el procesamiento posterior y las transformaciones de los datos de streaming mediante las herramientas de HAQM Redshift existentes y el SQL con el que está familiarizado, sin costo adicional.
La ingesta de streaming de HAQM Redshift ya está disponible a nivel general en todas las regiones de HAQM Web Services (AWS) en las que está disponible HAQM Redshift. Para comenzar a utilizar la ingesta de streaming de HAQM Redshift, aprovisione un clúster de HAQM Redshift en la pista ACTUAL. Para obtener más información acerca de cómo comenzar a utilizar la ingesta de streaming de HAQM Redshift, consulte la página de documentación de HAQM Redshift.