게시된 날짜: Nov 29, 2022
이제 HAQM Redshift에서 HAQM Kinesis Data Streams(KDS) 및 HAQM Managed Streaming for Apache Kafka(MSK)용 실시간 스트리밍 수집이 지원됩니다. HAQM Redshift 스트리밍 수집은 스트리밍 데이터를 HAQM Redshift로 수집하기 전에 HAQM S3에서 스테이징할 필요가 없으므로, 고객이 초당 수백 메가바이트의 스트리밍 데이터를 데이터 웨어하우스로 수집하는 동시에 초 단위의 짧은 지연 시간을 달성할 수 있습니다.
데이터 엔지니어, 데이터 분석가, 빅 데이터 개발자는 HAQM KDS 및 HAQM MSK와 같은 스트리밍 엔진을 채택하여 스트리밍 애플리케이션 데이터에 거의 실시간으로 반응하는 로직과 분석을 구현함으로써 분석을 배치에서 실시간으로 발전시키고 있습니다. 현재 HAQM KDS 및 HAQM MSK와 같은 서비스에서 HAQM Redshift로 실시간 데이터를 수집하려는 고객은 먼저 HAQM S3에서 데이터를 스테이징하고 COPY 명령을 사용해야 하며, 이 경우 분 단위의 대기 시간이 소요됩니다. HAQM Redshift의 새로운 스트리밍 수집 기능을 이용하면 Redshift 내에서 SQL(Structured Query Language)을 사용하여 동시에 여러 HAQM KDS 스트림 또는 여러 HAQM MSK 주제에 연결하고 데이터를 직접 수집하는 기능을 제공할 수 있습니다. HAQM Redshift 스트리밍 수집은 스트림에 대한 구체화된 뷰를 직접 생성할 수 있으므로 데이터 파이프라인을 단순화합니다. 구체화된 뷰에는 SQL 변환이 ELT(Extract Load Transform) 파이프라인의 일부로 포함될 수도 있습니다.
구체화된 뷰를 정의한 후 자동 새로 고침 기능을 활성화하면 스트리밍 데이터가 지속적으로 KDS 스트림이나 MSK 주제에서 HAQM Redshift 스트리밍 구체화된 보기로 자동 수집됩니다. 수집 일정을 직접 제어하려는 경우에는 스트리밍 구체화된 뷰를 수동으로 새로 고칠 수도 있습니다. 이러한 방식으로 추가 비용 없이 익숙한 기존 HAQM Redshift 도구 및 SQL을 사용하여 스트리밍 데이터의 다운스트림 처리 및 변환을 수행할 수 있습니다.
이제 HAQM Redshift가 제공되는 모든 HAQM Web Services(AWS) 리전에서 HAQM Redshift 스트리밍 수집을 상용 버전으로 사용할 수 있습니다. HAQM Redshift 스트리밍 수집을 사용하려면 CURRENT 트랙에서 HAQM Redshift 클러스터를 프로비저닝하세요. HAQM Redshift 스트리밍 수집을 시작하는 방법에 대한 자세한 내용은 HAQM Redshift 설명서 페이지를 참조하세요.