投稿日: Nov 29, 2022
HAQM Redshift では、HAQM Kinesis Data Streams (KDS) と HAQM Managed Streaming for Apache Kafka (MSK) のリアルタイムストリーミング取り込みをサポートするようになりました。HAQM Redshift のストリーミング取り込みを使用すると、ストリーミングデータを HAQM Redshift に取り込む前に HAQM S3 でステージングする必要がなくなり、1 秒あたり数百メガバイトのストリーミングデータをデータウェアハウスに取り込みながら、秒単位で測定される低レイテンシーを実現できます。
データエンジニア、データアナリスト、ビッグデータデベロッパーは、分析をバッチからリアルタイムに進化させ、HAQM KDS や HAQM MSK などのストリーミングエンジンを採用して、ストリーミングアプリケーションデータにほぼリアルタイムの応答ロジックと分析を実装しています。現在、HAQM KDS や HAQM MSK などのサービスから HAQM Redshift にリアルタイムデータを取り込みたいユーザーは、最初に HAQM S3 でデータをステージングし、COPY コマンドを使用する必要があり、数分のレイテンシーを実現しています。HAQM Redshift の新しいストリーミング取り込み機能を使用すると、Redshift 内で SQL (Structured Query Language) を使用して、複数の HAQM KDS ストリームや HAQM MSK トピックに同時に接続してデータを直接取り込むことができます。HAQM Redshift のストリーミング取り込みは、ストリームの上にマテリアライズドビューを直接作成できるようにすることで、データパイプラインを簡素化します。マテリアライズドビューには、ELT (抽出、変換、ロード) パイプラインの一部として SQL 変換を含めることもできます。
マテリアライズドビューが定義されると、Auto Refresh 機能が有効の場合、ストリーミングデータは KDS ストリームまたは MSK トピックから HAQM Redshift ストリーミングのマテリアライズドビューに自動的かつ継続的に取り込まれます。取り込みのスケジュールを直接制御する必要がある場合には、ストリーミングのマテリアライズドビューを手動で更新することもできます。このアプローチにより、追加費用なしで、使い慣れた既存の HAQM Redshift ツールと SQL を使用して、ストリーミングデータのダウンストリーム処理と変換を実行できます。
HAQM Redshift のストリーミング取り込みは、HAQM Redshift が利用可能なすべてのアマゾン ウェブ サービス (AWS) リージョンで一般利用できるようになりました。HAQM Redshift のストリーミング取り込みの使用を開始するには、現在のトラックで HAQM Redshift クラスターをプロビジョニングします。HAQM Redshift のストリーミング取り込みの使用を開始する方法の詳細については、HAQM Redshift のドキュメントページをご覧ください。