投稿日: Aug 31, 2021
本日、HAQM Kinesis Data Firehose の動的パーティショニングを発表しました。動的パーティショニングを使用すると、「customer_id」や「transaction_id」などのデータ内のキーを使用して、Kinesis Data Firehose でストリーミングデータを継続的にパーティショニングし、これらのキーによってグループ化されたデータを対応する HAQM Simple Storage Service (HAQM S3) プレフィックスに配信できるため、HAQM Athena、HAQM EMR、HAQM Redshift Spectrum を使用して、HAQM S3 のストリーミングデータに対して高性能で費用対効果の高い分析を実行することが簡単になります。
データをパーティション化すると、スキャンされるデータの量が最小限に抑えられ、HAQM S3 での分析クエリのパフォーマンスが最適化されてコストが削減され、データへのきめ細かいアクセスが強化されます。従来、お客様は、Kinesis Data Firehose 配信ストリームを使用して、データストリームをキャプチャして HAQM S3 にロードしていました。HAQM S3 ベースの分析用にストリーミングデータセットをパーティション化するには、データを分析のために使用可能な状態にする前に、HAQM S3 バケット間でパーティション化アプリケーションを実行する必要がありました。これは、複雑な作業となったり、コストがかかったりする可能性がありました。
動的パーティショニングにより、Kinesis Data Firehose は、動的または静的に定義されたデータキーによって転送中のデータを継続的にグループ化し、キー別に個々の HAQM S3 プレフィックスに配信します。これにより、インサイトを得るまでの時間が数分または数時間短縮され、コストが削減され、アーキテクチャが簡素化されます。Apache Parquet および Apache ORC 形式の変換機能に加えて、この機能があることにより、Kinesis Data Firehose は、キャプチャ、準備、および分析対応のストリーミングデータを HAQM S3 にロードするのに最適な場所となります。
動的パーティショニングを開始するには、Kinesis Data Firehose ユーザーガイドを参照してください。また、動的パーティショニングのオンデマンド料金の詳細については、料金のページを参照してください。動的パーティショニングは、Kinesis Data Firehose が利用可能なすべての商用 AWS リージョンでご利用いただけます。