Category: Kinesis Data Streams

※ この記事はお客様に寄稿いただき AWS が加筆・修正したものとなっています。 本稿は株式会社 NTT ドコ […]

※ この記事はお客様に寄稿いただき、AWS が加筆・修正したものとなっています。 本稿は株式会社 NTT ドコ […]

HAQM Kinesis Data Streams は、リアルタイムのデータストリームをキャプチャおよび保存を簡単化するサーバーレスのデータストリーミングサービスです。Kinesis Client Library (KCL) 3.0 の新しいロードバランシングアルゴリズムにより、ワーカーの CPU 使用率を継続的に監視し、ワーカー間でロードを均等に再分散することで、従来の KCL バージョンと比べてストリーム処理コストを最大 33% 削減できるようになりました。KCL 3.0 への移行方法と使用する際のチェックリストも合わせてご紹介します。

このブログでは、HAQM Kinesis Firehose、HAQM Athena、HAQM QuickSight などの AWS サービスを使用して、お客様のメール閲覧状況などの詳細を把握するために必要な粒度の HAQM SES のメール送信イベントを監視する方法を説明します。

この記事では、Apache Flink の高度なストリーミング機能を活用するために、Kinesis Data Analytics for SQL アプリケーションから HAQM Managed Service for Apache Flink への移行を AWS が推奨する理由について説明します。また、HAQM Managed Service for Apache Flink Studio を使用して、移行したアプリケーションをデプロイする前に分析アプリケーションをテスト・チューニングする方法も紹介します。Kinesis Data Analytics for SQL アプリケーションを利用されていないお客様に対しても、この記事はデータ分析の過程で遭遇する多くのユースケースと、HAQM Managed Service for Apache Flink がどのように目標達成を支援できるかについて、背景となる情報を提供します。

モータースポーツの世界では、トラック上での車のスピードに合わせてデータも追従する必要があります。IMSA (国際モータースポーツ協会) は、AWS と協力してファンにリアルタイムで車両テレメトリを提供しました。北米で最高の権威をもつスポーツカーレース団体である IMSA のレースは、4 つの車両クラスが同時にコース走行するという独自の特徴があります。フェラーリ、ランボルギーニ、ポルシェなど多くのメーカーが並走し、最長で 24 時間に及ぶレースで競います。Grand Touring Daytona (GTD) および GTD PRO クラスは一般道を走る車両が選ばれますが、Le Mans Prototype 2 (LMP2) と Grand Touring Prototype (GTP) クラスは最高速度を実現するためのハイパーカーデザインが採用されています。本記事では新たに設けられた GTP クラスの車両、テレメトリ、そして IMSA や AWS がリアルタイムデータを配信する仕組みについて説明します。

クリックストリームデータとは、ユーザーと Web サイトまたはモバイルアプリケーションとの間で発生するデジタルインタラクションを収集したものです。リアルタイムにユーザーデータを収集し有用なインサイトを作成することは困難な場合があります。アマゾン ウェブ サービス（AWS）のサーバーレスサービスは、クリックストリームデータをシームレスにキャプチャ、処理、視覚化し、分析基盤に取り込むためのスケーラブルなアーキテクチャを提供するために役立ちます。本ブログでは、AWS のサービスによって、サーバーのプロビジョニングや管理を必要とせずにクリックストリームデータを簡単に収集して処理する方法について詳しく見ていきます。

今日のビジネス環境は変化が速いため、タイムリーなビジネス意思決定では、新しいデータに何時間も何日もアクセスするのではなく、リアルタイムでアクセスする必要があります。競争力を維持し、現在の市場の状況に合わせて十分な情報に基づいた意思決定を行うためには、組織はリアルタイムの情報を自由に利用できなければなりません。市場が急速に変動し、顧客の好みが変化すると、古くなったデータによって機会を逃したり、インサイトが古くなったりして、顧客体験が最適ではなくなる可能性があります。企業は、自社のデータ（ファーストパーティデータ）の所有権を取り戻し、顧客や見込み客の情報の力を活用して競争力を高め、より顧客体験をもたらすべく取り組む必要があることを認識しています。ファーストパーティデータの例としては、企業が顧客の行動や好みについての理解を深めるための大きな可能性を秘めたクリックストリームデータがあります。

本稿では カヤバ株式会社 （以下、カヤバ）のデジタル変革推進本部が中心となり、オンプレミスに存在したシステム群 […]

最近、AWS Glueバージョン4.0でストリーミングの抽出、変換、およびロード（ETL）ジョブのサポートが発表されました。これは、AWSにおけるデータ統合ワークロードを加速する新しい AWS Glue のバージョンです。AWS Glue のストリーミングETLジョブは、ストリーミングソースから連続的にデータを取り込み、データを逐次的にクリーンアップおよび変換し、数秒で分析可能なデータにします。AWSはさまざまなサービスを提供しており、AWS Database Migration Service（AWS DMS）などのデータベースレプリケーションサービスを使用して、ソースシステムからデータを HAQM Simple Storage Service（HAQM S3）に複製することができます。これは通常、データレイクのストレージレイヤーとして使用されます。この投稿では、HAQM Relational Database Service（HAQM RDS）や他のリレーショナルデータベースからの CDC（Change Data Capture）変更を S3 データレイクに適用する方法を示し、データの非正規化、変換、およびリッチ化をほぼリアルタイムで柔軟に行う構築手順を説明しています。