HAQM Redshift との HAQM Aurora MySQL ゼロ ETL 統合が一般公開されました

「データは、あらゆるアプリケーション、プロセス、ビジネス上の意思決定の中心にあります」と、AWS のデータベース、分析、機械学習担当バイスプレジデントである Swami Sivasubramanian は述べていますが、まったく同感です。お客様が現在使用している一般的なパターンは、データパイプラインを構築して HAQM Aurora から HAQM Redshift にデータを移動することです。これらのソリューションは、売上の増加、コストの削減、ビジネスの最適化に役立つインサイトを得るのに役立ちます。

分析用のデータを準備するのではなく、データから価値を創出することに集中していただけるように、AWS re:Invent 2022 で HAQM Redshift との HAQM Aurora ゼロ ETL 統合を発表し、2023 年 6 月に HAQM Aurora MySQL 互換エディションのパブリックプレビューを行うことを発表しました。

一般提供開始: HAQM Redshift との HAQM Aurora MySQL ゼロ ETL 統合
11月7日、HAQM Redshift との HAQM Aurora MySQL ゼロ ETL 統合が一般公開されたことを発表しました。このフルマネージドソリューションがあれば、トランザクションデータから時間的制約のあるインサイトを引き出して重要なビジネス上の意思決定を行うために、複雑なデータパイプラインを構築して維持する必要がなくなります。

HAQM Aurora と HAQM Redshift の ゼロ ETL 統合 により、HAQM Redshift のペタバイト単位のトランザクションデータに対して、ほぼリアルタイムの分析と機械学習 (ML) を実行できるようになります。このデータが Aurora に書き込まれると、数秒以内に HAQM Redshift で利用できるようになります。

また、HAQM Redshift の複数の Aurora MySQL データベースクラスターから統合分析を実行して、多くのアプリケーションやパーティションにわたる総合的なインサイトを引き出すこともできます。 HAQM Redshift との HAQM Aurora MySQL ゼロ ETL 統合により、複数の Aurora データベースからの 1 分あたり 100 万件を超えるトランザクション (1 分あたり 1,750 万件の行の挿入/更新/削除操作に相当) が処理され、それらを HAQM Redshift で 15 秒未満で利用できるようになります (レイテンシーラグ 50 倍)。

さらに、マテリアライズドビュー、リージョン間のデータ共有、複数のデータストアやデータレイクへのフェデレーションアクセスなど、HAQM Redshift の分析機能と組み込みの ML 機能を活用できます。

使用を開始しましょう
この記事では、いくつかのステップと、簡単に始めるための情報について説明します。既存の HAQM Aurora MySQL サーバーレスデータベースと HAQM Redshift データウェアハウスを使用します。

まず、HAQM RDS に移動し、ゼロ ETL 統合ページでゼロ ETL 統合を作成を選択する必要があります。

ゼロ ETL 統合の作成ページで、いくつかのステップに従って、HAQM Aurora データベースクラスターと HAQM Redshift データウェアハウスの統合を設定する必要があります。

まず、統合用の識別子を定義し、次へを選択します。

次のページで、RDS データベースの参照を選択してソースデータベースを選択する必要があります。

ここでは、既存のデータベースをソースとして選択できます。

次のステップでは、ターゲットの HAQM Redshift データウェアハウスを尋ねられます。ここでは、自分のアカウントまたは別のアカウントで HAQM Redshift Serverless または RA3 データウェアハウスを柔軟に選択できます。Redshift データウェアハウスの参照を選択します。

次に、ターゲットデータウェアハウスを選択します。

HAQM Aurora はデータウェアハウスに複製する必要があるため、リソースポリシーを追加し、Aurora データベースを HAQM Redshift データウェアハウスの承認された統合ソースとして追加する必要があります。

この問題は、HAQM Redshift コンソールで手動で更新するか、HAQM RDS に修正を任せることで解決できます。チェックボックスにチェックを入れます。

次のページでは、HAQM RDS が実行する変更が表示されます。続行を選択します。

次のページでは、タグと暗号化を設定できます。デフォルトでは、ゼロ ETL 統合は AWS Key Management Service (AWS KMS) を使用してデータを暗号化します。独自のキーを使用することもできます。

次に、すべての設定を確認し、ゼロ ETL 統合の作成を選択して統合を作成する必要があります。

数分後に、ゼロ ETL 統合が正常に作成されました。次に、HAQM Redshift に切り替えると、ゼロ ETL 統合ページに、最近作成したゼロ ETL 統合があることがわかります。

統合には、まだ HAQM Redshift 内にターゲットデータベースがないため、ターゲットデータベースを作成する必要があります。

これで統合設定は完了です。このページでは、統合ステータスがアクティブで、複製されたテーブルが 1 つあることがわかります。

テストのために、HAQM Aurora データベースに新しいテーブルを作成し、このテーブルにレコードを挿入します。

その後、HAQM Redshift 内部の Redshift クエリエディタ v2 に切り替えました。ここで、統合の一環として作成したデータベースに接続できます。簡単なクエリを実行すると、データが HAQM Redshift 内ですでに利用可能であることがわかります。

このゼロ ETL 統合は、2 つの理由で非常に便利だと思いました。まず、複数のデータベースクラスターのすべてのデータを統合し、集約して分析できました。次に、トランザクションデータが HAQM Aurora MySQL に書き込まれてから数秒以内に、このゼロ ETL 統合により、HAQM Redshift でシームレスにデータを使用できるようになりました。

留意点

可用性 – HAQM Redshift との HAQM Aurora ゼロ ETL 統合は、米国東部 (オハイオ)、米国東部 (バージニア北部)、米国西部 (オレゴン)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (東京)、欧州 (フランクフルト)、欧州 (アイルランド)、欧州 (ストックホルム) でご利用いただけます。

サポートされているデータベースエンジン – HAQM Redshift との HAQM Aurora ゼロ ETL 統合は現在、HAQM Aurora の MySQL 互換エディションをサポートしています。HAQM Aurora PostgreSQL 互換エディションのサポートは現在進行中です。

価格 –  HAQM Redshift との HAQM Aurora ゼロ ETL 統合は追加料金なしで提供されます。ゼロ ETL 統合の一環として作成された変更データの作成と処理に使用された既存の HAQM Aurora および HAQM Redshift リソースに対してお支払いいただきます。

私たちは、お客様が分析用のデータを準備するのではなく、データから価値を創出することに集中していただけるよう、また一歩前進しています。開始方法の詳細については、HAQM Redshift との HAQM Aurora MySQL ゼロ ETL 統合ページをご覧ください。

統合おめでとうございます!
— Donnie

原文はこちらです。