HAQM Redshift との Aurora ゼロ ETL 統合を行う理由
HAQM Redshift との HAQM Aurora ゼロ ETL 統合により、ペタバイト規模のトランザクションデータに対する、HAQM Redshift を利用したほぼリアルタイムの分析と機械学習 (ML) が可能となります。トランザクションデータが HAQM Aurora に書き込まれてから数秒以内に、ゼロ ETL は HAQM Redshift でシームレスにデータを利用できるようにし、抽出、変換、ロード (ETL) オペレーションを実行する複雑なデータパイプラインを構築して管理する必要性をなくします。
利点
ユースケース
開始方法
Aurora と HAQM Redshift 間のゼロ ETL 統合を作成するには、データソースとして Aurora DB クラスターを指定し、ターゲットとして HAQM Redshift データウェアハウスを指定します。統合により、ソースデータベースからターゲットデータウェアハウスにデータが複製されます。データは数秒で HAQM Redshift で利用できるようになり、データアナリストはデータの HAQM Redshift 分析と ML 機能を使い始めることができます。詳細については、Aurora と HAQM Redshift のスタートガイドをご覧ください。
リソース
料金
AWS は、HAQM Redshift との Aurora ゼロ ETL 統合に追加料金を請求しません。ゼロ ETL 統合の一環として作成された変更データの作成と処理に使用された既存の Aurora および HAQM Redshift リソースには課金されます。これらのリソースには次のものが含まれます。
- 変更データキャプチャを有効にすることで追加の I/O とストレージが使用される
- HAQM Redshift データベースをシードするための初期データエクスポートのスナップショットエクスポートコスト
- レプリケートされたデータを保存するための追加の HAQM Redshift ストレージ
- データレプリケーションを処理するための追加の HAQM Redshift コンピューティング
- ソースからターゲットへのデータ移動にかかる AZ 間のデータ転送コスト。
ゼロ ETL 統合によるデータ変更の継続的な処理は、追加料金なしで利用いただけます。詳しくは、「Aurora の料金ページ」をご覧ください。
お客様
-
Infosys
インフォシスの製造、小売、物流の顧客にとって、サプライチェーンの完全性を維持するには、貨物の検証が不可欠です。そのためには、貨物の追跡と貨物分析のために貨物追跡データをリアルタイムで取り込む必要があります。
Infosys は、Zero-ETL 機能を活用してリアルタイムでデータを取り込むことで、貨物貨物の追跡が可能になり、場所、ステータス、到着予定時刻を可視化できるようになりました。これにより、運送業務の最適化と大幅なコスト削減が可能になります。ゼロ ETL の包括的なレポーティングと分析、そしてインフォシスの Cobalt と Topaz インダストリーブループリントにより、データ主導の意思決定が可能になりました。
Sunil Senan 氏、データ、アナリティクス、AI 担当上級副社長兼グローバルヘッド、インフォシス -
Intuit
Intuit は、TurboTax、Credit Karma、QuickBooks、Mailchimp を通じて、1 億人の消費者および中小企業の顧客の繁栄を促進するグローバルな金融テクノロジープラットフォームです。今後の移行が複雑になる中、Intuit 社では 1 日あたり 1,000 万件を超えるプロファイル移行という驚異的な速度を見込んでいました。Intuit は、データインジェストプロセスを合理化し、複雑なエンジニアリング作業の必要性をなくすために、HAQM Aurora MySQL と HAQM Redshift のゼロ ETL 統合を利用しました。
膨大な量のデータとシームレスな移行の必要性は、私たちにとって大きな課題でした。さらに、移行プロセスを迅速に分析し、データ主導の意思決定を迅速に行えるソリューションが必要でした。これらの課題に対処するために、HAQM Aurora と HAQM Redshift のゼロ ETL 統合を採用しました。これにより、データインジェストのプロセスを合理化し、複雑なエンジニアリング作業が不要になりました。Zero-ETL を使用すれば、データキャプチャや個別の取り込みジョブを必要とせずに、大量のデータを HAQM Redshift に送信できました。これにより、重要な技術的およびビジネス上の意思決定に役立つ迅速な洞察が得られ、そうでなければ何ヶ月もかかっていた労力を節約できました。HAQM Redshift との Aurora ゼロ ETL 統合を利用することで、大規模なデータ移行とほぼリアルタイムの分析のための新しいパターンを Intuit で探求することができました。
Aruna Ghiware 氏、プロダクト開発マネージャー、Intuit -
KINTO Technologies Corporation
KINTO テクノロジーズ株式会社は、モビリティプラットフォーム業界のリーディングプレーヤーであり、トヨタの金融サービス企業として KINTO サービスの開発を担当するテクノロジー企業です。HAQM Aurora MySQL zero-ETL Integration with HAQM Redshift を活用することで、KINTO テクノロジーズはより回復力の高いデータパイプラインを実現し、HAQM Redshift の高度な分析機能をほぼリアルタイムで運用データに適用できるようになりました。
ゼロ ETL 統合が利用可能になる前は、コアデータベースからダウンストリームのアプリケーションに変更を継続的にストリーミングするカスタムビルドのソリューションを使用していましたが、パフォーマンス上の課題と本番ワークロードへの影響に常に直面していました。本番環境のワークロードへのパフォーマンス影響に対処するため、更新の送信頻度を減らすようパイプラインを調整する必要があり、直近ではない古いデータを使用しなければなりませんでした。HAQM Redshift との Aurora MySQL ゼロ ETL 統合を使用することで、HAQM Redshift でいつでもほぼリアルタイムのデータを利用できるようになり、開発者が手動で ETL 運用のデータパイプラインを管理したり、ワークロードのパフォーマンスへの影響に対処したりする必要がなくなり、運用上の負担を軽減できます。
取締役副社長、景山均氏、KINTO テクノロジーズ株式会社 -
Money Forward i
マネーフォーワード i は、直感的な SaaS 管理プラットフォームである Admina を通じて、反復作業を合理化し、コストを削減し、セキュリティを強化することにより、組織内の IT チームの生産性と創造力を高めるよう努めています。
HAQM Aurora との HAQM Redshift ゼロ ETL 統合がリリースされる前は、HAQM Redshift で HAQM Aurora MySQL の製品データを分析するための ETL オペレーションの実装とメンテナンスの負担は大変でした。Aurora MySQL を HAQM Redshift とゼロ ETL 統合することで、当社の Aurora MySQL データベースと HAQM Redshift の間でほぼリアルタイムのデータ同期が可能になり、分析環境の構築にかかる時間が 1 か月からわずか 3 時間に短縮されました。開発時の初期負担が軽減されるだけでなく、ゼロ ETL 統合により本番環境への影響が少なく、最小限のコストと最大速度で分析環境を構築できます。
Money Forward i の取締役兼最高執行責任者、村上勝俊氏 -
Woolworths
Woolworths は、イノベーション、価値、持続可能性に重点を置いて、高品質の衣料品、雑貨、食品を幅広く提供するサハラ以南アフリカの大手小売業者です。
データからタイムリーな洞察を引き出すことは非常に重要です。そうすれば、ビジネス全体でデータ主導の意思決定を迅速に推進し、重要で時間に敏感なイベントに効果的に対応できるようになるからです。変更データのキャプチャと記録の凝集には時間がかかり、処理に予想以上にコストがかかりました。HAQM Aurora MySQLと HAQM Redshift のゼロ ETL 統合を使用することで、ETL オペレーションに必要なエンジニアリングの労力により、通常であれば開発に 2 ヶ月かかるところを、1 日で同じ結果を出すことができました。データをクエリできる状態になったため、インテグレーションを使用することでデータレイテンシが大幅に削減されました。これにより、イベントが発生したときに迅速に意思決定を行うことができました。HAQM Redshift との Aurora ゼロ ETL 統合により、エンジニアリングの労力を軽減し、パイプライン管理における障害点を減らし、コストを削減しました。
Raamy Schroeder 氏、ビジネスインテリジェンスリーダー、Woolworths