このガイダンスは、データ消費要件と、一般的な ETL プラクティスによって実行される低レベルのデータ処理アクティビティとの間のギャップを解消するのに役立ちます。SQL ベースのデータ管理システムを運用している組織では、最新のデータエンジニアリング手法に適応すると、データから得られる強力なインサイトの活用が遅くなる可能性があります。このガイダンスでは品質を意識した設計を示し、ユーザー中心の ETL アプローチのためのオープンソースデータフレームワーク Arc を通じて、データプロセスの生産性を向上させます。このガイダンスは、ETL プラクティスとの相互作用を促進し、簡素化を促進し、バッチとストリーミングの両方で ETL アクティビティを統合するための抽象化レベルを高めます。

当社はまた、効率的なコンピューティングインスタンス (AWS Graviton Processors など) を使用して最適な設計を行うオプションも提供しています。これにより、HAQM EKS で大規模な ETL ジョブを実行する場合のパフォーマンスとコストを最適化できます。

ご注意: [免責事項]

アーキテクチャ図

[アーキテクチャ図の説明]

アーキテクチャダイアグラムの PDF をダウンロード 

Well-Architected Pillars

AWS Well-Architected フレームワークは、クラウドでシステムを構築する際に行う決定の長所と短所を理解するのに役立ちます。フレームワークの 6 つの柱により、信頼性が高く、安全かつ効率的で、費用対効果が高く、持続可能なシステムを設計および運用するためのアーキテクチャのベストプラクティスを学ぶことができます。AWS マネジメントコンソールで無料で提供されている AWS Well-Architected Tool を使用し、各柱の一連の質問に回答することで、これらのベストプラクティスに照らしてワークロードを確認できます。

上記のアーキテクチャ図は、Well-Architected のベストプラクティスを念頭に置いて作成されたソリューションの例です。完全に Well-Architected であるためには、可能な限り多くの Well-Architected ベストプラクティスに従う必要があります。

  • HAQM EKS クラスター内で、HAQM Elastic Compute Cloud (HAQM EC2) インスタンス (X86_64 CPU、Graviton ARM64) がコンピューティングノードとして機能し、ガイダンスワークロードを実行します。Spark ジョブは、ワークロードの需要に基づいて弾力的にプロビジョニングされた HAQM EC2 スポットインスタンスで実行されます。

    CodeBuild と CodePipeline は GitOps プロセスを自動化し、Git コードの更新からコンテナイメージを構築し、それらを HAQM ECR プライベートレジストリにプッシュします。Argo Workflows は HAQM EKS で ETL ジョブをスケジュールし、自動的に HAQM ECR から Arc Docker イメージを取得し、アーティファクト S3 バケットから ETL アセットをダウンロードし、アプリケーションログを CloudWatch に送信します。

    データ ETL ジョブの自動デプロイと実行により、運用上のオーバーヘッドが最小限に抑えられ、生産性が向上します。さらに、CodeBuild と CodePipeline を使用する CI/CD パイプラインは、ガイダンスの Arc Docker イメージを HAQM ECR に安全に保存しながら、継続的な改善と開発を確実に行うのに役立ちます。

    運用上の優秀性に関するホワイトペーパーを読む 

  • HAQM EKS クラスターリソースは HAQM VPC 内にデプロイされ、パブリックインターネットから論理的にネットワークを分離します。HAQM VPC は、VPC エンドポイント (トラフィックを AWS ネットワーク内に保持)、セキュリティグループ、ネットワークアクセスコントロールリスト (ACL)、インバウンドとアウトバウンドのトラフィックと承認を制御するための AWS Identity and Access Management (IAM) ロールとポリシーなどのセキュリティ機能をサポートしています。HAQM ECR イメージレジストリは、脆弱性スキャンなどのコンテナレベルのセキュリティ機能を提供します。HAQM ECR と HAQM EKS はオープンコンテナ規格 (OCI) レジストリと Kubernetes API 標準に従い、厳格なセキュリティプロトコルを組み込んでいます。

    IAM は HAQM S3 アプリケーションデータへのアクセスコントロールを提供し、AWS Key Management Service (AWS KMS) は HAQM S3 に保管中のデータを暗号化します。HAQM EKS クラスター上のサービスアカウントの IAM ロール (IRSA) により、ポッドのきめ細かなアクセス制御が可能になり、ロールベースのアクセス制御を実施し、不正な HAQM S3 データアクセスを制限できます。Secrets Manager は、認証情報を安全に保存および管理します。 CloudFront は、Jupyter および Argo Workflows のウェブツール向けに SSL でエンコードされた安全なエントリーポイントを提供します。

    セキュリティに関するホワイトペーパーを読む 

  • HAQM EKS は、Kubernetes コントロールプレーンとコンピューティングプレーンを複数のアベイラビリティーゾーン (AZ) にデプロイすることで、可用性の高いトポロジを実現します。これにより、AZ が中断した場合でも、データアプリケーションの継続的な可用性が確保され、HAQM EKS に信頼性の高いマルチ AZ EC2 インスタンスをデプロイできます。

    データストレージに関しては、HAQM S3 は高い耐久性と可用性を提供し、リージョン内の複数の AZ 間でデータオブジェクトを自動的にレプリケートします。さらに、HAQM ECR は可用性が高くスケーラブルなアーキテクチャで Docker イメージをホストし、コンテナベースのアプリケーションのデプロイと増分を確実にサポートします。

    HAQM S3、HAQM EKS、HAQM ECR は、運用コストを削減しながら高いサービスレベル契約 (SLA) を履行できるように設計されたフルマネージド型サービスです。これにより、ビジネスクリティカルなアプリケーションをデプロイして高可用性の要件を満たすことができます。

    信頼性に関するホワイトペーパーを読む 

  • HAQM EKS クラスターの HAQM EC2 コンピューティングノードは、アプリケーションのワークロードに基づいて動的にスケールアップおよびスケールダウンできます。Graviton ベースの EC2 インスタンスは、カスタム設計の ARM ベースのプロセッサ、最適化されたハードウェア、およびアーキテクチャの強化により、パフォーマンス効率を向上させます。

    分離されたコンピューティングストレージパターン (入力データと出力データを HAQM S3 に保存する) により、動的なコンピューティングスケーリング効率が向上します。Data Catalog はメタデータ管理を効率化し、Athena とシームレスに統合してメタデータ管理を簡素化し、クエリパフォーマンスを向上させます。Data Catalog はテクニカルメタデータのクローリングとメンテナンスを自動化し、効率的なデータ処理とクエリを実現します。Athena では、HAQM S3 データを移動せずに高速にクエリを実行できるため、分析ワークフローの効率がさらに向上します。

    パフォーマンス効率に関するホワイトペーパーを読む 

  • HAQM ECR は、コンテナアプリケーションを保護およびサポートするためのマネージドサービスです。コンテナイメージの保存と提供に月額固定料金がかかります。 HAQM EKS クラスターコンピューティングノードは、Spark ワークロードに基づいてスケールアップとスケールダウンが可能で、コスト効率の高い Graviton インスタンスタイプとおよびスポットインスタンスタイプを提供します。Data Catalog は、サーバーレスのフルマネージド型メタデータリポジトリを提供するため、長時間稼働するメタデータデータベースをセットアップして維持する必要がなくなり、運用のオーバーヘッドとコストを削減できます。CodeBuild と CodePipeline は、サーバーレス環境での Arc ETL Framework の Docker イメージのビルドとデプロイを自動化し、インフラストラクチャのメンテナンスコストを削減するだけでなく、ビルドサーバーのプロビジョニングと管理の必要性をなくします。

    コスト最適化に関するホワイトペーパーを読む 

  • このガイダンスでは、Graviton プロセッサをベースにした効率的なコンピューティングタイプで HAQM EKS クラスターを実行します。HAQM ECR では、ハードウェアや物理サーバーをカスタム管理する必要がなくなります。Data Catalog と Athena はサーバーレスサービスであり、エネルギーと環境への影響をさらに軽減します。

    HAQM EKS コンピューティングレイヤーを大規模な Apache Spark ワークロード用に最適化することで、分析ワークロードの環境への影響を最小限に抑えることができます。パフォーマンスのニーズと持続可能性の優先事項に基づいて、ARM ベースのプロセッサを柔軟に選択できます。

    持続可能性に関するホワイトペーパーを読む 

実装リソース

サンプルコードは出発点です。これは業界で検証済みであり、規範的ではありますが決定的なものではなく、内部を知ることができ、開始に役立ちます。

実装ガイドを開く
GitHub でサンプルコードを開く

関連コンテンツ

[コンテンツタイプ]

[タイトル]

この [ブログ投稿/電子書籍/ガイダンス/サンプルコード] は、[簡単な説明を挿入] 方法を示しています。

免責事項

サンプルコード、ソフトウェアライブラリ、コマンドラインツール、概念の実証、テンプレート、またはその他の関連技術 (私たちの担当者から提供される前述のものを含む) は、AWS カスタマーアグリーメント、またはお客様と AWS との間の関連文書契約 (いずれか該当する方) に基づき、AWS コンテンツとしてお客様に提供されるものです。お客様は、この AWS コンテンツを、お客様の本番アカウント、または本番データもしくはその他の重要なデータで使用すべきではありません。お客様は、サンプルコードなどの AWS コンテンツを、お客様固有の品質管理手法および基準に基づいて、本番グレードでの使用に適したテスト、セキュリティ確保、および最適化を行う責任を負います。AWS コンテンツのデプロイには、HAQM EC2 インスタンスの実行や HAQM S3 ストレージの使用など、AWS の課金対象リソースを作成または使用するための AWS 料金が発生する場合があります。

本ガイダンスにおける第三者のサービスまたは組織への言及は、HAQM または AWS と第三者との間の承認、後援、または提携を意味するものではありません。AWS からのガイダンスは技術的な出発点であり、アーキテクチャをデプロイするときにサードパーティのサービスとの統合をカスタマイズできます。

このページはお役に立ちましたか?

 フィードバック