AWS とのデータ統合

AWS では、保存されている場所ならどこからでもデータにアクセスして統合できるため、データ統合チームはデータの価値を最大化する価値の高い活動に集中できます。

AWS Glue はあらゆる規模ですべてのデータを容易に検出、準備、統合できます。AWS Database Migration Service は、データベースと分析のワークロードを迅速かつ安全に、ダウンタイムを最小限に抑え、データ損失なしで AWS に移行するのに役立ちます。Apache Airflow 向け HAQM マネージドワークフロー (MWAA) は、Apache Airflow 向けの安全で可用性の高いマネージドワークフローオーケストレーションを提供します。AWS Data Exchange は、300 以上のデータプロバイダーと 3,500 以上のデータ製品からのサードパーティデータと接続します。

データを変換したり、データを正規化したり、未加工データストアからデータを取り込む前にデータ品質をチェックしたり、テーブルの列、行、データサイズを縮小したりする必要がある複雑なユースケースでは、AWS Glue を使用するとデータの準備と統合が容易になります。

ETL が定期的に繰り返される一般的なユースケースでは、AWS ゼロ ETL 機能を使用できます。これにより、ETL パイプラインを構築および管理する必要がなくなります。AWS ゼロ ETL 機能を使用すると、Apache Kafka 向けの HAQM マネージドストリーミングから HAQM Redshift にストリーミングデータを直接取り込んだり、HAQM Redshift を使用して HAQM Aurora データをほぼリアルタイムで分析したりできます。

データを操作する技術的能力は企業全体でさまざまであり、適切なツールがないと操作できない場合があります。

AWS は、デベロッパーからビジネスユーザーまで、すべてのユーザータイプにスキル固有のインターフェイスとジョブ作成ツールを提供しています。AWS Glue Studio は ETL コードを自動的に生成し、ETL デベロッパーやビジネスアナリストがコードなしのインターフェイスでデータを変換できるようにします。AWS Glue では、デベロッパーやエンジニアが好みの IDE、ノートブック、処理エンジンを使用することもできます。Apache Airflow 向け HAQM マネージドワークフローにより、科学者やエンジニアはエンドツーエンドのデータパイプラインを調整できます。

AWS は、ロックインなしでさまざまなワークロードをサポートします。

AWS Glue Studio を使用すると、Apache Spark の専門家でなくても拡張性が高い ETL ジョブを作成し、構造化データと非構造化データをデータウェアハウスやデータレイクにロードできます。Apache Kafka (MSK) と HAQM Kinesis 向けの HAQM マネージドストリーミングにより、ストリーミングデータをリアルタイムで簡単に取り込んで処理できます。その他の一般的なワークロードには、バッチデータ変換、データベースレプリケーション、SaaS からのデータインジェクト、チーム間のデータ共有、サードパーティデータへのサブスクリプションなどがあります。