OpenSearch Magazine 開設のお知らせ

OpenSearch は、フルテキスト検索や分析機能を提供するオープンソースの検索エンジンです。OpenSearch Project によって開発され、Apache 2.0 ライセンスのもとで提供されています。2021 年に発足した OpenSearch Project は、2022 年にバージョン 2.0 がリリースされて以降、6 週間ごとのアップデートサイクルの元、19 のマイナーバージョンをリリースしてきました。2024 年にはLinux Foundationへの移管も完了し、2025 年 5 月にはバージョン 3.0 の一般提供が予定されています。

近年、OpenSearch はベクトルデータベースとしても注目されています。テキストや画像を多次元ベクトルとして扱うベクトル検索の機能をサポートすることで、従来のキーワード検索では難しかった、ユーザーの意図をより正確に捉えた、意味的な近さに基づく検索結果を提供できるようになりました。HAQM Bedrock Knowledge Bases などの検索拡張生成 (RAG) アプリケーションでも、ベクトルストアとして OpenSearch が活用されています。

こうした頻繁なアップデートは、最新技術やユーザーニーズに対応するために重要ですが、ユーザーにとっては最新情報のキャッチアップが課題となっています。OpenSearch Magazine は、ユーザーの皆さんに、重要な OpenSearch のアップデートをお届けし、より効果的に OpenSearch を活用いただくことを目指して開設されました。本号では、OpenSearch およびマネージドサービスである HAQM OpenSearch Service の概要を紹介します。

HAQM OpenSearch Service の紹介

HAQM OpenSearch Service は、OpenSearch クラスターのデプロイ、運用を容易に行うことができるマネージドサービスです。OpenSearch Service を利用することで、ユーザーはインフラストラクチャのプロビジョニング、ソフトウェアの導入やパッチ適用、障害検出とリカバリ、バックアップやモニタリングの設定といった管理タスクから解放され、OpenSearch を活用した検索・分析機能の開発に集中することができます。

主要機能は以下の通りです。詳細な機能リストは「OpenSearch が提供する機能にはどのようなものがありますか?」よりご確認ください。

フルテキスト検索: Web サイトやアプリケーションに高度な検索機能を追加し、ユーザー体験を向上
ベクトル検索: テキストや画像などのデータを意味的類似性で検索し、生成 AI と組み合わせて直感的な検索体験を提供
ハイブリッド検索: テキスト検索やベクトル検索など、複数の検索を組み合わせて実行
データ分析・可視化: アプリケーションやインフラのログを収集。全文検索やフィルタ機能を活用した柔軟な分析、OpenSearch Dashboards を使用した可視化を実現
セキュリティ分析: セキュリティログに対してルールベースの分析を行い、潜在的な脅威や異常なアクティビティを特定。
異常検出・通知: 収集したログ等のデータに対して機械学習ベースの異常検出を実行。検出された異常は、HAQM SES や HAQM SNS、Webhook などの手段を用いて通知可能

HAQM OpenSearch Service は、複数のアベイラビリティゾーンにインフラストラクチャとデータを分散配置することで、 99.9% の可用性を提供します。この可用性を達成するための詳細なベストプラクティスも公開しています。さらに、Multi-AZ with Standby 機能を使用することで、最大で 99.99% まで可用性を高めることも可能です。クラスター内のノードは最大 1,002 台まで、ストレージは最大 25 PB まで、オンラインで拡張可能です。きめ細かなアクセスコントロール機能の提供、暗号化への対応、VPC 接続のサポート、AWS IAM との統合など、セキュリティ要件へ対応するための各種機能を備えています。HAQM CloudWatch と統合されており、トラブルシューティングやスケールの計画に必要なメトリクス情報も標準提供されています。

AWS サービスとのネイティブ統合

OpenSearch Service は、いくつかの AWS サービスによってネイティブサポートされています。ネイティブ統合機能を活用することで、開発者は個別に連携機能を実装、運用、メンテナンスすることなく、本来のアプリケーション価値創出に注力することができます。代表的な連携サービスについて解説します。

HAQM Bedrock Knowledge Bases と連携した RAG アプリケーションの構築

HAQM Bedrock Knowledge Bases は、企業のデータソースを生成 AI アプリケーションに接続し、最新かつ関連性の高い情報に基づいた回答を生成するマネージドサービスです。HAQM Bedrock Knowledge Bases は、データの取り込み、テキストのチャンク分割、ベクトル埋め込みの生成、インデックス作成、検索リクエストの処理、フィルタリングおよび回答の生成といった RAG アプリケーションに必要な機能をフルマネージドで提供します。これにより、開発者は RAG アプリケーションを活用したシステムの構築に集中できます。

HAQM Bedrock Knowledge Base は、ベクトルストアとして OpenSearch をサポートしています。OpenSearch をベクトルストアとして使用することで、セマンティック検索とキーワード検索を組み合わせたハイブリッド検索が可能となり、より高精度な検索結果を得ることができます。さらに、圧縮されたバイナリベクトルを活用することで、必要とするリソースを削減することが可能です。プラットフォームとして HAQM OpenSearch Serverless を選択することで、インフラ管理の負担なくスケーラブルな RAG ソリューションを実装可能です。以下のリンクより、詳細をご覧いただけます。

HAQM Titan Text Embeddings V2、HAQM OpenSearch Serverless、および HAQM Bedrock Knowledge Bases におけるバイナリ埋め込みを使用した費用対効果の高い RAG アプリケーションの構築 (HAQM Web Services ブログ)

ニアリアルタイムのデータ取り込み・分析・可視化

HAQM OpenSearch Service とネイティブ統合されたサービスを活用することで、発生したデータを素早く OpenSearch Service に取り込み、分析・可視化することが可能です。運用上の洞察を得るためのダッシュボード作成、異常検出のためのアラート設定、ビジネスインテリジェンスのためのデータ分析など、様々なユースケースに対応可能です。

HAQM OpenSearch Ingestion は、OpenSearch Project が提供する Data Prepper をベースにしたデータ収集、変換、強化、および配信機能を提供するフルマネージドサービスです。ログ、メトリクス、トレースなどの様々なデータに対応し、データ正規化、フィルタリング、エンリッチメントといった変換処理をサポートします。スケーラブルかつ高い可用性を提供しており、インフラストラクチャの管理を行うことなく、大規模なデータ取り込みパイプラインを運用できます。複数の OpenSearch クラスターへの分岐配信もサポートしているため、クラスター単位の Blue/Green による入れ替えなどでも有用です。後述する HAQM DynamoDBや HAQM DocumentDB との Zero ETL 統合でも、OpenSearch Ingestion が活用されています。
HAQM Data Firehose は、ストリーミングデータをノーコードでリアルタイムで配信するフルマネージドサービスです。設定次第で、データをバッファに可能な限り蓄積して効率よく配信することも、可能な限り素早く配信することも可能です。AWS Lambda と連携したデータの変換機能も提供しています。ストリーミングデータの HAQM S3 への配信がポピュラーなユースケースですが、OpenSearch Service ともネイティブ統合されており、コンテナ上で実行されるアプリケーションのログを Fluent Bit から OpenSearch Service に送信する際のバッファ層として用いられることもあります。
各種ログの収集、閲覧機能を提供する HAQM CloudWatch Logs は、サブスクリプションフィルターと呼ばれる機能を通して、ログを OpenSearch Service に配信可能です。アプリケーションログ、システムログ、AWS サービスログを OpenSearch Service にニアリアルタイムに転送することで、リアルタイムな分析と可視化が可能になります

Zero ETL を活用した異なるデータソースからのシームレスなデータ連携

Zero ETL は、データの抽出、変換、ロード (ETL) プロセスを自動化し、データソースからターゲットへのデータ移動をシームレスに行う機能です。従来のETLプロセスでは、データの移動と変換に時間とリソースを要し、データの鮮度が損なわれる課題がありました。Zero ETLはこれらの課題を解決します。HAQM OpenSearch Service は複数のAWSサービスとの Zero ETL 統合をサポートしており、異なるソース上のデータに対する柔軟な検索、分析、可視化、モニタリングを容易にします。

HAQM DocumentDB (with MongoDB compatibility) との Zero ETL 統合: HAQM DocumentDB のデータを OpenSearch Service に自動的に同期し、高度な検索と分析機能をデータベースに追加できます。これにより、複雑なETLパイプラインを構築することなく、ドキュメントデータの全文検索や分析が可能になります。
HAQM DynamoDB との Zero ETL 統合 : DynamoDB テーブルのデータを OpenSearch Service に自動的にレプリケートし、NoSQL データに対する高度な検索機能と分析機能を提供します。これにより、DynamoDB の優れたスケーラビリティと OpenSearch の強力な検索機能を組み合わせたソリューションが実現します。
HAQM S3 との Zero ETL 統合: S3 バケット内のデータを OpenSearch Service に取り込むことなく、データレイクに保存されたデータに対して直接分析を行い、結果を可視化することができます。必要に応じて一部のデータを OpenSearch に取り込むことで、高速な全文検索を行うことも可能です。
HAQM Security Lake との Zero ETL 統合: Security Lake 上のデータを取り込むことなく OpenSearch Service からダイレクトに分析することができます。
HAQM CloudWatch Logs との統合分析エクスペリエンス: CloudWatch Logs に格納されたログデータを取り込むことなく、 OpenSearch Service からダイレクトに取得し、可視化や分析を行うことが可能です。

HAQM OpenSearch Service を活用したソリューション

OpenSearch を効率的に活用するために、AWS から実用的なソリューションが提供されています。以下では、代表的な 3 つのソリューションとその特徴を紹介します。

SIEM on HAQM OpenSearch Service

SIEM on HAQM OpenSearch Service は、セキュリティ情報とイベント管理 (SIEM) のためのオープンソースソリューションです。AWS WAF、AWS CloudTrail、VPC フローログなど、 30 種類以上の AWS サービスからセキュリティログを自動収集・分析し、セキュリティインシデントの検出と対応を支援します。事前設定されたダッシュボードやアラートルールにより、セキュリティ監視環境を迅速に構築できます。本ソリューションは様々な企業で実際に活用されています。株式会社ココナラは、本ソリューションを導入することで、セキュリティログの可視化と分析を効率化しました。ソリューションのワークショップも提供されており、実際の利用イメージをつかむことができます。

Centralized Logging with OpenSearch

Centralized Logging with OpenSearch は、AWS リソースからのログを一元的に収集、分析、可視化するためのソリューションです。アプリケーションパフォーマンス、運用最適化、トラブルシューティングなど、広範な目的に対応したログ収集をサポートします。付属の管理 UI から、OpenSearch クラスターの管理、ログ収集パイプラインのセットアップが行えます。EC2 や EKS 環境への Fluent Bit の導入サポート機能や、syslog 収集用の syslog サーバーの作成など、アプリケーションログを収集するためのリソース作成も手助けしてくれます。ソースコードが公開されており、利用者自身によるカスタマイズも可能です。詳細な機能や想定コストについては実装ガイドをご覧ください。また、ワークショップで実際に本ソリューションを体験することが可能です。ソリューションアーキテクトによる解説も合わせてごらんください。

Migration Assistant for HAQM OpenSearch Service

Migration Assistant for HAQM OpenSearch Service は、既存のセルフマネージド Elasticsearch または OpenSearch クラスターから HAQM OpenSearch Service へのマイグレーションを簡素化するソリューションです。メタデータ移行、ドキュメントの増分同期、差分チェック機能、プロキシによる新旧クラスター双方へのトラフィック配信、トラフィックの本番切り替えといった移行に欠かせない機能を提供します。詳細な利用方法については実装ガイドをご覧ください。

サンプル実装

アプリケーション実装に役立つサンプルをご紹介します。これらのサンプルは実践的なユースケースを想定して作成されたものです。AWS CDK や AWS CloudFormation テンプレートで提供されており、素早くサンプルを準備可能です。是非お試しいただき、ご自身のプロジェクトにおける検索機能の実装にお役立てください。

OpenSearch Intelligent Search JP

OpenSearch Intelligent Search JP は、日本語テキストに対応した検索機能を実装するためのサンプルです。形態素解析による日本語の分かち書き処理や同義語辞書の活用方法が実装されています。E コマースサイトや企業内文書検索など、日本語コンテンツを扱うアプリケーションの実装上のエッセンスが含まれています。

QA with LLM and RAG

QA with LLM and RAG は、HAQM SageMaker、HAQM OpenSearch Service、Streamlit、LangChain を組み合わせた質問応答ボットの実装例です。OpenSearch がベクトルデータベースとして機能し、ドキュメントの意味検索を担当します。ユーザーからの質問に対して関連性の高いドキュメントを OpenSearch から検索し、それをコンテキストとして LLM に提供することで、正確で根拠のある回答を生成します。複数の PDF ドキュメントからの情報抽出と質問応答の実装方法が詳細に解説されています。ソリューションの概要については Blog 投稿「HAQM SageMaker、HAQM OpenSearch Service、Streamlit、LangChain を使った質問応答ボットの構築」も合わせてごらんください。

AI Search with HAQM OpenSearch Service

AI Search with HAQM OpenSearch Service は、Build next-gen search with HAQM OpenSearch Service ワークショップで使用されている生成 AI と OpenSearch を組み合わせた検索システムの実装例です。LLM を活用して自然言語クエリの理解や検索結果の要約生成を行う方法が示されています。RAG パターンの実装により LLM の回答精度を向上させる手法や、ベクトル検索とキーワード検索を組み合わせたハイブリッド検索の実装方法も含まれています。

AI ショッピングアシスタント

AI ショッピングアシスタントは、E コマース向けの生成 AI 搭載ショッピングアシスタントソリューションです。OpenSearch のベクトル検索機能と生成 AI を組み合わせ、顧客の自然言語による質問に対して商品カタログから関連情報を検索し、パーソナライズされた回答を生成します。商品の推薦、仕様の比較、使用方法のアドバイスなど、顧客の購買体験を向上させる機能を実装できます。詳細については、AWS Blog 「AWS が生成 AI で E コマースにおけるショッピングアシスタントを強化」をご覧ください。

まとめ

本投稿では、OpenSearch Magazine の開設にあたり、OpenSearch および HAQM OpenSearch Service の概要をご紹介しました。

OpenSearch はオープンソースの検索エンジンとして、フルテキスト検索からベクトル検索まで幅広い機能を提供し、近年では RAG アプリケーションのベクトルストアとしても注目を集めています。HAQM OpenSearch Service は、これらの機能をマネージドサービスとして提供することで、インフラ管理の負担なく高可用性と拡張性を実現します。HAQM Prime Video、Airbnb、OfferUp などの事例を通して、検索体験の向上やユーザーエンゲージメントの改善に貢献できることが確認できます。AWS エコシステムとのシームレスな連携を活用することで、開発者は複雑なインフラ管理やデータパイプラインの構築に時間を費やすことなく、RAG アプリケーションの構築や異なるデータストアとの Zero ETL 統合を実現し、ビジネス価値の創出に集中できます。更に、SIEM on HAQM OpenSearch Service や Centralized Logging with OpenSearch などの既存ソリューションを活用することで、セキュリティ監視やログ分析といった特定の用途にすばやく適用することが可能です。日本語対応の検索機能など、実装のヒントとなるサンプルもあります。

今後も、OpenSearch は最新の技術動向やユーザーニーズに対応すべくアップデートが行われていきます。OpenSearch Magazine では、重要なアップデート情報や活用事例を定期的にお届けし、皆様の OpenSearch 活用をサポートしてまいります。早速 OpenSearch Magazine Vol. 1 にアクセスし、OpenSearch のアップデートをキャッチアップしていきましょう。

著者について

ソリューションアーキテクト榎本貴之(Takayuki Enomoto) (X: @tkykenmt)

2015 年に AWS Japan にクラウドサポートエンジニアとして入社し、HAQM OpenSearch Service を中心に顧客の課題解決を担当していました。2021 年より現職のスペシャリスト SA として、HAQM OpenSearch Service および HAQM MSK を中心とした、お客様システムにおける検索、分析、ストリーミング処理の導入および活用を支援しています。

HAQM Web Services ブログ