日時：

2025年5月15日（木）14:00～17:30（開場 13:30）

主催：

アマゾン ウェブ サービス ジャパン合同会社 ( HAQM Web Services Japan G.K. )

イベント概要：

本イベントでは、GenAIOps を実現するための重要な要素である生成 AI オブザーバビリティについて、Langfuse と HAQM Bedrock を題材にしたハンズオンワークショップを提供します。

まず、生成 AI アプリケーションの開発運用においては評価 (evaluation) が中心となるという Eval-Centric AI の考え方について解説します。続いて、生成 AI の評価やオブザーバビリティを効率化するためのツールとして代表的な Langfuse について紹介します。

後半では、実際に Langfuse と HAQM Bedrock を用いたハンズオン形式のワークショップを行い、Langfuse を用いたプロンプトの管理や、検索拡張生成 (RAG) などのトレースを記録する方法を学びます。本セッションを通じて、GenAIOps の実践に役立つ知見を提供します。

アジェンダ：

13:30-14:00　開場・受付
14:00-14:10　オープニング
14:10-14:30 「Eval-Centric AI: GenAI における継続的改善の実現」
14:30-15:00 「Langfuse による生成 AI アプリケーションの開発と運用の課題解決」
15:00-17:20　Langfuse with HAQM Bedrock ハンズオンワークショップ
17:20-17:30　クロージング

スピーカー：

• 「Eval-Centric AI: GenAI における継続的改善の実現」
  杉山 阿聖, Software Engineer, Citadel AI
  継続的改善は DevOps や MLOps における重要な概念であり、DevOps では継続的インテグレーションで、MLOps では継続的な学習で実現されてきました。このセッションでは GenAI における評価の重要性について確認したあと、継続的な改善を実現するフレームワークの紹介と、かんたんな具体例を紹介します。

• 「Langfuse による生成 AI アプリケーションの開発と運用の課題解決」
  嘉門 延親, 代表取締役, GAO, Inc.
  生成アプリケーションを本番運用する上で GenAI Ops/ LLM Opsは不可欠です。本セッションでは、開発者や運用者が抱える課題を明らかにし、Langfuse を用いてトレーシング、評価、デバッグ等を行うことで、開発・改善サイクルを高速化し品質を向上させる方法について解説します。またあわせて、Langfuse の各プランごとの違いや適切な選定ポイントについてもご紹介します。

• 本橋 和貴, GTM Specialist SA - AI/ML, AWS Japan