Agent Analyticsの概要

エージェント分析は、AIエージェントの品質を測定し、それをAmplitudeですでに追跡しているビジネス成果(コンバージョン、リテンション、収益)と結び付けます。すべてのエージェントイベントにはプロダクトのが含まれており、プロダクトイベントと同じプロジェクト内に存在するため、「エージェントセッションが成功したユーザーのリテンションは向上するのか?」といった疑問に対して、データエンジニアリングのプロジェクトではなく、1つのチャートuser_idで答えることができます。

オブザーバビリティツールは、エージェントが何を行ったかを教えてくれます。エージェント分析は、エージェントがユーザーに対して機能したかどうか、そしてそれがビジネスにどのような影響を与えたかを示します。

回答可能な内容

  • **品質:**ユーザーのタスクを完了するセッションの割合はどのくらいですか? プロンプトまたはモデルを変更した後、品質はどこで後退しますか?
  • **行動:**エージェントを採用したユーザーは、採用していないユーザーよりもコンバージョン率とリテンション率が高いですか? どのユーザーセグメントで苦戦しているのか?
  • **コスト:**各エージェント、モデル、トピックのコストは?その費用は成功したセッションに費やされますか?
  • **診断:**失敗した任意のセッションについて、ターンごと、ツール呼び出しごとに、正確に何が起こったかを確認できます。

コアコンセプト

エージェント分析はデータを3つの階層に整理し、エージェントはそのデータ全体にわたる次元となります。

  • **セッション:**ユーザーがエージェントに渡す作業の1単位(会話スレッド、サポートチケット、音声コール、バックグラウンド実行)。 [Agent] Session IDによって識別されます。これは、アプリがすでに保持しているIDから提供します。
  • **Turn:**セッション内の1つの交換:ユーザーメッセージ、ツール呼び出し、AIレスポンス。
  • **Span:**ターン内の1つの操作:LLM呼び出し、ツールの呼び出し、取得ステップ。
  • エージェント:作業を実行するAIコンポーネント。すべてのイベントには[Agent] Agent IDがあります。エージェントは子エージェントに委譲できます。セッションにはルートエージェントと、最も長い委譲パス上のエージェント数が記録されるので、マルチエージェントシステムもそのまま最初から分析対象になります。エージェントはイベントのディメンションであり、階層の 4 番目のレベルではありません。

エージェントセッションと標準分析セッションの比較

エージェントセッションはAmplitudeの標準分析セッションと同じではありません。

エージェントセッションである[Agent] Session IDは、ユーザーがエージェントに渡す単一の作業単位です。Amplitudeの標準的な分析セッション$session_idは、セッションリプレイとプロダクトレポートの基盤となる、ユーザーのアプリまたはウェブへの訪問です。たとえば、Amplitudeを開くと、標準分析セッションが開始されます。 Amplitude内からグローバルエージェントを起動すると、エージェントセッションが開始されます。 この2つは独立しています。標準分析セッションに複数のエージェントセッションが含まれる場合もあれば、単一のエージェントセッションが複数の標準分析セッションにまたがる場合もあります。エージェントセッションは、自身のスレッド、チケット、コール、または実行IDから設定します。

品質の測定方法

エージェント分析は、以下の3つの補完的な方法で品質を測定します:

  • **シグナル:**Amplitudeは、すべての終了済みセッションを、組み込みのシグナルセット(タスク完了、レスポンス品質、ユーザーのインテント、セッションの安全性、ユーザーの摩擦、ネガティブなフィードバック、データ品質)に対して自動的に評価します。結果はセッションの[Agent] Session Recordイベントに表示され、それぞれに書面による根拠が記載されます。設定は必要ありません。
  • **評価ツール:**AmplitudeのUIで定義およびキャリブレーションできるカスタムジャッジです。ポリシーに対するコンプライアンス、根拠の正確さ、トーンなど、言葉で説明できるものであれば、プロダクトにとって重要な基準を何でも設定できます。有効な各々の評価ツールが、セッションごとに[Agent] Evaluator Resultイベントを生成します。また、独自のインフラストラクチャで評価を計算し、Session Enrichmentとして送信することもできます。
  • **スコア:**ユーザーやレビューアの声。サムズ評価、CSAT、または独自のLLM-as-judge判定であり、アプリケーションから[Agent] Scoreイベントとして送信されます。それぞれが特定のメッセージまたはセッションに関する個別の判断です。Amplitudeはスコアを生成しません。スコアは常にお客様のものです。 明示的なユーザーのフィードバックは、検出された否定的なフィードバック信号を上書きするため、最終的には常にユーザーの判断が優先されます。

スコアとセッションエンリッチメントは似ていますが、役割は異なります。スコアは1つのターゲットに関する1つの名前付き判定(「このレスポンスは低評価でした」)です。一方、セッションエンリッチメントは、Amplitudeではなくお客様のインフラストラクチャ上でエンリッチメントが実行される場合に、Amplitudeのシグナルの代わりとなる、お客様自身で計算するセッションレベルの品質ラベルの完全なセットです。Feedbackはスコア、do-it-yourselfシグナルはセッションエンリッチメントです。

シグナルは初日からカバレッジを提供し、評価器は独自の基準で精度を提供し、スコアは実際のユーザーの判断に基づいて両者の整合性を保ちます。

インストルメンテーションの概要

最も速いパスはNodeまたはPython AI SDKです。設定エージェントは、そのほとんどの作業を実行できます。たとえば、1つのCLIコマンドを実行し、表示されたプロンプトをコーディングアシスタントに貼り付け、提案された変更を確認します。SDKが唯一のパスではありません。OpenTelemetry GenAIトレースをすでに送信している場合は、再インストルメンテーションなしでAmplitudeにルーティングしてください。任意のスタックからHTTP API経由で[Agent]イベントを直接送信できます。これは、AI SDKを実行できないブラウザ、エッジランタイム、AIアプリビルダーで使うパスでもあります。ホスト型プラットフォーム、トレースツール、ウェアハウス、OpenTelemetryをエクスポートするエージェントフレームワーク、ゲートウェイ、Fireworks、ローカルモデル、またはCursor Agent SDKにすでに存在する会話は、統合を通じて取り込むことができます。どのパスを選択しても、PIIマスキング付きの完全な会話キャプチャからメタデータのみまで、3つのプライバシーモードで、インフラストラクチャから外部に出るコンテンツを制御できます。5分間でできるパスについてはクイックスタート、パスを比較して本番環境のインストルメンテーションを計画する方法についてはセットアップを参照してください。

Amplitudeのどこに表示されるか

  • エージェントごとの品質、コスト、レイテンシー、ボリュームは、ダッシュボードでモニタリングします。
  • 個々のセッションをターンごとにブラウズ、フィルタリング、検査するためのセッション。
  • グラウンドトゥルースラベル付きのキュレーション済みデータセットに対してカスタムジャッジを構築、キャリブレーション、実行するための評価者。
  • **Amplitudeのその他のすべての機能:**エージェントイベントは、他のイベントと同様にチャート、ファネル、コホート、セッションリプレイのリンクで機能します。 最初のエージェントセッションからコンバージョンまでのファネル、または今月3回のセッションに失敗したユーザーのコホートを直接構築します。

RBACによるアクセス管理

管理者は、ロールベースのアクセス制御(RBAC)を通じて、Agent Analyticsを使用できるユーザーを管理します。3つの権限が適用されます:

  • **エージェント分析オブジェクトの表示:**セッション、評価者、および関連オブジェクトを表示します。Agent Analyticsを使用するには、このロールの権限が必要になります。
  • **非アクティブな評価と実行の管理:**下書き評価ツールの作成、更新、削除を行い、ドライランを開始できます。
  • **評価を有効にする:**評価者をアクティブな評価者としてマークし、ライブ評価者をアーカイブします。

次のステップ

  • クイックスタート:約5分以内に最初のイベントが発生します。
  • 設定:本番環境のインストルメンテーション、プライバシーモード、およびセッションのライフサイクルを計画します。
  • 結果の分析:セッションを探索し、評価者を実行し、プロダクト分析に接続します。
  • タクソノミー:完全なイベントとプロパティの参照。
  • Export API:セッション、データセット、評価者の設定を、独自のオフライン評価パイプラインに取り込みます。

これは役に立ちましたか?

For AI agents: a documentation index is available at /docs/llms.txt. Append .md to any page URL for markdown, or send Accept: text/markdown.

このページでは