このページでは

For AI agents: a documentation index is available at /docs/llms.txt. Append .md to any page URL for markdown, or send Accept: text/markdown.

Agent Analyticsを設定する

早期アクセス

この機能は早期アクセスです。 この期間中、機能のさまざまな側面はまだ開発されている可能性があり、このドキュメントは常に最新であるとは限りません。 ご質問がある場合は、までお問い合わせください。Amplitude Support.

このページは製品レベルの概要です。 Agent Analytics SDKは開発者向けの完全なリファレンスであり、インストール、初期化、計測セッションとツール、プロバイダーに関する注意事項、エッジランタイム、OTelの取り込み、コスト処理、およびAPIの全てについて説明しています。

以下のタイムラインは、計装によって何が生成されるかを示しています。任意のイベントをクリックすると、その形状を確認できます。

SDKからセッション中のリアルタイムAmplitudeより事後エンリッチメントロードターン1ターン2終了ViewedPage(ブラウザSDK)User MessageTool CallAI ResponseUser MessageTool CallAI Response···Session End1ターン内でも発生しますSpanSession RecordEvaluator Result × N
イベントタイプ
[Agent] AI ResponseSDK から
発生時刻
22:33:48
アイデンティティ
[Agent] Session ID4ddcc6b2-1041-432a-aa8c-ebe3eccac40b
[Agent] Agent IDsupport-chatbot
[Agent] Trace IDb4f63d43-d752-4b1f-8489-d234ddf586b2
イベント固有の
$llm_message.textI can help. Your subscription renews on Aug 15…
[Agent] Model Namegpt-4o-mini
[Agent] Provideropenai
[Agent] Input Tokens1245
[Agent] Output Tokens87
[Agent] Latency Ms3420
[Agent] Cost USD0.0012
ターンを閉じます。 セットアップ時にSDKドクターが確認する8つのフィールド(Session ID、Agent ID、Model、Provider、Latency ms、Input/Output Tokens、Cost USD)を保持します。s.trackAiMessage(...)またはプロバイダーラッパーによって発行されます。

セットアップの仕組み

Amplitudeにデータが表示されるには、次の3つの条件を満たしている必要があります:

  1. **プロジェクトでAgent Analyticsが有効になっていること。**そうでない場合は、CSMに連絡してください。
  2. コードが計測済みであること。 Amplitude AI SDK(NodeとPython)はほとんどのスタックに対応しています。SDKにバンドルされていないランタイムは、イベントをHTTP APIに直接送信できます。これらのランタイムには、Cloudflare Workers、その他のエッジ、Java、Go、Rubyなどのサポートされていない言語が含まれます。
  3. **アプリから送信する事項を決定済みであること。**プライバシーモードは、プロンプトとレスポンステキストがAmplitudeに到達するかどうかを制御します。

計測パスの選択

プライバシーモードを選択する

設定の詳細とPIIマスキングの調整項目については、プライバシーモードの選択を参照してください。

データを検証する

イベントの到着が始まると、プロジェクトのライブイベントストリームにSession ID、Agent ID、Model、Provider、Latency Ms、Input/Output Tokens、およびCost USDが入力された[Agent] AI Responseイベントが表示されます。これらのフィールドのいずれかが欠落している場合は、SDKリファレンスのデータを検証するにある手順を確認してください。

  • ローカル検証:デプロイ前にMockAmplitudeAI.summary()を実行し、キャプチャされたすべてのイベントの充足率レポートを取得します。データがAmplitudeに到達する前に、8つの検証ゲート(ID、セッション、モデル、プロバイダー、レイテンシ、入力トークン、出力トークン、コスト)をチェックし、ギャップにフラグを立てます。

データが流れていることを確認したら、エージェント結果を分析するにアクセスして、ターンレベルのシグナル、セッションのロールアップ、ダッシュボードを駆動する評価ツールの結果など、Amplitudeがその上で推測する内容を確認してください。

これは役に立ちましたか?