For AI agents: a documentation index is available at /docs/llms.txt. Append .md to any page URL for markdown, or send Accept: text/markdown.
エージェントアナリティクスのタクソノミー
この機能は早期アクセスです。 この期間中、機能のさまざまな側面はまだ開発されている可能性があり、このドキュメントは常に最新であるとは限りません。 ご質問がある場合は、までお問い合わせください。Amplitude Support.
このページは、Agent アナリティクスが生成するデータ(すべての[Agent]イベント、エンリッチメントイベントのプロパティ、デフォルトのシグナルなど)のリファレンスです。これらの結果を UI で読むには、[エージェント結果の分析] に移動してください。 コードからイベントを送信するには、Agent アナリティクス SDK にアクセスしてください。
このタクソノミーは設定可能であり、オープンベータ版の期間中も進化を続けています。以下のリストをデフォルトの形式として扱い、ライブセットを自分のイベントストリームと照合して確認してください。
データ階層
Agent アナリティクスは、各エージェントのやり取りを階層構造としてモデル化します。
- セッション: ユーザーが最初から最後までエージェントに渡す 1 つのジョブです。 Amplitude は、
[Agent] Session IDプロパティを持つセッションを識別します。 エージェントセッションは、ユーザーのアプリまたはウェブへの訪問を指す Amplitude の標準分析セッション($session_id)とは異なります。 - ターン:セッション内での1回の往復のやり取り(ユーザーメッセージ、エージェントのツール呼び出し、AIの応答)です。
- スパン: ツール呼び出し、ベクトル検索、リランク、ガードレールなどのサブターンステップです。
すべてのユーザーメッセージ、AIレスポンス、ツールコールは独立したAmplitudeイベントとして送信されるため、まずトレースを分解することなく、ファネル、コホート、リテンションチャートでエージェントデータを活用できます。
イベントインベントリ
Agent アナリティクスはこれらのイベントを生成します。SDK のインストルメンテーションは、SDK の直接呼び出しを通じて、または enable_otel() / enableOtel() がアクティブな場合には OTEL スパンを通じて、最初の 7 つを生成します(SDK はスパンを自動的にイベントにマップします)。サーバーエンリッチメントパイプラインは、セッションの終了後に残りのデータを生成します。
| イベント | プロデューサー | SDKメソッド |
|---|---|---|
[Agent] User Message | SDK | track_user_message() |
[Agent] AI Response | SDK | track_ai_message() |
[Agent] Tool Call | SDK | track_tool_call() |
[Agent] Embedding | SDK | track_embedding() |
[Agent] Span | SDK | track_span() |
[Agent] Session End | SDK | track_session_end() |
[Agent] Session Enrichment | SDK | track_session_enrichment() |
[Agent] Session Record | サーバ拡張パイプライン | 内部 |
[Agent] Evaluator Result | サーバー・エンリッチメント・パイプライン | 内部 |
[Agent] Score | SDKまたはフィードバック用のサーバー | score() |
SDKイベント
エージェントの実行時にインストルメンテーションがこれらのイベントを生成します。この[Agent] AI Responseイベントはレスポンスごとのモデル、プロバイダー、トークン、レイテンシ、コストのプロパティを伝送します。
[Agent] User Message:ユーザーがエージェントに送信するメッセージです。[Agent] AI Response:エージェントの応答。モデル、プロバイダー、トークン、レイテンシー、コストなどが含まれています。[Agent] Tool Call:エージェントが呼び出す関数またはツールです。[Agent] Embedding:埋め込みまたはベクター検索のステップです。[Agent] Span:リランクやガードレールなど、その他のパイプラインステップです。[Agent] Session End:セッションの終了を示します。[Agent] Session Enrichment:プライバシーモードで送信される、customer_enriched独自のセッションラベルです。
すべての SDK イベントプロパティには、[Amplitude] Session Replay IDを除き、[Agent]のプレフィックスが付きます。以下の表は、SDK が発行するプロパティをイベント別にグループ化したものです。 オプションのプロパティは、関連するデータが利用可能で、プライバシーモードで許可されている場合に設定されます。
共通のプロパティ
これらのプロパティは、任意の SDK イベントに表示できます。
| プロパティ | タイプ | 必須 | 概要 |
|---|---|---|---|
[Agent] Session ID | 文字列 | はい | セッション識別子。 1つのエージェントセッション内のすべてのイベントがそれを共有します。 |
[Agent] Component Type | 文字列 | はい | イベントを生成したコンポーネント: user_input、llm、tool、または embedding。 |
[Agent] SDK Version | 文字列 | はい | イベントを生成した SDK のバージョン。 |
[Agent] Runtime | 文字列 | はい | SDK ランタイム: nodeまたは python。 |
[Agent] Trace ID | 文字列 | いいえ | トレースビューアでイベントを1つのターンにグループ化します。それがないイベントは、セッションIDにフォールバックします。 |
[Agent] Turn ID | 数値 | いいえ | セッション内のイベントを順序付けする単調に増加するカウンタ。 |
[Agent] Agent ID | 文字列 | いいえ | どのエージェントがインタラクションを処理しましたか (例: support-bot)。 |
[Agent] Parent Agent ID | 文字列 | いいえ | マルチエージェント委任の場合、このエージェントに委任したエージェント。 |
[Agent] Customer Org ID | 文字列 | いいえ | マルチテナント プラットフォーム用のテナント組織 ID。 アカウントレベルのグループアナリティクスを有効にします。 |
[Agent] Agent Version | 文字列 | いいえ | エージェント コードのバージョン。 バージョン間の品質比較を有効にします。 |
[Agent] Agent Description | 文字列 | いいえ | エージェントの目的について人間が理解できる説明です。 |
[Agent] Context | 文字列 | いいえ | セグメンテーションディメンションのシリアル化された JSON です。 「コンテキストによるセグメンテーションの追加」を参照してください。 |
[Agent] Env | 文字列 | いいえ | 導入環境: production、staging、または dev。 |
[Agent] Message Source | 文字列 | いいえ | user エンドユーザーの入力やエージェント間の委任に使用agentします。 プロバイダのラッパーはそれを自動的に設定します。 |
[Agent] Locale | 文字列 | いいえ | ユーザーロケール (例: en-US)。 |
[Amplitude] Session Replay ID | 文字列 | いいえ | セッションリプレイへのリンク(device_id/session_id形式)。 |
導入と OTEL のメタデータ
これらのオプションのプロパティは、設定時に任意の SDK イベントに表示できます。
| プロパティ | タイプ | 概要 |
|---|---|---|
[Agent] Git SHA | 文字列 | デプロイ済みビルドのコミット SHA。エージェントの動作を特定の展開と関連付けるために使用します。 |
[Agent] Git Ref | 文字列 | ブランチ名またはタグ名(例:mainまたは v2.1.0)。 |
[Agent] Git Repo | 文字列 | リポジトリ識別子(例:org/repo)。 |
[Agent] Tags | 文字列[] | アドホックグループ化用のカスタム文字列タグ(例:["beta", "internal"])。 |
[Agent] Span Kind | 文字列 | OTELが有効になっている場合のOTELスパンルーティングヒント。範囲をイベントタイプ(tool、 llm、agent 、span )にマップします。 |
[Agent] User Message プロパティ
共通のプロパティに加えて。
| プロパティ | タイプ | 必須 | 概要 |
|---|---|---|---|
[Agent] Message ID | 文字列 | はい | このメッセージの一意の ID。スコアとツールコールをメッセージにリンクします。 |
[Agent] Is Regeneration | ブール値 | いいえ | ユーザーが以前のレスポンスを再生成するようAIに依頼したかどうか。 ネガティブな品質シグナル。 |
[Agent] Is Edit | ブール値 | いいえ | ユーザーが以前のメッセージを編集して再送信したかどうか。 |
[Agent] Edited Message ID | 文字列 | いいえ | 編集された元のメッセージのMessage ID。 |
[Agent] Has Attachments | ブール値 | いいえ | メッセージに添付ファイルが含まれているかどうか。 |
[Agent] Attachment Types | 文字列[] | いいえ | 異なる添付ファイルタイプ (例: pdf、 image)。 |
[Agent] Attachment Count | 数値 | いいえ | メッセージに含まれる添付ファイルの数。 |
[Agent] Total Attachment Size Bytes | 数値 | いいえ | すべての添付ファイルの合計サイズ(バイト単位)。 |
[Agent] Attachments | 文字列 | いいえ | 添付ファイルメタデータ(タイプ、名前、サイズ)のシリアル化された JSON です。メタデータのみで、ファイルコンテンツは含まれません。 |
[Agent] Message Labels | 文字列 | いいえ | ラベルオブジェクトのシリアル化された JSON です。 ルーティングタグ、分類子出力、またはビジネスコンテキストに使用されます。 |
[Agent] Message Source | 文字列 | いいえ | user 実際のエンドユーザー入力用、または親エージェントからの子への指示用agentです。 |
[Agent] AI Response プロパティ
共通のプロパティに加えて。
| プロパティ | タイプ | 必須 | 概要 |
|---|---|---|---|
[Agent] Message ID | 文字列 | はい | このレスポンスの一意の ID。 |
[Agent] Model Name | 文字列 | はい | モデル識別子(例:gpt-4o、claude-sonnet-4-20250514)。 |
[Agent] Provider | 文字列 | はい | プロバイダー名(例:openai、anthropic、google、mistral、bedrock)。 |
[Agent] Latency Ms | 数値 | はい | コールの実時間の合計遅延時間(ミリ秒単位)。 |
[Agent] Is Error | ブール値 | はい | 応答がエラーを表しているかどうか。 |
[Agent] Error Message | 文字列 | いいえ | Is Errortrueの場合、エラーテキストです。 |
[Agent] Error Type | 文字列 | いいえ | Is Errortrue の場合の例外クラス名。 失敗を種類別にグループ化するツールを導入しましょう。 |
[Agent] TTFB Ms | 数値 | いいえ | 最初のトークンまでの時間(ミリ秒単位)。 ストリーミングの体感応答性を測定します。 |
[Agent] Input Tokens | 数値 | いいえ | プロンプトトークンが消費されました。 キャッシュ込み(「コストとトークンの管理」を参照してください)。 |
[Agent] Output Tokens | 数値 | いいえ | 完了トークンが生成されました。 |
[Agent] Total Tokens | 数値 | いいえ | 入力と出力のトークン。 |
[Agent] Reasoning Tokens | 数値 | いいえ | 推論や思考に費やされたトークン(o1、o3、拡張思考モデル)。 |
[Agent] Cache Read Tokens | 数値 | いいえ | プロバイダのプロンプトキャッシュからより安価な料金で提供される入力トークン。 |
[Agent] Cache Creation Tokens | 数値 | いいえ | 新しいプロンプトキャッシュエントリを作成した入力トークン。 |
[Agent] Cost USD | 数値 | いいえ | 見積もりコストは米ドルで表示されます。 キャッシュトークン数が指定されている場合にキャッシュを考慮します。 |
[Agent] Finish Reason | 文字列 | いいえ | モデルが停止した理由: stop、end_turn、tool_use、length、content_filterなど。 |
[Agent] Is Streaming | ブール値 | いいえ | 応答がストリーミングされたかどうか。 |
[Agent] Model Tier | 文字列 | いいえ | 自動推定された階層: fast、standard、または reasoning。 |
[Agent] Was Cached | ブール値 | いいえ | 応答がセマンティックキャッシュから提供されたか、それともフルレスポンスキャッシュから提供されたか。 |
[Agent] Was Copied | ブール値 | いいえ | ユーザーが応答をコピーしたかどうか。 暗黙の肯定的な品質シグナル。 |
[Agent] Has Reasoning | ブール値 | いいえ | 応答に理由付けのコンテンツが含まれていたかどうか。 |
[Agent] Reasoning Content | 文字列 | いいえ | 推論コンテンツ(利用可能で、プライバシーモードで許可されている場合)。 |
[Agent] System Prompt | 文字列 | いいえ | プライバシーモードが許可されている場合に使用されるシステムプロンプト。 |
[Agent] System Prompt Length | 数値 | いいえ | システムプロンプトの文字長。 |
[Agent] Tool Calls | 文字列 | いいえ | このレスポンスでAIが行ったツールコールのシリアル化されたJSONリクエストです。 |
[Agent] Tool Definitions | 文字列 | いいえ | プライバシーモードが許可する場合、LLMに送信されるツール定義の正規化されたJSONです。 |
[Agent] Tool Definitions Count | 数値 | いいえ | リクエスト内のツール定義の数。 |
[Agent] Tool Definitions Hash | 文字列 | いいえ | ツール定義の安定したハッシュ値。 常に存在します。スキーマを公開することなくツールセットの変更を検出できます。 |
[Agent] Temperature | 数値 | いいえ | コールに使用される温度パラメータ。 |
[Agent] Max Output Tokens | 数値 | いいえ | コールに対して設定された最大出力トークン数。 |
[Agent] Top P | 数値 | いいえ | コールに使用されるTop-p(核サンプリング)パラメータ。 |
[Agent] Prompt ID | 文字列 | いいえ | 使用されているプロンプトテンプレートまたはバージョンの識別子。 |
[Agent] Message Labels | 文字列 | いいえ | レスポンスに添付されたラベルオブジェクトのシリアル化された JSON です。 |
[Agent] Tool Call プロパティ
共通のプロパティに加えて。
| プロパティ | タイプ | 必須 | 概要 |
|---|---|---|---|
[Agent] Invocation ID | 文字列 | はい | このツール呼び出しに対する一意の ID。 ツール呼び出しを親メッセージにリンクします。 |
[Agent] Tool Name | 文字列 | はい | 呼び出されたツールの名前 (例: search_docs)。 |
[Agent] Tool Success | ブール値 | はい | ツール呼び出しが正常に完了したかどうか。 |
[Agent] Latency Ms | 数値 | はい | コールの実時間の合計遅延時間(ミリ秒単位)。 |
[Agent] Is Error | ブール値 | はい | コールがエラーを表しているかどうか。 |
[Agent] Tool Type | 文字列 | いいえ | ツールの起源: python(ネイティブのプロセス内)、 mcp(接続された MCP サーバーによって提供される)、 flow(サブエージェント委任)、または unknown。 |
[Agent] Tool Owner | 文字列 | いいえ | ツールの所有者:amplitude(Amplitudeが構築または運営している)またはcustomer(カスタマーが接続したサーバー)。 |
[Agent] Tool Input | 文字列 | いいえ | ツールの入力引数のシリアル化された JSON です。 fullプライバシーモードでのみ送信されます。 |
[Agent] Tool Output | 文字列 | いいえ | ツールの返り値のシリアル化された JSON です。 fullプライバシーモードでのみ送信されます。 |
[Agent] Parent Message ID | 文字列 | いいえ | ツール呼び出しをトリガーしたユーザーメッセージの Message ID。 |
[Agent] Embedding プロパティ
共通のプロパティに加えて。
| プロパティ | タイプ | 必須 | 概要 |
|---|---|---|---|
[Agent] Span ID | 文字列 | はい | 埋め込み操作の一意の ID。 |
[Agent] Model Name | 文字列 | はい | 埋め込みモデル識別子。 |
[Agent] Provider | 文字列 | はい | プロバイダー名。 |
[Agent] Latency Ms | 数値 | はい | 操作のウォールクロック遅延時間(ミリ秒単位)。 |
[Agent] Input Tokens | 数値 | いいえ | 埋め込みモデルによって処理された入力トークン。 |
[Agent] Embedding Dimensions | 数値 | いいえ | 出力ベクトルの次元数。 |
[Agent] Cost USD | 数値 | いいえ | 見積もりコストは米ドルで表示されます。 入力トークンから自動的に計算されます。値を渡してオーバーライドします。 |
[Agent] Span プロパティ
共通のプロパティに加えて。
| プロパティ | タイプ | 必須 | 概要 |
|---|---|---|---|
[Agent] Span ID | 文字列 | はい | スパンに対する一意のID。 |
[Agent] Span Name | 文字列 | はい | 操作の名前(例:rag_pipeline、vector_search)。 |
[Agent] Latency Ms | 数値 | はい | スパンに対するウォールクロック遅延時間(ミリ秒単位)。 |
[Agent] Is Error | ブール値 | はい | スパンがエラーを表すかどうか。 |
[Agent] Parent Span ID | 文字列 | いいえ | ネストされたパイプラインステップ用の親スパンのスパンID。 |
[Agent] Input State | 文字列 | いいえ | スパンの入力状態のシリアル化されたJSON。fullプライバシーモードでのみ送信されます。 |
[Agent] Output State | 文字列 | いいえ | スパンの出力状態のシリアル化されたJSON。fullプライバシーモードでのみ送信されます。 |
[Agent] Session End プロパティ
共通のプロパティに加えて。
| プロパティ | タイプ | 概要 |
|---|---|---|
[Agent] Abandonment Turn | 数値 | ユーザーが退去する前に最後に返信を受けたユーザーメッセージのターンID。値が低いと、早期のドロップオフを示します。 |
[Agent] Session Idle Timeout Minutes | 数値 | セッションのアイドルタイムアウトです。セッションを自動的に閉じる前に待機する時間をサーバに指示します。 |
[Agent] Enrichments | 文字列 | セッション終了時に提供されたエンリッチメントのシリアル化された JSON です。 |
[Agent] Session Enrichment プロパティ
customer_enrichedプライバシーモードで送信されました。 共通のプロパティに加えて。
| プロパティ | タイプ | 必須 | 概要 |
|---|---|---|---|
[Agent] Enrichments | 文字列 | はい | セッションのエンリッチメントのシリアル化された JSON データ:結果、品質とセンチメントのスコア、フラグ、メッセージラベル。 |
[Agent] Score プロパティ
[Agent] Score ユーザーからの明確なフィードバックを伝えます。 共通のプロパティに加えて。
| プロパティ | タイプ | 必須 | 概要 |
|---|---|---|---|
[Agent] Score Name | 文字列 | はい | スコアの名前(例:user-feedback)。 |
[Agent] Score Value | 数値 | はい | 数値:バイナリ(0/1)、連続(0.0–1.0)、または評価尺度。 |
[Agent] Target ID | 文字列 | はい | スコアリングの対象となるMessage IDまたはSession ID。 |
[Agent] Target Type | 文字列 | はい | 何がスコアリングされているか:messageまたはsession。 |
[Agent] Evaluation Source | 文字列 | はい | スコアのソース。 SDKフィードバックの場合、これはuserまたはreviewerです。 |
[Agent] Comment | 文字列 | いいえ | オプションのテキスト説明。 プライバシーモードを尊重します。 |
イベントJSONの例
これらの例は、SDKがAmplitudeに送信する内容を示しています。 プロパティ名と$llm_messageコンテンツシェイプは、SDKを使用する場合もイベントを直接送信する場合も同じです。
{
"event_type": "[Agent] AI Response",
"user_id": "user-42",
"event_properties": {
"[Agent] Session ID": "sess-abc123",
"[Agent] Trace ID": "trace-def456",
"[Agent] Turn ID": 2,
"[Agent] Message ID": "msg-789xyz",
"[Agent] Model Name": "gpt-4o",
"[Agent] Provider": "openai",
"[Agent] Model Tier": "standard",
"[Agent] Latency Ms": 1203,
"[Agent] Input Tokens": 150,
"[Agent] Output Tokens": 847,
"[Agent] Total Tokens": 997,
"[Agent] Cost USD": 0.0042,
"[Agent] Is Error": false,
"[Agent] Finish Reason": "stop",
"[Agent] Component Type": "llm",
"[Agent] Agent ID": "support-bot",
"[Agent] Env": "production",
"[Agent] SDK Version": "1.0.0",
"[Agent] Runtime": "node"
}
}
{
"event_type": "[Agent] User Message",
"user_id": "user-42",
"event_properties": {
"[Agent] Session ID": "sess-abc123",
"[Agent] Turn ID": 1,
"[Agent] Message ID": "msg-123abc",
"[Agent] Component Type": "user_input",
"[Agent] Agent ID": "support-bot",
"[Agent] SDK Version": "1.0.0",
"[Agent] Runtime": "node",
"$llm_message": { "text": "How do I reset my password?" }
}
}
{
"event_type": "[Agent] Tool Call",
"user_id": "user-42",
"event_properties": {
"[Agent] Session ID": "sess-abc123",
"[Agent] Turn ID": 3,
"[Agent] Invocation ID": "inv-456def",
"[Agent] Tool Name": "search_knowledge_base",
"[Agent] Tool Success": true,
"[Agent] Is Error": false,
"[Agent] Latency Ms": 340,
"[Agent] Component Type": "tool",
"[Agent] Agent ID": "support-bot",
"[Agent] SDK Version": "1.0.0",
"[Agent] Runtime": "node"
}
}
{
"event_type": "[Agent] Score",
"user_id": "user-42",
"event_properties": {
"[Agent] Score Name": "thumbs-up",
"[Agent] Score Value": 1,
"[Agent] Target ID": "msg-789xyz",
"[Agent] Target Type": "message",
"[Agent] Evaluation Source": "user",
"[Agent] Session ID": "sess-abc123",
"[Agent] Agent ID": "support-bot",
"[Agent] SDK Version": "1.0.0",
"[Agent] Runtime": "node"
}
}
サーバ拡張イベント
セッションが終了すると、エンリッチメントパイプラインがセッションを評価し、2つのイベントをイベントストリームに書き戻します。
セッション記録
[Agent] Session Record セッションごとに1回発生します。 このメッセージには、セッションのロールアップ、常時接続信号の結果、および品質フラグが含まれます。
| プロパティ | タイプ | 概要 |
|---|---|---|
[Agent] Turn Count | 数値 | セッション内のターン数。 |
[Agent] Session Total Tokens | 数値 | すべてのターンにおけるLLMトークンの合計数。 |
[Agent] Session Avg Latency Ms | 数値 | セッション全体にわたるAI応答の平均レイテンシー(ミリ秒単位)。 |
[Agent] Models Used | 文字列[] | セッションで使用されたLLMモデル。 |
[Agent] Has Negative Feedback | ブール値 | ユーザーがセッション中に不満を表明したかどうか。 |
[Agent] Has Technical Failure | ブール値 | ツールのタイムアウトやAPIの障害など、技術的なエラーが発生したかどうか。 |
[Agent] Technical Error Count | 数値 | セッション内の技術的なエラーの数。 |
[Agent] Has Data Quality Issues | ブール値 | AI出力に誤ったデータやハルシネーションなどのデータ品質の問題があったかどうか。 |
[Agent] Root Agent Name | 文字列 | マルチエージェントフロー内のエントリポイントエージェント。 |
[Agent] Agent Chain Depth | 数値 | 委任チェーン内のエージェント数。 |
評価結果
[Agent] Evaluator Result 評価者ごとにセッションごとに1回記録されます。 それは、信号検出器、トピック分類器、ルーブリックスコアラーなどのすべてのサーバー側評価のための統一イベントです。
| プロパティ | タイプ | 概要 |
|---|---|---|
[Agent] Evaluator Name | 文字列 | この結果を生成した評価者。 トピック分類の場合、これはトピックモデル名です(例:product_area)。 |
[Agent] Evaluator Output Type | 文字列 | 結果の形状は binary、classification 、または score です。 |
[Agent] Binary Label | ブール値 | バイナリ評価者の場合、条件が検出されたかどうか。 |
[Agent] Primary Label | 文字列 | 分類評価者に対して割り当てられたプライマリラベル。 |
[Agent] Selection Mode | 文字列 | トピックモデルが single ラベル (MECE) を割り当てるか、それとも multiple を割り当てるか。 |
[Agent] Rationale | 文字列 | 結果に対するモデルの説明。 |
[Agent] Evidence | 文字列 | モデルが引用した裏付け証拠。 |
[Agent] Evaluator Model | 文字列 | 評価を実行したLLM。 |
[Agent] Evaluation Source | 文字列 | 評価の出所:ai、user、またはreviewer。 |
[Agent] Evaluator Version | 文字列 | この結果を生成した評価者の設定バージョン。 |
[Agent] Evaluated At | 数値 | 結果が計算された時点のエポックミリ秒数。 |
ユーザーフィードバックスコア
[Agent] Scoreは、応答に対する「高く評価」や「低く評価」など、ユーザーの明示的なフィードバックを記録します。スコアは、エンリッチメント パイプラインからではなく、SDK のscore()メソッドを通じてアプリケーションから得られます。 スコアを送信するには、[ユーザーフィードバック(スコア)を送信] に移動します。
シグナル
シグナルはデフォルトの常時稼働の評価機能で、Amplitudeは終了したすべてのセッションに対して実行します。これらは[Agent] Evaluator Resultイベントとして記録されます。ユーザーはそれらを設定しません。Amplitudeは時間をかけてそれらを洗練するため、それらは傾向を示す目安として扱ってください。
| シグナル | 出力 | 何を測定するか |
|---|---|---|
| タスクの完了 | バイナリ | エージェントがユーザーのタスクを完了したかどうか。 |
| 応答品質 | スコア(0.0~1.0) | 回答が正確で整形されていたかどうか。 |
| ユーザーフリクション | バイナリ | ユーザーが不満を表明したかどうか。 |
| ユーザーのインテント | 分類 | セッションに対するユーザーの意図。 |
| セッションの安全性 | 分類 | セッションをNormal、Off Topic、Prompt Injection、Abuse、Probing、Unsafe Output、またはData Leakに分類します。 |
| データ品質 | コードベースのチェック | 誤ったデータや幻覚パターンにフラグを立てます。 生成された論理的根拠ではなく、明確な結果を返します。 |
トピックとカスタム エバリュエーター
デフォルトの信号以外にも、独自のトピックモデルと評価者を定義できます。 エンリッチメントタクソノミーは完全に設定可能です。トピックモデル名(query_intentやproduct_areaなど)や評価者名(task_completionなど)は設定から取得され、プロジェクトごとに異なります。独自の評価者を作成および調整するには、カスタム評価者の作成と調整に移動します。
非推奨イベント
[Agent] Topic Classificationは非推奨です。 トピック分類は、出力タイプが classification の [Agent] Evaluator Result イベントとして表示されるようになりました。Rubricスコアも[Agent] Scoreから、出力タイプがscoreである[Agent] Evaluator Resultへと移動しました。[Agent] Scoreは現在、ユーザーフィードバックのみを保持しています。
これは役に立ちましたか?