エージェント分析でカスタム評価ツールを設定する

カスタム評価者は、定義した品質基準に対してエージェントセッションをスコアリングします。 キャリブレーションは、評価者の判断をラベル付きの例と比較して、その正確性を調整します。 LLM評価者とそのキャリブレーション実行には、提供するモデルプロバイダーキー(独自のキーを使用する、またはBYOK)を使用します。プロバイダーを直接接続するか、OpenAI互換のゲートウェイの背後にあるモデルを使用できます。 コード評価ツールとAmplitudeの組み込みシグナルはキーを必要としません。

タスク完了やレスポンス品質などの組み込みシグナルが、プロダクトに固有の基準を捉えられない場合は、カスタム評価者を使用してください。各アクティブな評価者は、閉じたセッションごとに1つの[Agent] Evaluator Resultイベントを生成します。 [Agent] Evaluator Resultを参照してください。

キーを追加した後、「評価者の作成とキャリブレーション」を参照して、評価者の作成、キャリブレーション、有効化を行います。

モデルプロバイダーキーを追加する

モデルプロバイダーキーを管理するには、組織の管理者である必要があります。

サポートされているプロバイダーの_設定 > AIコントロール > モデルプロバイダー_でキーを追加してください。

  • OpenAI
  • Azure OpenAI
  • Anthropic
  • Google Gemini
  • Fireworks AI
  • Amazon Bedrock
  • Google Vertex AI
  • OpenAI-Compatible Gateway

Amplitudeはキーを静止状態で暗号化し、保存後は再度表示しません。 後でキーを参照したりローテーションしたりする必要がある場合は、独自のコピーを保管してください。 AI設定の詳細については、AIコントロールを参照してください。

OpenAI互換のゲートウェイを接続します。

組織がLiteLLMなどのサービスを通じてモデルアクセスを管理している場合は、ゲートウェイを使用してください。 エージェント分析では、カスタムモデル名を含むゲートウェイのモデルを検出し、評価用ジャッジとして使用できます。Gatewayの認証情報は、Agent分析のカスタムLLM評価者およびそのキャリブレーション実行のみをサポートします。

ゲートウェイは、ベースURLに対して/chat/completionsでOpenAI互換のチャット補完リクエストを受け入れる必要があります。URLは、Amplitudeのサーバーから到達可能である必要があります。

  1. _設定 > AIコントロール > モデルプロバイダー_に移動します。
  2. _OpenAI互換ゲートウェイ_を見つけ、プロバイダーキーを接続するを選択します。
  3. APIキーにゲートウェイのキーを入力します。
  4. ベースURLにはAPIベースURLを入力します(例:https://gateway.example.com/v1)。ゲートウェイのAPIパスは含めますが、/modelsおよび/chat/completionsは除外します。
  5. ゲートウェイに追加の認証ヘッダーを必要とする場合は、**カスタムヘッダー(オプション)**に追加します。AmplitudeはこれらのヘッダーをAPIキーと一緒に送信します。
  6. [保存] を選択します。

以前にカスタムベースURLを使用して_OpenAI_の下でゲートウェイを保存した場合は、Chat Completionsを使用するために、それを_OpenAI-Compatible Gateway_の下で保存してください。

ゲートウェイモデルの選択

エージェント分析で評価ツールを開き、カスタムLLM評価ツールを作成または編集します。モデルピッカーからジャッジモデルを選択します。

Amplitudeは、保存済みのAPIキーとカスタムヘッダーを使用して、ベースURLを基準とした相対パス/modelsからゲートウェイのモデルリストを取得します。たとえば、https://gateway.example.com/v1の場合はhttps://gateway.example.com/v1/modelsを使用します。

使用しているモデルがリストにない場合は、評価器エディタのモデルピッカーの下にあるGatewayモデルIDテキストフィールドを使用します。ゲートウェイが想定するモデル名を入力します (例: my-eval-model)。これは、ゲートウェイが/modelsを提供していない場合にも機能します。

このフィールドには、Amplitudeで自動的に追加されるopenai:プレフィックスが表示されます。ゲートウェイのモデル名のみを入力します(名前自体がopenai:で始まる場合を除く)。

評価ツールを下書きとして保存してキャリブレーションを実行し、有効化する前にモデルが機能することを確認します。ゲートウェイキーを単独で保存しても、モデルを実行できることは確認されません。

組織に Agent 分析の Azure OpenAI 認証情報も所有している場合、Azure が優先され、ピッカーはゲートウェイモデルを提供しません。組織の管理者に認証情報の設定を確認するよう依頼してください。OpenAI-routed evaluator呼び出しでは、ゲートウェイは直接のOpenAIキーよりも優先されます。ゲートウェイの呼び出しではウェブ検索をサポートしていません。

LiteLLMの例

LiteLLM設定で、評価者のモデルエイリアスを定義します。<your-upstream-model-id>を、利用しているプロバイダーアカウントで使用可能なモデルに置き換えます。

yaml
model_list:
  - model_name: my-eval-model
    litellm_params:
      model: openai/<your-upstream-model-id>
      api_key: os.environ/OPENAI_API_KEY

この設定と認証を有効にして、LiteLLMをデプロイします。そのAPIベースURLとLiteLLMキーを、my-eval-modelAmplitudeのアクセス権に関連付けます。アップストリームプロバイダーキーをLiteLLMに保持します。

モデルピッカーからmy-eval-modelを選択するか、ゲートウェイモデルIDに入力します。設定済みのアップストリームモデルにエイリアス接続するLiteLLMルート。

ゲートウェイ接続のトラブルシューティング

これは役に立ちましたか?

For AI agents: a documentation index is available at /docs/llms.txt. Append .md to any page URL for markdown, or send Accept: text/markdown.

このページでは