エージェント分析でカスタム評価ツールを設定する
カスタム評価者は、定義した品質基準に対してエージェントセッションをスコアリングします。 キャリブレーションは、評価者の判断をラベル付きの例と比較して、その正確性を調整します。 LLM評価者とそのキャリブレーション実行には、提供するモデルプロバイダーキー(独自のキーを使用する、またはBYOK)を使用します。プロバイダーを直接接続するか、OpenAI互換のゲートウェイの背後にあるモデルを使用できます。 コード評価ツールとAmplitudeの組み込みシグナルはキーを必要としません。
タスク完了やレスポンス品質などの組み込みシグナルが、プロダクトに固有の基準を捉えられない場合は、カスタム評価者を使用してください。各アクティブな評価者は、閉じたセッションごとに1つの[Agent] Evaluator Resultイベントを生成します。 [Agent] Evaluator Resultを参照してください。
キーを追加した後、「評価者の作成とキャリブレーション」を参照して、評価者の作成、キャリブレーション、有効化を行います。
モデルプロバイダーキーを追加する
モデルプロバイダーキーを管理するには、組織の管理者である必要があります。
サポートされているプロバイダーの_設定 > AIコントロール > モデルプロバイダー_でキーを追加してください。
- OpenAI
- Azure OpenAI
- Anthropic
- Google Gemini
- Fireworks AI
- Amazon Bedrock
- Google Vertex AI
- OpenAI-Compatible Gateway
Amplitudeはキーを静止状態で暗号化し、保存後は再度表示しません。 後でキーを参照したりローテーションしたりする必要がある場合は、独自のコピーを保管してください。 AI設定の詳細については、AIコントロールを参照してください。
OpenAI互換のゲートウェイを接続します。
組織がLiteLLMなどのサービスを通じてモデルアクセスを管理している場合は、ゲートウェイを使用してください。 エージェント分析では、カスタムモデル名を含むゲートウェイのモデルを検出し、評価用ジャッジとして使用できます。Gatewayの認証情報は、Agent分析のカスタムLLM評価者およびそのキャリブレーション実行のみをサポートします。
ゲートウェイは、ベースURLに対して/chat/completionsでOpenAI互換のチャット補完リクエストを受け入れる必要があります。URLは、Amplitudeのサーバーから到達可能である必要があります。
- _設定 > AIコントロール > モデルプロバイダー_に移動します。
- _OpenAI互換ゲートウェイ_を見つけ、プロバイダーキーを接続するを選択します。
- APIキーにゲートウェイのキーを入力します。
- ベースURLにはAPIベースURLを入力します(例:
https://gateway.example.com/v1)。ゲートウェイのAPIパスは含めますが、/modelsおよび/chat/completionsは除外します。 - ゲートウェイに追加の認証ヘッダーを必要とする場合は、**カスタムヘッダー(オプション)**に追加します。AmplitudeはこれらのヘッダーをAPIキーと一緒に送信します。
- [保存] を選択します。
以前にカスタムベースURLを使用して_OpenAI_の下でゲートウェイを保存した場合は、Chat Completionsを使用するために、それを_OpenAI-Compatible Gateway_の下で保存してください。
ゲートウェイモデルの選択
エージェント分析で評価ツールを開き、カスタムLLM評価ツールを作成または編集します。モデルピッカーからジャッジモデルを選択します。
Amplitudeは、保存済みのAPIキーとカスタムヘッダーを使用して、ベースURLを基準とした相対パス/modelsからゲートウェイのモデルリストを取得します。たとえば、https://gateway.example.com/v1の場合はhttps://gateway.example.com/v1/modelsを使用します。
使用しているモデルがリストにない場合は、評価器エディタのモデルピッカーの下にあるGatewayモデルIDテキストフィールドを使用します。ゲートウェイが想定するモデル名を入力します (例: my-eval-model)。これは、ゲートウェイが/modelsを提供していない場合にも機能します。
このフィールドには、Amplitudeで自動的に追加されるopenai:プレフィックスが表示されます。ゲートウェイのモデル名のみを入力します(名前自体がopenai:で始まる場合を除く)。
評価ツールを下書きとして保存してキャリブレーションを実行し、有効化する前にモデルが機能することを確認します。ゲートウェイキーを単独で保存しても、モデルを実行できることは確認されません。
組織に Agent 分析の Azure OpenAI 認証情報も所有している場合、Azure が優先され、ピッカーはゲートウェイモデルを提供しません。組織の管理者に認証情報の設定を確認するよう依頼してください。OpenAI-routed evaluator呼び出しでは、ゲートウェイは直接のOpenAIキーよりも優先されます。ゲートウェイの呼び出しではウェブ検索をサポートしていません。
LiteLLMの例
LiteLLM設定で、評価者のモデルエイリアスを定義します。<your-upstream-model-id>を、利用しているプロバイダーアカウントで使用可能なモデルに置き換えます。
model_list:
- model_name: my-eval-model
litellm_params:
model: openai/<your-upstream-model-id>
api_key: os.environ/OPENAI_API_KEY
この設定と認証を有効にして、LiteLLMをデプロイします。そのAPIベースURLとLiteLLMキーを、my-eval-modelAmplitudeのアクセス権に関連付けます。アップストリームプロバイダーキーをLiteLLMに保持します。
モデルピッカーからmy-eval-modelを選択するか、ゲートウェイモデルIDに入力します。設定済みのアップストリームモデルにエイリアス接続するLiteLLMルート。
ゲートウェイ接続のトラブルシューティング
| 症状 | 確認する内容 |
|---|---|
| モデルリストが空であるか、モデルがありません。 | ゲートウェイがサービスを提供していること、/modelsおよび保存済みのキーがモデルにアクセスできることを確認してください。 Amplitudeは検出結果をキャッシュします。そのため、変更はすぐに表示されない場合があります。 リストされていないモデルを使用するには、GatewayモデルIDに正確な名前を入力します。 |
ゲートウェイは、401または403を返します。 | APIキー、モデル権限、および必要なカスタムヘッダーを確認してください。 |
ゲートウェイはリクエストに対して404を返します。 | ベースURLとAPIパスを確認してください。 _OpenAI-Compatible Gateway_でキーを保存したこと、およびゲートウェイが/chat/completionsサポートしていることを確認してください。エラーメッセージがモデルの欠落を示している場合は、その正確なモデルIDを確認してください。 |
これは役に立ちましたか?
For AI agents: a documentation index is available at /docs/llms.txt. Append .md to any page URL for markdown, or send Accept: text/markdown.