Agent 분석에서 사용자 지정 평가자 설정

사용자 지정 평가자는 사용자가 정의한 품질 기준에 따라 에이전트 세션에 점수를 매깁니다. 캘리브레이션 실행은 평가자의 판단을 레이블이 지정된 예제와 비교하여 정확도를 조정합니다. LLM 평가자와 해당 캘리브레이션 실행은 사용자가 제공하는 모델 공급자 키를 사용합니다(자체 키 가져오기 또는 BYOK). 공급자를 직접 연결하거나 OpenAI 호환 게이트웨이 뒤에서 모델을 사용할 수 있습니다. 코드 평가자와 Amplitude의 내장 신호에는 키가 필요하지 않습니다.

작업 완료 및 응답 품질과 같은 내장 신호가 제품에 고유한 기준을 포착하지 못할 경우 사용자 지정 평가자를 사용하십시오. 각 활성 평가자는 닫힌 세션당 하나의 [Agent] Evaluator Result 이벤트를 생성합니다. [Agent] Evaluator Result를 참조하십시오.

키를 추가한 후에는 'Create and calibrate evaluators'를 참조하여 평가자를 작성, 캘리브레이션 및 활성화하십시오.

모델 공급자 키 추가

모델 공급자 키를 관리하려면 조직 관리자여야 합니다.

지원되는 공급자 중 하나에 대해 설정 > AI 제어 > 모델 공급자 아래에 키를 추가합니다.

  • 오픈AI
  • Azure OpenAI
  • Anthropic
  • Google Gemini
  • Fireworks AI
  • Amazon Bedrock
  • Google Vertex AI
  • OpenAI 호환 게이트웨이

Amplitude는 저장 데이터 상태의 키를 암호화하며 저장한 후에는 다시 표시하지 않습니다. 나중에 키를 참조하거나 교체해야 하는 경우 자체 사본을 보관하십시오. AI 설정에 대한 자세한 내용은 AI 컨트롤을 참조하십시오.

OpenAI 호환 게이트웨이 연결

조직에서 LiteLLM과 같은 서비스를 통해 모델 액세스를 관리할 때 게이트웨이를 사용하십시오. 에이전트 분석(Agent Analytics)은 게이트웨이 모델(사용자 지정 모델 이름 포함)을 평가자 판정 도구(evaluator judges)로 사용할 수 있도록 검색합니다. Gateway 자격 증명은 에이전트 분석(Agent Analytics) 사용자 지정 LLM 평가자 및 해당 보정 실행만 지원합니다.

게이트웨이는 기본 URL에서 /chat/completions 상대적으로 OpenAI 호환 채팅 완료 요청을 허용해야 합니다. URL은 Amplitude의 서버에서 도달할 수 있어야 합니다.

  1. _설정 > AI Controls > 모델 공급자_로 이동합니다.
  2. _OpenAI 호환 게이트웨이_를 찾고 공급자 키 연결을 선택합니다.
  3. API 키에 게이트웨이의 키를 입력합니다.
  4. Base URL 필드에 API 기본 URL을 입력합니다(예: https://gateway.example.com/v1). 게이트웨이의 API 경로를 포함하되, /models 및 /chat/completions은(는) 제외하세요.
  5. 게이트웨이에 추가 인증 헤더가 필요한 경우 **사용자 지정 헤더(선택 사항)**에 추가하십시오. Amplitude는 이러한 헤더를 API 키와 함께 전송합니다.
  6. 저장을 선택합니다.

이전에 사용자 지정 기본 URL을 사용하여 _OpenAI_에 게이트웨이를 저장한 경우, OpenAI-Compatible Gateway 아래에 저장하여 채팅 완성을 사용하십시오.

게이트웨이 모델 선택

에이전트 분석에서 평가자를 연 다음 사용자 지정 LLM 평가자를 생성하거나 편집합니다. 모델 선택기에서 심사 모델을 선택합니다.

Amplitude는 저장된 API 키와 사용자 지정 헤더를 사용하여 기본 URL에 상대적으로 /models에서 게이트웨이의 모델 목록을 가져옵니다. 예를 들어, https://gateway.example.com/v1은 https://gateway.example.com/v1/models를 사용합니다.

모델이 목록에 없는 경우 평가기의 모델 선택기 아래에 있는 Gateway 모델 ID 텍스트 필드를 사용하십시오. 게이트웨이가 예상하는 모델 이름(my-eval-model 등)을 입력합니다. 이 기능은 게이트웨이가 /models을(를) 제공하지 않는 경우에도 작동합니다.

이 필드에는 Amplitude가 자동으로 추가하는 openai: 접두사가 표시됩니다. 이름 자체가 openai:로 시작하지 않는 한 게이트웨이의 모델 이름만 입력합니다.

평가자를 초안으로 저장하고 캘리브레이션을 실행하여 활성화하기 전에 모델이 작동하는지 확인하십시오. 게이트웨이 키만 저장해도 모델이 실행될 수 있다는 것을 확인하지 않습니다.

조직에 에이전트 분석용 Azure OpenAI 자격 증명이 있는 경우, Azure가 우선하며 선택기는 게이트웨이 모델을 제공하지 않습니다. 조직 관리자에게 자격 증명 설정을 검토하도록 요청하십시오. OpenAI를 통해 라우팅되는 평가자 호출의 경우 게이트웨이가 직접 OpenAI 키보다 우선합니다. 게이트웨이 호출은 웹 검색을 지원하지 않습니다.

LiteLLM을 사용한 예제

LiteLLM 구성에서 평가자의 모델 별칭을 정의합니다. <your-upstream-model-id>을(를) 공급자 계정이 사용할 수 있는 모델로 대체합니다:

yaml
model_list:
  - model_name: my-eval-model
    litellm_params:
      model: openai/<your-upstream-model-id>
      api_key: os.environ/OPENAI_API_KEY

이 구성과 인증을 활성화한 상태로 LiteLLM을 배포하십시오. Amplitude에서 API 기본 URL과 액세스 권한이 있는 LiteLLM 키를 연결합니다my-eval-model. 업스트림 공급자 키를 LiteLLM에 보관하십시오.

모델 선택기에서 my-eval-model을(를) 선택하거나 게이트웨이 모델 ID에 입력합니다. LiteLLM은 해당 별칭을 구성된 업스트림 모델로 연결합니다.

게이트웨이 연결 문제 해결

이 내용이 도움이 되었나요?

For AI agents: a documentation index is available at /docs/llms.txt. Append .md to any page URL for markdown, or send Accept: text/markdown.

이 페이지에서