에이전트 분석 요약

에이전트 분석은 AI 에이전트의 품질을 측정하고 이를 Amplitude에서 이미 추적하고 있는 전환, 리텐션 및 수익 등의 비즈니스 결과와 연결합니다. 모든 에이전트 이벤트는 귀하의 제품 user_id을(를) 포함하며 제품 이벤트와 동일한 프로젝트에 상주하므로, "성공적인 에이전트 세션을 경험한 사용자의 유지율이 더 높습니까?"와 같은 질문은 데이터 엔지니어링 프로젝트가 아닌 단일 차트로 확인 가능합니다.

옵저버빌리티 도구는 에이전트가 무엇을 했는지 알려줍니다. 에이전트 분석은 사용자에게 효과가 있었는지 여부와 비즈니스에 어떤 영향을 미쳤는지 알려줍니다.

답변 할 수 있는 내용

  • 품질: 사용자의 작업을 완료하는 세션의 비율은 얼마나 됩니까? 프롬프트 또는 모델이 변경된 후 품질은 어디에서 회귀합니까?
  • 행동: 에이전트를 채택한 사용자는 그렇지 않은 사용자보다 전환 및 유지율이 더 높습니까? 어떤 사용자 세그먼트가 어려움을 겪나요?
  • 비용: 각 에이전트, 모델 및 주제에 드는 비용은 얼마이며, 그 지출이 성공적인 세션에 사용되고 있습니까?
  • 진단: 실패한 세션에 대해 차례별로, 그리고 도구 호출별로 정확히 어떤 일이 발생했습니까?

핵심 개념

에이전트 분석은 데이터를 3개 수준의 계층 구조로 구성하며, 전체 계층 구조에서 에이전트를 차원으로 지정합니다.

  • 세션: 사용자가 에이전트에게 전달하는 작업 단위입니다(대화 스레드, 지원 티켓, 음성 통화, 백그라운드 실행). [Agent] Session ID에 의해 식별되며, 이는 앱이 이미 보유하고 있는 ID에서 제공합니다.
  • Turn: 세션 내에서 하나의 교환: 사용자 메시지, 도구 호출, AI 응답.
  • Span: 턴 내에서 하나의 작업: LLM 호출, 도구 호출, 검색 단계.
  • 에이전트: 작업을 수행하는 AI 구성 요소입니다. 모든 이벤트에는 [Agent] Agent ID이(가) 포함됩니다. 에이전트는 하위 에이전트에게 위임할 수 있습니다. 세션은 루트 에이전트와 가장 긴 위임 경로에 있는 에이전트 수를 기록하므로 다중 에이전트 시스템은 일급 객체로 취급됩니다. 에이전트는 이벤트의 한 차원이며 계층 구조의 네 번째 수준이 아닙니다.

에이전트 세션 대 표준 분석 세션

에이전트 세션은 Amplitude의 표준 분석 세션과 동일하지 않습니다.

에이전트 세션 [Agent] Session ID은 사용자가 에이전트에게 전달하는 단일 작업 단위입니다. Amplitude의 표준 분석 세션은 세션 리플레이 및 제품 보고서를 지원하는 사용자의 앱 또는 웹 방문입니다.$session_id 예를 들어 Amplitude를 열면 표준 분석 세션이 시작됩니다. Amplitude 내에서 글로벌 에이전트를 시작하면 에이전트 세션이 시작됩니다. 이 두 가지는 독립적입니다. 표준 분석 세션에는 여러 에이전트 세션이 포함될 수 있으며 단일 에이전트 세션은 여러 표준 분석 세션에 걸쳐 있을 수 있습니다. 자신의 스레드, 티켓, 콜 또는 실행 ID에서 에이전트 세션을 설정합니다.

품질 측정 방법

에이전트 분석은 다음과 같은 세 가지 상호 보완적인 방법으로 품질을 측정합니다.

  • 신호: Amplitude는 작업 완료, 응답 품질, 사용자 의도, 세션 안전, 사용자 마찰, 부정적 피드백 및 데이터 품질과 같은 내장 신호 세트에 대해 모든 폐쇄된 세션을 자동으로 평가합니다. 결과는 세션의 [Agent] Session Record 이벤트에 표시되며, 각 이벤트에는 서면화된 이론적 근거가 포함됩니다. 설정이 필요하지 않습니다.
  • 평가자: 정책 컴플라이언스, 근거성, 톤, 그 외 설명할 수 있는 모든 항목 등 제품에 중요한 기준에 대해 Amplitude UI에서 정의하고 조정하는 사용자 지정 평가자입니다. 각 활성 평가자는 세션당 [Agent] Evaluator Result 이벤트를 생성합니다. 또한 자체 인프라에서 평가를 계산하고 세션 보강으로 전송할 수도 있습니다.
  • 점수: 사용자 및 검토자의 목소리: 엄지 평가, CSAT 또는 직접 정의한 LLM-as-judge 판정으로, 애플리케이션에서 [Agent] Score 이벤트로 전송되며, 각 판정은 특정 메시지 또는 세션에 대한 개별적인 판단입니다. Amplitude는 결코 Score를 생성하지 않습니다. Score는 항상 귀하의 것입니다. 명시적 사용자 피드백은 감지된 부정적 피드백 신호를 무시하므로, 최종 결정권은 항상 사용자에게 있습니다.

Score와 Session Enrichment는 비슷하게 들리지만 다른 역할을 합니다. Score는 한 대상에 대한 하나의 이름 있는 판정("이 응답은 비추천(thumbs down)을 받았습니다")이며, Session Enrichment는 사용자가 직접 계산하는 세션 수준의 품질 라벨 전체 세트로, Enrichment가 Amplitude 대신 귀하의 인프라에서 실행될 때 Amplitude의 신호를 대신합니다. 피드백은 Score이며, do-it-yourself 신호는 Enrichment입니다.

신호는 첫날에 커버리지를 제공하고, 평가자는 자체 기준에 따른 정확성을 제공하며, 점수는 실제 사용자 판단을 기준으로 두 가지 모두의 신뢰성을 유지합니다.

인스트루멘테이션 살펴보기

가장 빠른 경로는 Node 또는 Python AI SDK이며, 설정 에이전트가 대부분의 작업을 수행할 수 있습니다. 즉, 하나의 CLI 명령을 실행하고 인쇄된 프롬프트를 코딩 도우미에 붙여넣은 다음 제안하는 변경 사항을 검토합니다. SDK가 유일한 경로는 아닙니다. 이미 OpenTelemetry GenAI 트레이스를 방출한 경우, 다시 계측하지 않고 Amplitude로 라우팅하십시오. 모든 스택은 HTTP API를 통해 직접 [Agent]이벤트를 전송할 수 있으며, 이는 AI SDK를 실행할 수 없는 브라우저, 에지 런타임 및 AI 앱 빌더의 경로이기도 합니다. 호스팅된 플랫폼에 이미 존재하는 대화, 추적 도구, 웨어하우스, OpenTelemetry를 내보내는 에이전트 프레임워크, 게이트웨이, Fireworks, 로컬 모델 또는 Cursor Agent SDK는 통합을 통해 제공될 수 있습니다. 어느 경로를 선택하든 PII 편집이 포함된 전체 대화 캡처부터 메타데이터 전용에 이르기까지 세 가지 개인정보 보호 모드가 인프라에 전송되는 콘텐츠를 제어합니다. 경로를 비교하고 프로덕션 계측을 계획하는 5분 경로에 대해서는 퀵스타트(quickstart) 및 설정(setup)을 참조하십시오.

Amplitude에서 표시되는 위치

  • 에이전트별로 품질, 비용, 지연 시간 및 볼륨을 모니터링합니다.
  • 세션은 개별 세션을 단계별로 브라우징, 필터링 및 검사하기 위한 기능입니다.
  • 평가자는 그라운드 트루스 레이블이 있는 선별된 데이터 세트를 대상으로 사용자 지정 평가자를 구축, 보정 및 실행하기 위한 기능입니다.
  • Amplitude의 다른 모든 기능: 에이전트 이벤트는 다른 이벤트와 마찬가지로 차트, 퍼널, 코호트 및 세션 리플레이 링크에서 작동합니다. 첫 번째 에이전트 세션에서 전환까지, 또는 이번 달에 3번의 세션이 실패한 사용자 코호트에 직접 퍼널을 구축하십시오.

RBAC를 통한 액세스 관리

관리자는 역할 기반 액세스 제어(RBAC)를 통해 에이전트 분석을 사용할 수 있는 사용자를 제어합니다. 세 가지 권한 관리가 적용됩니다:

  • 에이전트 분석 객체 보기: 세션, 평가자 및 관련 객체를 봅니다. 역할이 에이전트 분석을 사용하려면 이 권한이 필요합니다.
  • 비활성 평가 및 실행 관리: 초안 평가자를 생성, 업데이트 및 삭제하고 드라이 런(dry runs)을 시작합니다.
  • Evals 활성화: 평가자를 활성 평가자로 표시하고 라이브 평가자를 보관합니다.

다음 단계

  • 빠른 시작: 약 5분 안에 첫 번째 이벤트를 시작합니다.
  • 설정: 프로덕션 계측, 개인정보 보호 모드 및 세션 생애주기 분석을 계획합니다.
  • 결과 분석: 세션을 탐색하고, 평가자를 실행하며, 프로덕트 분석에 연결합니다.
  • 택소노미: 전체 이벤트 및 속성 참조입니다.
  • Export API: 세션, 데이터 세트 및 평가자 구성을 자체적인 오프라인 평가 파이프라인에 가져옵니다.

이 내용이 도움이 되었나요?

For AI agents: a documentation index is available at /docs/llms.txt. Append .md to any page URL for markdown, or send Accept: text/markdown.

이 페이지에서