Braintrust 대화를 에이전트 분석으로 가져오기
Braintrust 연동은 과거의 대화를 포함하여 Braintrust가 이미 Agent 분석에 기록한 에이전트 대화를 전달합니다. 인프라에서 예약된 작업은 Braintrust 프로젝트 로그에 대해 SQL을 실행하고, 조용한 대화를 찾아 [Agent] 이벤트에 매핑한 다음 Amplitude HTTP API로 전송합니다. 그런 다음 Amplitude는 세션, 턴 및 도구 호출을 구축하고 내장 신호를 실행합니다.
앱에서 이미 OpenTelemetry를 실행하는 경우, 이 작업을 실행하는 대신 Amplitude를 두 번째 OTLP 내보내기로 추가할 수 있습니다. Agent 분석으로 OpenTelemetry 추적 보내기를 참조하십시오. 대량 처리의 경우 Braintrust는 SQL을 사용한 폴링보다 S3 내보내기를 권장합니다. 이 작업은 중간 규모의 볼륨과 백필에 적합합니다.
AI 코딩 에이전트로 설정(권장)
이 프롬프트를 Cursor, Claude Code, Windsurf, GitHub Copilot 또는 Codex와 같은 AI 코딩 에이전트에 붙여넣으십시오. 에이전트는 가이드를 가져오고, 작업을 빌드한 후 모의 실행으로 시작합니다.
Connect our Braintrust project logs to Amplitude Agent Analytics.
Fetch https://raw.githubusercontent.com/amplitude/Amplitude-AI-Node/main/docs/integrations/braintrust.md
If @amplitude/ai is installed, the same file is under node_modules/@amplitude/ai/docs/integrations/.
Follow links in the guide. If your source isn't listed, start at https://raw.githubusercontent.com/amplitude/Amplitude-AI-Node/main/docs/integrations/README.md
Follow "Part 2: Coding agent procedure". Start with a dry run.
에이전트는 중단하고 사용자 ID를 포함하는 필드와 같이 추론할 수 없는 값을 묻습니다. 변경 사항을 검토한 다음 Get started의 단계에 따라 확인합니다.
이것이 여러분에게 의미하는 바
- 실행: 시간별과 같이 일정에 따라 TypeScript 작업을 실행합니다. 실행 사이에 워터마크를 저장합니다.
- 필요한 항목은 Braintrust API 키, 프로젝트 ID 및 Amplitude 프로젝트 API 키입니다. Braintrust의 EU 지역의 경우 EU API URL을 설정합니다.
- Braintrust에는 내장된 대화 ID가 없으므로, 앱은 스팬 메타데이터에 대화 ID와 사용자 ID를 기록해야 합니다. 대화 ID 키에 하위 필드 인덱스를 추가합니다. 그렇지 않으면 작업의 쿼리가 시간 초과됩니다. 작업은 이러한 ID가 없는 대화를 건너뛰고 카운트합니다.
계승되는 항목
| 데이터 | 계승됨 |
|---|---|
| 세션 그룹화 | 예, 메타데이터의 대화 ID에서 |
| 모델 | 예 |
| 토큰 | 예 |
| 비용 | 아니요. Braintrust 로그에는 비용이 아닌 토큰이 포함되며 Amplitude는 이를 추정하지 않습니다. |
| 도구 호출 | 예 |
| Braintrust 점수 | 아니요. 작업 내에서 점수(Scores)에 매핑하지 않으면 계승되지 않습니다. |
| 실험 | 예, 루트 스팬의 metadata이(가) 변형을 기록하는 경우입니다. 코딩 에이전트에게 어떤 키가 포함되어 있는지 알려주십시오. |
신선도 및 제한
- 정착 시간: 작업은 새로운 활동이 없고 2시간이 지나면 대화를 완료된 것으로 간주합니다.
- 늦은 업데이트: 각 실행은 지난 7일 동안 업데이트된 대화를 따라잡으며, 한 번에 최대 500건까지 처리합니다.
- 속도 제한: Braintrust는 Starter 및 Pro 플랜에서 조직당 분당 약 20개의 쿼리를 허용합니다. 작업은 요청 사이 대기하며
429시점에 재시도합니다. - 리텐션: SQL 쿼리는 기본적으로 Starter에서 14일, Pro에서 30일의 로그를 확인하므로 다시 채우기는 해당 범위까지만 적용됩니다.
- Resends: 세션의
[Agent] Session End이후에 전송된 이벤트는 새로운 내장 신호 결과를 얻지 못합니다. Amplitude는 7일 내에 재전송된 이벤트를 중복 제거합니다.
시작하기
Braintrust 연동 가이드를 따르십시오. 드라이 런으로 시작하고, 첫 번째 실제 실행 후 라이브 이벤트와 세션 뷰어를 확인한 다음, 동일한 기간을 다시 실행하여 중복 항목이 추가되지 않는지 확인하십시오.
가이드는 2026년 10월 6일에 마지막으로 확인되었습니다. Braintrust는 소유자의 상표입니다. Amplitude는 Braintrust와 제휴하지 않으며 Braintrust가 보증하지 않습니다.
이 내용이 도움이 되었나요?
For AI agents: a documentation index is available at /docs/llms.txt. Append .md to any page URL for markdown, or send Accept: text/markdown.