エージェント分析でローカルモデルとオンデバイスモデルを追跡する

Ollama、LM Studio、llama.cpp、またはlocalhost上の任意の推論サーバーなどで実行されるエージェントは、AI SDKの手動トラッキング方法を通じてエージェント分析に到達します。AI SDKにはローカルモデル用のプロバイダーラッパーがないため、各ユーザーメッセージ、ツール呼び出し、モデルレスポンスを自分で追跡します。 この場合、セッション、組み込みシグナル、評価ツールは、ホスト型モデルの場合と同じように機能します。

AIコーディングエージェントを使用した設定(推奨)

このプロンプトを、Cursor、Claude Code、Windsurf、GitHub Copilot、Codexなどの AI コーディング エージェントに貼り付けます。 エージェントはAI SDKをインストールし、そのバンドルされている手順を読み取り、すべてのモデル呼び出しを検出し、それをインストルメントします。

text
Instrument this app with Amplitude Agent Analytics using the Node SDK. Our agent runs on a local model, so track each user message, tool call, and model response with the manual tracking methods, and pass a cost of 0 on each response.
Fetch and follow https://raw.githubusercontent.com/amplitude/Amplitude-AI-Node/main/amplitude-ai.md
Then install the SDK as that guide says:
npm install @amplitude/ai @amplitude/analytics-node

提案された変更を確認し、Verifyの手順に従って確認します。

この変更が意味すること

  • 呼び出すもの:エージェントセッション内のtrackUserMessage、trackToolCall、およびtrackAiMessage(Node)、またはtrack_user_message、track_tool_call、およびtrack_ai_message(Python)。
  • コスト:ローカルモデルには価格設定がないため、すべてのレスポンスに0コストを渡します。その後、レスポンスは欠落値の代わりにコストゼロを記録します。
  • トークン: ランタイムが入力と出力のトークンを報告した場合、それらを渡します。 これらはオプションです。
  • 実験:ローカルモデルとホスト型モデルを比較する場合は、割り当てをセッション上のexperimentsとして渡します。そうすることで、チャートを[Agent] Experiment Variantでグループ化できます。実験バリアントの記録を参照してください。

ローカルモデルを追跡する

typescript
await agent.session({ userId, sessionId }).run(async (s) => {
  s.trackUserMessage(userInput);
  const start = Date.now();
  const response = await localModel.complete(prompt);
  const latencyMs = Date.now() - start;
  s.trackAiMessage(response.text, "llama-3.2-3b", "local", latencyMs, {
    inputTokens: response.usage?.inputTokens,
    outputTokens: response.usage?.outputTokens,
    totalCostUsd: 0,
  });
});

追跡ツールの呼び出し方法は、trackToolCall(Node)またはtrack_tool_call(Python)で同じです。メソッドシグネチャの詳細については、AI SDKリファレンスを参照してください。

確認する

npx -y -p @amplitude/ai amplitude-ai doctor(Node)またはamplitude-ai-doctor(Python)を実行します。ローカルモデルプロジェクトでは、サポートされているプロバイダーパッケージが見つからないため、doctorはprovider_dependencyを報告します。ローカルモデルの場合、この結果は想定内ですので無視してください。その他のすべてのチェックは引き続き適用されます。

プライバシー

ローカル推論ではプロンプトはマシン内に保持されますが、AI SDKは引き続きメッセージテキストをAmplitudeに送信します。ただし、PIIはデフォルトで非表示になります。

これは役に立ちましたか?

For AI agents: a documentation index is available at /docs/llms.txt. Append .md to any page URL for markdown, or send Accept: text/markdown.

このページでは