エージェント分析でローカルモデルとオンデバイスモデルを追跡する
Ollama、LM Studio、llama.cpp、またはlocalhost上の任意の推論サーバーなどで実行されるエージェントは、AI SDKの手動トラッキング方法を通じてエージェント分析に到達します。AI SDKにはローカルモデル用のプロバイダーラッパーがないため、各ユーザーメッセージ、ツール呼び出し、モデルレスポンスを自分で追跡します。 この場合、セッション、組み込みシグナル、評価ツールは、ホスト型モデルの場合と同じように機能します。
AIコーディングエージェントを使用した設定(推奨)
このプロンプトを、Cursor、Claude Code、Windsurf、GitHub Copilot、Codexなどの AI コーディング エージェントに貼り付けます。 エージェントはAI SDKをインストールし、そのバンドルされている手順を読み取り、すべてのモデル呼び出しを検出し、それをインストルメントします。
Instrument this app with Amplitude Agent Analytics using the Node SDK. Our agent runs on a local model, so track each user message, tool call, and model response with the manual tracking methods, and pass a cost of 0 on each response.
Fetch and follow https://raw.githubusercontent.com/amplitude/Amplitude-AI-Node/main/amplitude-ai.md
Then install the SDK as that guide says:
npm install @amplitude/ai @amplitude/analytics-node
提案された変更を確認し、Verifyの手順に従って確認します。
この変更が意味すること
- 呼び出すもの:エージェントセッション内の
trackUserMessage、trackToolCall、およびtrackAiMessage(Node)、またはtrack_user_message、track_tool_call、およびtrack_ai_message(Python)。 - コスト:ローカルモデルには価格設定がないため、すべてのレスポンスに
0コストを渡します。その後、レスポンスは欠落値の代わりにコストゼロを記録します。 - トークン: ランタイムが入力と出力のトークンを報告した場合、それらを渡します。 これらはオプションです。
- 実験:ローカルモデルとホスト型モデルを比較する場合は、割り当てをセッション上の
experimentsとして渡します。そうすることで、チャートを[Agent] Experiment Variantでグループ化できます。実験バリアントの記録を参照してください。
ローカルモデルを追跡する
await agent.session({ userId, sessionId }).run(async (s) => {
s.trackUserMessage(userInput);
const start = Date.now();
const response = await localModel.complete(prompt);
const latencyMs = Date.now() - start;
s.trackAiMessage(response.text, "llama-3.2-3b", "local", latencyMs, {
inputTokens: response.usage?.inputTokens,
outputTokens: response.usage?.outputTokens,
totalCostUsd: 0,
});
});
追跡ツールの呼び出し方法は、trackToolCall(Node)またはtrack_tool_call(Python)で同じです。メソッドシグネチャの詳細については、AI SDKリファレンスを参照してください。
確認する
npx -y -p @amplitude/ai amplitude-ai doctor(Node)またはamplitude-ai-doctor(Python)を実行します。ローカルモデルプロジェクトでは、サポートされているプロバイダーパッケージが見つからないため、doctorはprovider_dependencyを報告します。ローカルモデルの場合、この結果は想定内ですので無視してください。その他のすべてのチェックは引き続き適用されます。
プライバシー
ローカル推論ではプロンプトはマシン内に保持されますが、AI SDKは引き続きメッセージテキストをAmplitudeに送信します。ただし、PIIはデフォルトで非表示になります。
これは役に立ちましたか?
For AI agents: a documentation index is available at /docs/llms.txt. Append .md to any page URL for markdown, or send Accept: text/markdown.