用 PostHog 监控你的 AI Agent：从调用追踪到成本核算

Mon, 20 Oct 2025 00:00:00 +0000

最近在公司做一个 Agent 项目，跑通了基本流程之后，遇到一个很现实的问题：线上用户反馈"回答不对"或者"响应太慢"，我根本没法排查。日志里只有零散的 print，完全看不出一次对话里到底调了几次模型、每次花了多久、tool call 有没有报错。

我需要一个能看清 Agent 每一步在干什么的监控工具。

PostHog 的 LLM Analytics

偶然看到 PostHog 出了 LLM observability 的功能，抱着试试的心态接了一下，发现这东西是真的好用。

PostHog 把 AI Agent 的监控拆成了三层：

Trace — 一次完整的用户对话
Generation — 每一次 LLM API 调用
Span — 每一次 tool 执行

这个层级结构跟 Agent 的实际运行方式完全对应。一个用户提问进来，Agent 可能调 3 次模型、执行 5 个 tool，这些全部串在一个 trace 下面，一目了然。

接入过程

接入非常简单，核心就是在几个关键节点上报事件。

初始化一个 client：

from posthog import Posthog

client = Posthog(
    api_key="phc_xxx",
    host="https://us.i.posthog.com"
)

每次 LLM 调用完成后，上报一个 $ai_generation 事件：

client.capture(
    distinct_id=user_id,
    event="$ai_generation",
    properties={
        "$ai_model": "gpt-4o",
        "$ai_provider": "openai",
        "$ai_input": messages,
        "$ai_output_choices": response.choices,
        "$ai_input_tokens": usage.prompt_tokens,
        "$ai_output_tokens": usage.completion_tokens,
        "$ai_cache_read_input_tokens": cached_tokens,  # 别漏了这个，后面会讲
        "$ai_latency": 1.23,
        "$ai_trace_id": trace_id,
        "$ai_tools": tools,
    }
)

tool 执行完上报一个 $ai_span：

成本监控 on niuzj

用 PostHog 监控你的 AI Agent：从调用追踪到成本核算

PostHog 的 LLM Analytics

接入过程