AI Agent监控2026
经典APM盯服务器,Agent的失败方式完全不同:死循环、幻觉式工具调用、一次会话烧掉十几美元。2026年监控Agent意味着追踪、会话成本、循环检测和质量信号四件事。
📜 目录
AI Agent监控2026:生产环境Agent的追踪、Token成本与故障检测
经典APM盯服务器,Agent的失败方式完全不同:死循环、幻觉式工具调用、一次会话烧掉十几美元。服务全绿,用户却在骂,这是没监控对东西的典型症状。
一、Agent的失败方式和API不一样
| 故障类型 | 表现 | 传统监控能看到吗 |
|---|---|---|
| 循环 | 同一个工具调用重复N次,无进展 | 看不到,CPU和延迟都正常 |
| 工具误用 | 参数正确但调错工具,返回"成功" | 看不到,HTTP 200 |
| 成本爆炸 | 一次会话几十次调用,账单尖峰 | 看不到,没有按会话聚合 |
| 静默降质 | 答案变短、变空、开始拒答 | 看不到,接口没报错 |
| 状态污染 | 上一轮的错误结论被后续轮次继承 | 看不到 |
这五类都需要会话级追踪才能发现,指标级看板天生看不见。
二、必须埋的六个字段
| 字段 | 为什么要 |
|---|---|
| session_id、trace_id | 把一次用户请求下的所有调用串成树 |
| step 序号与父节点 | 还原调用链,知道是哪一步炸的 |
| 模型名与版本 | 换模型后的回归对比 |
| 输入/输出token数 | 成本归因的最小粒度 |
| 工具名、参数、返回状态 | 定位误用和超时 |
| 延迟与重试次数 | 区分"慢"和"卡死" |
顺手再加一个业务字段:这次会话有没有解决问题。没有它,所有技术指标都在自说自话。
三、四层看板
- 会话层:成功率、平均轮数、P95时长、每次会话成本分布(看长尾,不看均值)。
- 工具层:每个工具的调用量、失败率、超时率、平均返回大小。
- 成本层:按会话、按用户、按任务类型拆的token消耗,找出"少数调用吃掉大部分预算"。
- 质量层:抽样打分、用户反馈、转人工率。转人工率突然下降不一定是好事,可能是Agent在做更冒险的自主决策。
四、告警阈值怎么定
别拍脑袋。流程是:
- 先跑两周只观察不告警,收集分布。
- 用P95或P99做基线,比如单会话token超过P99的1.5倍就告警。
- 对"绝对不能发生"的事件设绝对阈值:连续相同工具调用超过5次、单会话成本超过预算、连续3次工具失败。
- 每月复盘误报率,误报多的规则直接删,不调整阈值硬撑。
五、工具选型
| 工具 | 定位 | 适合 |
|---|---|---|
| Langfuse | 开源LLM追踪与评估 | 自托管起步的默认选择 |
| Arize Phoenix | 开源可观测 + 评估 | RAG与检索质量分析 |
| Helicone | 带缓存与日志的LLM网关 | 想在网关层统一记录 |
| OpenTelemetry GenAI 语义约定 | 中立标准 | 想避免供应商锁定 |
先接一个能看追踪的工具,再谈评估。没有追踪的评估是盲评。
六、一晚上接上追踪
以 Langfuse 为例,自托管或云版都可以,核心是三行:
from langfuse import Langfuse
lf = Langfuse(public_key=..., secret_key=..., host=...)
trace = lf.trace(name="agent-run", session_id=session_id)
span = trace.span(name="tool:search", input=query)
span.end(output=result, metadata={"tokens": n})
要点是每个工具调用都开span,别只在最外层记一次。树的形状比日志文本有用得多。
七、一份可以直接抄的告警清单
| 规则 | 阈值 | 动作 |
|---|---|---|
| 单会话token超P99的1.5倍 | 按自身基线定 | 通知,抽样看提示词 |
| 同一工具连续调用5次无进展 | 绝对值 | 中止会话,返回当前结果 |
| 单会话成本超预算 | 按业务定,如0.5美元 | 强制人工检查点 |
| 工具失败率10分钟窗>10% | 10% | 告警,检查下游API |
| 空回答率>5% | 5% | 告警,多半是模型或提示词回归 |
| 转人工率周环比降超30% | 30% | 人工抽查,防自主冒险 |
| 平均轮数突然上涨 | 周环比翻倍 | 排查循环与工具失效 |
七条里前四条当天就能上,后三条需要两周基线。别一上来配二十条告警,报警疲劳比没告警更糟。
八、四周落地路线
| 周次 | 做什么 | 验收标准 |
|---|---|---|
| 第1周 | 埋 session_id、token数、工具名与状态,接一个追踪工具 | 能打开任意一次会话看到完整调用树 |
| 第2周 | 只观察不告警,收集基线 | 拿到单会话token与成本的P50/P95/P99 |
| 第3周 | 上四条硬告警,接一个业务指标 | 循环与成本超限能自动中止 |
| 第4周 | 做质量抽样与转人工率看板 | 每周能回答"这周Agent表现比上周好还是差" |
四周之后,才算真正"看着"Agent在跑。多数团队卡在第1周,因为没有追踪,后面所有分析都无从下手。
九、常见问题
Q:日志够不够,非要追踪? A:日志能告诉你发生了什么,追踪能告诉你发生在哪条链路的哪一步。Agent一次会话几十个步骤,纯日志基本无法定位。
Q:采样会不会漏掉关键故障? A:正常流量可以采样,错误和超预算的会话必须100%保留。
Q:怎么防成本爆炸? A:监控就是控制。设单会话预算、单用户日预算,超限强制人工检查点,这比事后看账单有用。
Q:小团队值得做吗? A:先做最低配:会话ID、token计数、工具失败率、单会话成本告警。四项做完,已经能挡住大部分事故。
注:各工具的功能与计费以官方文档为准;阈值请基于自身流量基线设定。
相关文章
本站文章由编辑人工撰写,收录的工具均经过实测或公开资料核验。文中链接指向工具官网或 GitHub 仓库,仅作信息参考,不构成付费推广。