S21-A01 · 评估与可观测

适用读者：Agent 上线后"说不清有没有变好"的人。
前置：S21-J05。
覆盖旧文：724(666) + 1 卡 = 810 点。
覆盖扩展：E-S21-014（三层指标）。
上一篇：S21-J05 · CLI 与 GUI Agent
下一篇：S21-A02 · 安全与 HITL。

1. 一句话结论

Agent 的评估不能用"准确率"：它要做多步、可能失败、成本不定。所以看三层：任务完成率、效率（步数/成本）、以及失败后的恢复能力。

层	指标	回答
结果	任务完成率、人工接管率	有没有做成
效率	平均步数、token、耗时	花多少代价做成
可靠性	重试成功率、错误分类分布	出错能不能自己回来

"只看完成率会骗人"：完成率 95% 但平均 30 步、成本翻倍 → 不可用。

2. 三层指标的设计（E-S21-014）

① 任务集（含难例：多步、需工具、需拒答）
② 逐条跑，记录：步数、token、是否完成、是否需要人工
③ 按错误类型分类（工具失败/参数错/超步数/幻觉）

错误类型	说明
工具失败	环境问题
参数错误	schema 描述不清（B03）
超步数	循环/策略问题（B02）
幻觉	生成侧（S20-B04）

判据："错误分类里哪类最多？" 参数错 → 改 schema；超步数 → 改规划。

3. 可观测的三个必记

记录	用途
每一步的 action + observation	复盘"它为什么这么走"
token 与耗时	成本与性能
决策理由（Thought）	但不外泄给用户（B02）

"为什么必须记 action/observation"：Agent 的 bug 大多是"某一步的观察被误读"——不记就无从查。

4. 回归：改动后必须重跑

改动	影响面
提示词	全部任务
工具 schema	相关任务
模型版本	全部任务（最危险）

判据："这次改动能列出受影响的用例吗？" 列不出 → 全量回归。

5. 五个误区

误区	真相
"完成率高就行"	还要看步数与成本
"不记中间步骤"	无法复盘
"换模型不用回归"	影响最大
"错误不用分类"	分类才能定位
"Thought 可以给用户看"	可能泄露策略

6. 自检（架构师版）

三层指标各是什么？
为什么要做错误分类？
可观测必记哪三项？
哪类改动影响最大？
"完成率 95% 但不可用"的例子？

7. 下一篇

S21-A02 · 安全、HITL 与事故防护

评估讲完，下一篇讲"怎么防止它把事搞坏"。

本篇属于系列《S21 · Agent 工程与 MCP》。旧文来源：A-724 + 1 卡；扩展点 E-S21-014。