S20-J01 · 评估：离线指标、在线 A/B 与失败模式

适用读者：改了提示词/分块，但说不清"到底有没有变好"的人。
前置：S20-B04。
覆盖旧文：1074(142) 574(203) 742(126) 736(150) 583(96) 739(25) 735(7) 1069(87) = 836 点。
覆盖扩展：E-S20-007（两层指标）。
上一篇：S20-B04 · 幻觉、冲突与语义漂移
下一篇：S20-J02 · 上下文与记忆。

1. 一句话结论

RAG 评估必须分两层：检索层（找到没有）与生成层（答得对不对）。混在一起评，永远不知道该改哪。

层	指标	回答
检索	Recall@K、MRR、命中率	正确片段进 topK 了吗
生成	忠实度（faithfulness）、答案相关性	答案是否只基于片段

"为什么必须分开"：检索 Recall 从 0.6 提升到 0.8，但答案质量没变 → 说明瓶颈在生成；反之亦然。

2. 离线评估的最小闭环（E-S20-007）

① 构造评估集（问题 + 标准答案 + 依据片段）
② 跑 pipeline，记录 topK 与最终答案
③ 分别打检索分与生成分
④ 对比改动前后（同一个集）

要点	说明
集要固定	否则无法比较
覆盖难例	拒答、冲突、多跳
人工抽检	自动指标会骗人

判据："这次改动，检索分和生成分各变了多少？" 答不出 → 评估没分层。

3. 在线评估：A/B 与业务指标

指标	说明
有用率（点赞/未解决）	最直接
转人工率	下降 = 变好
平均轮次	几轮解决
引用点击率	用户是否认可来源

"为什么不能只看"回答像不像""（A-583）：像不像 ≠ 有用——要看用户是否真的解决问题。

4. 失败模式清单（A-1069）

失败模式	排查方向
检索为空	索引/维度/改写（B03 §5）
检索有但答非所问	分块切断（B02）或 topK 噪声
答案部分正确	跨 chunk 信息不完整
编造	拒答通道/冲突声明（B04）
前后不一致	上下文管理（J02）

5. 五个误区

误区	真相
"用 LLM 打分就够了"	LLM 评分有偏，需人工抽检
"评估集越大越好"	覆盖度比规模重要
"离线好就等于线上好"	分布不同
"只看答案相关性"	还要看忠实度（有无编造）
"改一次不用重评"	每次改动都要回归

6. 自检

两层指标分别是什么？
最小闭环的四步？
在线指标里哪个最直接？
五种失败模式对应的排查方向？
为什么"回答像不像"不够？

7. 下一篇

S20-J02 · 上下文与记忆：token 预算与管理

评估讲完，下一篇算清 token 账（实测中英文差异接近 5 倍）。

本篇属于系列《S20 · AI 应用与工程》。旧文来源：A-1074/574/742/736/583/739/735/1069；扩展点 E-S20-007。