S19-J01 · 提示词评估：怎么判断"改好了"

适用读者：改完 Prompt 只能说"感觉好多了"的人。
前置：S19-B01。
口径：方法是通用的；具体通过率取决于你的模型与任务，本文不写无法核实的数值。
覆盖旧文：—（E 驱动）
覆盖扩展：E-S19-008（回归集与评分表）、E-S19-009（LLM-as-judge 偏差）。
上一篇：S19-X01 · 图像生成提示词。
下一篇：S19-J02 · 版本管理与回归测试。

1. 一句话结论

提示词没有编译器，所以"改好了"必须用"回归集 + 评分表"证明；否则你只是在用最近几次印象做判断。

没有评估	有评估
"我觉得新版本更好"	"20 条用例里，通过 17 条 vs 12 条"
改坏了不知道	改坏了立刻发现
无法回滚决策	有基线可对比

2. 回归集怎么建（E-S19-008）

2.1 三条原则

原则	说明
覆盖典型场景	80% 的日常输入形态都要有样例
包含边界	空输入、超长输入、歧义输入、恶意输入（B02 §4 的注入）
包含已知失败	每次线上翻车都补一条进来（这是最有价值的部分）

2.2 规模建议

阶段	条数	说明
起步	10–20	先能跑起来
稳定	30–50	覆盖主要分支
大于 50	需要分类管理	否则跑一次成本太高

3. 评分表：三档就够

档位	定义	判定依据
正确（2 分）	满足全部格式与内容要求	可直接使用
部分（1 分）	内容对但格式错 / 格式对但漏要点	需人工修
错误（0 分）	事实错 / 拒绝 / 跑偏	不可用

通过率 = 得分 / 满分。

为什么要"格式"单独算：格式错会导致下游程序崩，比内容轻微偏差更严重。

4. 谁来打分：人 vs 模型（E-S19-009）

打分方式	优点	偏差
人评	准	慢、贵、主观漂移
LLM-as-judge	快、可批量	偏好长答案、偏好自己风格的输出、位置偏差
规则校验（格式/字段）	完全客观	只能查格式，查不了质量

推荐组合：

规则校验（格式/必填字段）→ 全量自动
LLM-as-judge（内容合理性）→ 抽样 + 人工复核 10%
人评（关键用例）→ 只评"高风险/历史翻车"用例

判据："这个评分能被我复现吗？" 不能（比如"感觉不错"）→ 不是评估。

5. 一次完整的对比流程

① 固定基线：旧 Prompt 跑回归集，记录通过率与失败清单
② 改动：一次只改一个维度（加 Format / 换 few-shot / 调 temperature）
③ 重跑：同一回归集，同样参数
④ 对比：通过率 + 失败清单 diff（新增哪些失败？修好哪些？）
⑤ 决策：通过率提升且未引入新的严重失败 → 采纳；否则回滚

关键规则：一次只改一个维度。同时改三处，无法归因。

6. 五个误区

误区	真相
"跑几条样例就算评估"	没有边界与历史失败用例，等于没测
"通过率提升就一定更好"	可能引入"新的严重失败"（如把注入放进来）
"LLM 打分可以完全替代人"	有系统性偏差，必须抽样复核
"一次改多项更快"	无法归因，等于白改
"评估一次就够"	模型升级/需求变化后必须重跑

7. 自检

回归集的三条原则是什么？哪类用例最有价值？
三档评分的"部分"档为什么必要？
LLM-as-judge 的三个已知偏差是什么？
为什么"一次只改一个维度"？
通过率提升但出现新失败，你怎么决策？

8. 下一篇

S19-J02 · 提示词的版本管理与回归测试

评估有了，下一步是"让它可持续"。下一篇给提示词仓库结构、变更记录、以及与参数（温度/top_p）分开版本化的做法。

本篇属于系列《S19 · AI 素养与学习方法》。扩展点 E-S19-008/009。方法为通用口径，具体通过率依赖你的模型与任务。