适用读者:账单在涨、记忆在乱、评估在自嗨的人。
前置:S21-J20(记忆与检索)、J23(评测统计)、J24(token 账本)。
覆盖旧文:5105–5154(卷六–卷十,40 章:6.x 记忆与知识 9 / 7.x 成本与优化 10 / 8.x 交互与具身 6 / 9.x 后训练 8 / 10.x 评估基建 7)。
扩展点:E-S21-056(记忆的白板/笔记本双系统与结构化索引三范式)、E-S21-057(四大成本陷阱与熔断 + 四层优化:语法/语义/架构/输出)、E-S21-058(后训练"三种病四种药"与十个陷阱)、E-S21-059(评估基建:Rubric 四准则、失败归因两类回归、统计显著性与仿真)。
下一篇:待写(X02 · 非编号旧文登记 135 篇)。
1. 一句话结论
成本是架构问题,不是调用问题;记忆是权限问题,不是存储问题;评估是统计问题,不是打分问题。 这三句话分别对应卷七、卷六、卷十,也是这一部教材与前一部(J19–J23)最大的差别:它把每个话题都逼到"账单 / 权限 / 显著性"这一层。
出处:
A-5124(7.1 定价即架构)、A-5105(6.1 白板与笔记本)、A-5154(10.7 统计显著性)。
2. 记忆:白板与笔记本(E-S21-056,卷六)
白板(whiteboard):当前窗口,可见、易改、易丢
笔记本(notebook):磁盘/文件,持久、可检索、需显式读写
判据:常驻白板的只有「当前任务 + 硬约束」;其余外化到笔记本
| 章 | 结论 |
|---|---|
| 6.1 双系统 | 记忆不是"存更多",是"分两处存,按需搬" |
| 6.2 守门员 | 四问:影响决策?会过期?有冲突?敏感?(同 J20 §3) |
| 6.3 向量检索注入 | 按需取几条(3–8 条),不是全量注入 |
| 6.4 结构化索引 | RAPTOR(层级摘要)、GraphRAG(实体关系)、文件系统范式(目录即分类) |
| 6.5 Contextual Retrieval | 给每个块补语境再嵌入;原文"失败率降 2/3"待核 |
| 6.6 RAG vs 工具读取 | 三条路:预建索引 / 现查工具 / 混合;代价分别是新鲜度、延迟、复杂度 |
| 6.7 知识当代码管 | 版本、diff、回滚 |
| 6.8 目录范式 | 用目录结构表达分类,模型按路径找 |
| 6.9 记忆即攻击面 | 投毒、后门、跨租户(同 J20 §5) |
判据:"记忆的质量由'取回哪几条'决定,不由'存了多少'决定"。
3. 成本:定价即架构(E-S21-057,卷七)
四大成本陷阱(7.5):
| 陷阱 | 机制 | 熔断 |
|---|---|---|
| 长上下文 | 每轮重发历史,成本 O(n²) | 压缩 + 前缀缓存 |
| 工具全景 | 工具定义常驻,白付 token | 按需声明 |
| 重试风暴 | 失败自动重试,成本翻倍 | 重试上限 + 退避 |
| 输出失控 | 长输出按 token 计费 | max_tokens + 结构化约束 |
四层优化(7.6–7.9):
语法层:Prompt 是写给机器的——去掉客套、用结构化标签、减少重复
语义层:双重蒸馏 + 中段迷失(关键信息别放长上下文中段)
架构层:KV Cache 两个坑——前缀不稳、缓存不跨请求
输出层:管住模型的嘴——max_tokens、格式约束、禁止解释性填充
三大梯队与跳档陷阱(7.3):小模型(便宜快)→ 中模型(主力)→ 大模型(难例);跳档陷阱是"用大模型兜所有请求",成本涨十倍而质量涨两成。
62:1 的 I/O 比(7.4):Agent 场景输入远大于输出,优化输入比优化输出收益大一个量级。
判据:"成本优化从输入开始,从架构结束"——只调 max_tokens 是修指甲。
4. 交互与具身(卷八,与 J23 互补)
| 章 | 结论 |
|---|---|
| 8.1 观察/动作空间 | 两个维度:模态(文本/语音/图像)× 时机(同步/异步) |
| 8.2 语音三代 | 级联 → 端到端 → 全双工 |
| 8.3 认知时序 | 快慢思考:快答先出、慢想后补(边想边说) |
| 8.4–8.5 Computer Use | 动作空间 + 视觉定位;推测执行换效率,代价是错误放大 |
| 8.6 机器人 | VLA、动作分块、仿真到真机鸿沟 |
判据:"边想边说"是人机体验的关键工程——完全想完再说,用户等不起;边说边想,需可回退的表达设计。
5. 后训练:三种病四种药(E-S21-058,卷九)
| 病 | 药 |
|---|---|
| 不会做(能力不足) | RL / 换更大模型 |
| 做不对(格式/风格错) | SFT |
| 做不稳(时好时坏) | 数据清洗 + 一致性约束 + 评估回归 |
十个陷阱(9.8)(择要):数据泄漏、奖励作弊、环境过拟合、On-Policy 数值误差("看似在轨,实已离轨")、蒸馏过度、LoRA 秩过低、评测集污染、单指标优化、缺回归、无回滚。
判据:"后训练是最后手段"——能用提示、检索、工具解决的,不要动参数。
6. 评估基建(E-S21-059,卷十)
Rubric 四准则(10.4):具体(可观察行为)、可判(二元/有序)、独立(准则间不重叠)、完备(覆盖主要失败模式)。
失败归因与两类回归(10.5):
能力回归:原本能做的做不到了 → 阻断发布
质量回归:能做的变差了 → 评估是否接受
评估基础设施(10.6):消融(去掉某组件看影响)、AB(线上分流)、双层开关(全局 + 单请求)。
统计显著性(10.7):配对比较 + 置信区间 + 仿真环境可复现;"三个点的提升"必须给区间。
判据:"没有失败归因的评估只是打分"。
7. 反例:八种"账本与评估双失明"
| 做法 | 后果 |
|---|---|
| 只看输出 token 成本 | 忽略 62:1 的输入大头 |
| 工具定义常驻 | 白付 token |
| 失败无限重试 | 成本翻倍且放大副作用 |
| 关键约束放长上下文中段 | 中段迷失,遵从中断 |
| 大模型兜所有请求 | 成本十倍、质量两成 |
| 记忆全量向量注入 | 噪声与成本双高 |
| Rubric 写"回答要好" | 不可判,评分随机 |
| 只报均值不报区间 | 噪声当进步 |
8. 自测
- 白板/笔记本的分工判据?
- 四大成本陷阱与四层优化各是什么?为什么先优化输入?
- 后训练"三病四药"?为什么说它是最后手段?
- Rubric 四准则?两类回归的处置差别?
- 为什么"三个点的提升"不能直接宣布改进?
答案
- 白板只放当前任务与硬约束,其余外化到笔记本按需取。
- 长上下文/工具全景/重试风暴/输出失控;语法/语义/架构/输出四层;输入占 62:1 大头。
- 不会做用 RL/换模型、做不对用 SFT、做不稳靠数据与回归;参数改动最贵最难回滚。
- 具体、可判、独立、完备;能力回归阻断发布,质量回归评估接受度。
- 小样本差异可能是噪声,需配对比较与置信区间。
9. 下一篇
待写(X02 · 非编号旧文登记 135 篇)—— AI 周刊与新闻、工具清单、LangChain/Eino/Spring AI 教程、中文导读与杂项的逐条处置。
本篇属于系列《S21 · Agent 与工具协议》。旧文来源:A-5105–5154(卷六–卷十 40 章);扩展点 E-S21-056…059。Contextual Retrieval 的"失败率降 2/3"与部分优化比例为原文说法,未复现(待核)。