2016 字
约 6 分钟
12
S21-J25 · 卷六到卷十:记忆、成本、优化与评估基建

适用读者:账单在涨、记忆在乱、评估在自嗨的人。
前置:S21-J20(记忆与检索)、J23(评测统计)、J24(token 账本)。
覆盖旧文:5105–5154(卷六–卷十,40 章:6.x 记忆与知识 9 / 7.x 成本与优化 10 / 8.x 交互与具身 6 / 9.x 后训练 8 / 10.x 评估基建 7)。
扩展点:E-S21-056(记忆的白板/笔记本双系统与结构化索引三范式)、E-S21-057(四大成本陷阱与熔断 + 四层优化:语法/语义/架构/输出)、E-S21-058(后训练"三种病四种药"与十个陷阱)、E-S21-059(评估基建:Rubric 四准则、失败归因两类回归、统计显著性与仿真)。
下一篇:待写(X02 · 非编号旧文登记 135 篇)。


1. 一句话结论

成本是架构问题,不是调用问题;记忆是权限问题,不是存储问题;评估是统计问题,不是打分问题。 这三句话分别对应卷七、卷六、卷十,也是这一部教材与前一部(J19–J23)最大的差别:它把每个话题都逼到"账单 / 权限 / 显著性"这一层。

出处:A-5124(7.1 定价即架构)、A-5105(6.1 白板与笔记本)、A-5154(10.7 统计显著性)。


2. 记忆:白板与笔记本(E-S21-056,卷六)

白板(whiteboard):当前窗口,可见、易改、易丢
笔记本(notebook):磁盘/文件,持久、可检索、需显式读写
判据:常驻白板的只有「当前任务 + 硬约束」;其余外化到笔记本
章 结论
6.1 双系统 记忆不是"存更多",是"分两处存,按需搬"
6.2 守门员 四问:影响决策?会过期?有冲突?敏感?(同 J20 §3)
6.3 向量检索注入 按需取几条(3–8 条),不是全量注入
6.4 结构化索引 RAPTOR(层级摘要)、GraphRAG(实体关系)、文件系统范式(目录即分类)
6.5 Contextual Retrieval 给每个块补语境再嵌入;原文"失败率降 2/3"待核
6.6 RAG vs 工具读取 三条路:预建索引 / 现查工具 / 混合;代价分别是新鲜度、延迟、复杂度
6.7 知识当代码管 版本、diff、回滚
6.8 目录范式 用目录结构表达分类,模型按路径找
6.9 记忆即攻击面 投毒、后门、跨租户(同 J20 §5)

判据:"记忆的质量由'取回哪几条'决定,不由'存了多少'决定"。


3. 成本:定价即架构(E-S21-057,卷七)

四大成本陷阱(7.5):

陷阱 机制 熔断
长上下文 每轮重发历史,成本 O(n²) 压缩 + 前缀缓存
工具全景 工具定义常驻,白付 token 按需声明
重试风暴 失败自动重试,成本翻倍 重试上限 + 退避
输出失控 长输出按 token 计费 max_tokens + 结构化约束

四层优化(7.6–7.9):

语法层:Prompt 是写给机器的——去掉客套、用结构化标签、减少重复
语义层:双重蒸馏 + 中段迷失(关键信息别放长上下文中段)
架构层:KV Cache 两个坑——前缀不稳、缓存不跨请求
输出层:管住模型的嘴——max_tokens、格式约束、禁止解释性填充

三大梯队与跳档陷阱(7.3):小模型(便宜快)→ 中模型(主力)→ 大模型(难例);跳档陷阱是"用大模型兜所有请求",成本涨十倍而质量涨两成。

62:1 的 I/O 比(7.4):Agent 场景输入远大于输出,优化输入比优化输出收益大一个量级。

判据:"成本优化从输入开始,从架构结束"——只调 max_tokens 是修指甲。


4. 交互与具身(卷八,与 J23 互补)

章 结论
8.1 观察/动作空间 两个维度:模态(文本/语音/图像)× 时机(同步/异步)
8.2 语音三代 级联 → 端到端 → 全双工
8.3 认知时序 快慢思考:快答先出、慢想后补(边想边说)
8.4–8.5 Computer Use 动作空间 + 视觉定位;推测执行换效率,代价是错误放大
8.6 机器人 VLA、动作分块、仿真到真机鸿沟

判据:"边想边说"是人机体验的关键工程——完全想完再说,用户等不起;边说边想,需可回退的表达设计。


5. 后训练:三种病四种药(E-S21-058,卷九)

病 药
不会做(能力不足) RL / 换更大模型
做不对(格式/风格错) SFT
做不稳(时好时坏) 数据清洗 + 一致性约束 + 评估回归

十个陷阱(9.8)(择要):数据泄漏、奖励作弊、环境过拟合、On-Policy 数值误差("看似在轨,实已离轨")、蒸馏过度、LoRA 秩过低、评测集污染、单指标优化、缺回归、无回滚。

判据:"后训练是最后手段"——能用提示、检索、工具解决的,不要动参数。


6. 评估基建(E-S21-059,卷十)

Rubric 四准则(10.4):具体(可观察行为)、可判(二元/有序)、独立(准则间不重叠)、完备(覆盖主要失败模式)。

失败归因与两类回归(10.5):

能力回归:原本能做的做不到了 → 阻断发布
质量回归:能做的变差了 → 评估是否接受

评估基础设施(10.6):消融(去掉某组件看影响)、AB(线上分流)、双层开关(全局 + 单请求)。

统计显著性(10.7):配对比较 + 置信区间 + 仿真环境可复现;"三个点的提升"必须给区间。

判据:"没有失败归因的评估只是打分"。


7. 反例:八种"账本与评估双失明"

做法 后果
只看输出 token 成本 忽略 62:1 的输入大头
工具定义常驻 白付 token
失败无限重试 成本翻倍且放大副作用
关键约束放长上下文中段 中段迷失,遵从中断
大模型兜所有请求 成本十倍、质量两成
记忆全量向量注入 噪声与成本双高
Rubric 写"回答要好" 不可判,评分随机
只报均值不报区间 噪声当进步

8. 自测

  1. 白板/笔记本的分工判据?
  2. 四大成本陷阱与四层优化各是什么?为什么先优化输入?
  3. 后训练"三病四药"?为什么说它是最后手段?
  4. Rubric 四准则?两类回归的处置差别?
  5. 为什么"三个点的提升"不能直接宣布改进?
答案
  1. 白板只放当前任务与硬约束,其余外化到笔记本按需取。
  2. 长上下文/工具全景/重试风暴/输出失控;语法/语义/架构/输出四层;输入占 62:1 大头。
  3. 不会做用 RL/换模型、做不对用 SFT、做不稳靠数据与回归;参数改动最贵最难回滚。
  4. 具体、可判、独立、完备;能力回归阻断发布,质量回归评估接受度。
  5. 小样本差异可能是噪声,需配对比较与置信区间。

9. 下一篇

待写(X02 · 非编号旧文登记 135 篇)—— AI 周刊与新闻、工具清单、LangChain/Eino/Spring AI 教程、中文导读与杂项的逐条处置。


本篇属于系列《S21 · Agent 与工具协议》。旧文来源:A-5105–5154(卷六–卷十 40 章);扩展点 E-S21-056…059。Contextual Retrieval 的"失败率降 2/3"与部分优化比例为原文说法,未复现(待核)。

S21-J25 · 卷六到卷十:记忆、成本、优化与评估基建
https://www.clxhxhhr.top/posts/5509/
作者
clxstart
发布于
2024-12-31
许可协议
CC BY-NC-SA 4.0
评论
0 条
还没有评论,先写一条吧。