适用读者：要做语音/视觉 Agent、要给 Agent 打可靠的分、要让它"越跑越强"的人。
前置：S21-J22（评估与安全）、S20-J05（上下文）、S17-J04（分布式事务）。
覆盖旧文：5033–5066（卷十九–卷二十四，34 章：19.x 交互 4 / 20.x 具身 6 / 21.x 评估统计 6 / 22.x 后训练 7 / 23.x 持续进化 5 / 24.x 多 Agent 与社会 6）。
扩展点：E-S21-047（交互是独立战场：模态、触发时机、延迟预算三层）、E-S21-048（动作空间与视觉定位：像素坐标 → 结构化选择）、E-S21-049（Pass@k 与 Pass^k：能力上限 ≠ 业务可靠性 + 统计显著性）、E-S21-050（持续进化的四种沉淀形态与三样"不能被进化"）。
下一篇：待写（J24 · 另一部教材卷零到卷五）。
1. 一句话结论
能力和可靠是两个数字，交互和动作是两个空间，进化与失控只差一条边界。这一卷把 Agent 从"文本工具"推到"真实世界的行动者"，代价是：延迟预算变成硬约束、评测变成统计问题、进化必须有禁区。
出处：
A-5033（19.1）、A-5044（21.2）、A-5060（23.5）。
2. 交互为什么独立（E-S21-047，卷十九）
| 维度 | 文本 Agent | 交互 Agent |
|---|---|---|
| 模态 | 文本 | 语音/画面/触控，多模态并行 |
| 触发时机 | 用户发一句 | 用户停顿、看向、插话 |
| 延迟预算 | 几秒可接受 | 首响 < 500 ms，打断响应 < 200 ms（体验阈值，推断） |
语音三范式（19.2）：级联（ASR→LLM→TTS，各段可换）、端到端全模态（低延迟、难调试）、全双工（可打断、需抢占控制）。
运行时三件事（19.3）：打断（何时停）、抢占（新输入优先）、可观测（每段延迟与丢帧）。
判据："交互 Agent 的难点不在模型，在时序"——同样的模型，级联 1.2 s 首响就会被嫌弃，全双工 300 ms 就"像人"。
虚拟身份与隔离（19.4）：Agent 用谁的名义行动（用户账号/服务账号/临时身份），必须有独立凭证与隔离环境；判据："Agent 的凭证不能等于人的凭证"。
3. 具身与动作空间（E-S21-048，卷二十）
动作空间演进：像素坐标(x,y) → 元素索引(DOM/a11y) → 结构化指令(click("搜索"))
判据：能拿到结构就别用像素；结构缺失才退化到视觉定位
| 章 | 结论 |
|---|---|
| 20.1 动作空间 | 结构化选择更稳、更省 token、更可验证 |
| 20.2 视觉定位 | Set-of-Mark（图上打标）+ 坐标预测；DOM 索引优先 |
| 20.3 移动端 | 生态壁垒 > 技术难度：无标准接口，靠可访问性树 |
| 20.4 机器人 | 硬件与算法分工；长程规划在上层，控制在底层 |
| 20.5 VLA + 动作分块 | 用反应速度换动作平滑：分块执行降低抖动，代价是响应变慢 |
| 20.6 世界模型 | 仿真到真实的鸿沟：别让模型只在模拟器擅长的世界里行动 |
判据："动作空间的设计决定成功率上限"——同一个模型，DOM 索引比像素坐标的成功率高一个量级（方向性结论）。
4. 评测是统计问题（E-S21-049，卷二十一）
一条评估任务的解剖（21.1）：环境（初始状态）+ 任务（目标与约束）+ 验证器（判定）+ 预算（步数/时间）+ 记录（轨迹）。
Pass@k 与 Pass^k：
Pass@k：k 次里至少 1 次成功 → 能力上限（能不能做到）
Pass^k：k 次全部成功 → 业务可靠性（能不能一直做到）
k=8 时，单次 80% 的任务：Pass@8 ≈ 100%，Pass^8 ≈ 0.8^8 ≈ 17%
判据："演示用 Pass@k，上线看 Pass^k"——这是"Demo 惊艳、线上拉胯"的数学解释。
评估集五要素（21.3）：覆盖、难度分层、验证器、防泄漏（训练/评测不重叠）、版本化。
LLM 判分的偏差（21.4）：长度偏好、格式偏好、自我偏好（同族模型给高分）。对策：成对比较 + 打乱顺序 + 人工抽检。
统计显著性（21.5）：三个点的提升在小样本上可能是噪声。判据：用配对比较（同一任务配对跑 A/B）+ 置信区间，别只看均值差。
评估基建（21.6）：消融（哪部分起作用）、AB（线上对比）、双层特性开关（全局开关 + 单请求灰度）。
5. 后训练：四阶段各改什么（卷二十二）
| 阶段 | 改什么 | 数据形态 |
|---|---|---|
| 预训练 | 语言与世界知识 | 海量文本 |
| Mid-training | 领域/长上下文能力 | 领域语料、长文档 |
| SFT | 听指令、输出格式 | 指令-回答对 |
| RL | 在环境里变强（策略） | 环境 + 奖励 |
RL 三要点：rollout（采样多条路径）→ 奖励（结果为主、路径为辅）→ 更新；环境不足就让模型扮演环境（22.4），但要注意"模拟器擅长的世界"偏差。
蒸馏（22.6）：把强模型的轨迹压给小模型；On-Policy 自蒸馏"把一次 rollout 榨出更多监督"。
判据："先问病，再选药"——格式/风格问题用 SFT；能力不足用 RL 或换模型；知识缺失用检索（不是微调）。
6. 持续进化与禁区（E-S21-050，卷二十三）
四种沉淀形态（23.2）：知识（文档）、指令（提示/Skill）、程序（工具/脚本）、参数（微调）。判据："能用程序解决的不要用参数"——参数是最贵、最不可解释、最难回滚的沉淀方式。
可验证闭环（23.3）："任务完成" ≠ "系统进步"。要证明进步，必须有：同一张回归集 + 基线 + 显著差异。
睡眠学习（23.4）：离线整合（合并重复记忆、剪枝、保鲜）；对应"遗忘策略"。
三样不能被进化（23.5）：
① 安全边界（权限、审批、不可逆动作清单）——进化不能放宽
② 评估基准（防止"改题目让自己变好"）
③ 审计与可追溯（不能因进化而丢日志）
判据："能被进化改写的约束，等于没有约束"。
7. 多 Agent 与社会模拟（卷二十四）
六种失败模式（24.1）：重复劳动、结论冲突、上游幻觉传染、上下文丢失、协调开销爆炸、认知投降（子 Agent 盲从主管结论）。
共享文件系统治理（24.2）：乐观锁（版本号）、分区（按路径划权）、死锁避免（固定加锁顺序）。
社会模拟三尺度（24.3）：小世界（小镇）、长期（十年人生）、网络（Agent 社交）；可复现性是第一要求（同种子同结果）。
基准（24.4–24.6）：Vending-Bench Arena（有对手的市场经营）、Agent 经济（任务外包与验收难题）、狼人杀（信息不对称博弈）。判据："有对手、有信息不对称"才测得出真实决策能力。
8. 反例：八种"看起来很强"
| 做法 | 后果 |
|---|---|
| 用 Pass@k 报告上线质量 | 可靠性被高估 |
| 单次评测对比两个版本 | 噪声当提升 |
| 拿像素坐标做 UI 自动化 | 成功率低、成本高 |
| Agent 复用人的账号 | 越权不可追责 |
| 用微调解决知识缺失 | 记不住还更贵 |
| 进化改写安全规则 | 约束形同虚设 |
| 多 Agent 无主管裁决 | 结论冲突无人收敛 |
| 仿真里调好直接上真机 | 分布外失效 |
9. 自测
- 交互 Agent 的三层判据？为什么说"难点在时序"？
- 动作空间演进三级？为什么结构化优先？
- Pass@8 与 Pass^8 差多少？这对上线意味着什么？
- 后训练四阶段各改什么？"先问病再选药"怎么用？
- 哪三样不能被进化？为什么？
答案
- 模态/触发时机/延迟预算；模型相同，时序决定体验。
- 像素→元素索引→结构化指令；更稳、更省、可验证。
- 单次 80% 时 Pass@8≈100%、Pass^8≈17%；上线要看 Pass^k。
- 预训练知识、mid-training 领域、SFT 指令、RL 策略；格式用 SFT、能力用 RL、知识用检索。
- 安全边界、评估基准、审计；否则"进化"会自我放宽并通过自己的考试。
10. 下一篇
待写（J24 · 另一部教材卷零到卷五）—— token 经济学、上下文与提示工程、工具全谱（含 4.3 多工具编排、4.5 工具爆炸、4.6 Skill、4.7 Think Tool、4.8 执行流水线）。
本篇属于系列《S21 · Agent 与工具协议》。旧文来源：A-5033–5066（卷十九–卷二十四 34 章）；扩展点 E-S21-047…051。延迟阈值与 Pass^k 数值为推断/演算，非实测。