S21-A02 · 安全、HITL 与事故防护

适用读者：要让 Agent 上线做真实操作的人。
前置：S21-J01。
覆盖旧文：725(370) 462(352) + 3 卡 = 907 点。
覆盖扩展：E-S21-012（审批点设计）、E-S21-016（事故复盘）。
上一篇：S21-A01 · 评估与可观测
下一篇：S21-A03 · 推理框架与模型服务化。

1. 一句话结论

Agent 的安全不是"加个过滤词"，而是"把不可逆操作挡在人工审批后面"。HITL（Human-in-the-Loop）的核心是"在哪一步停"。

操作类型	可逆性	处理
读	可逆	放行（记日志）
可撤销写（草稿/标记）	可逆	放行 + 可回滚
不可逆写（删除/付款/发布）	不可逆	必须审批

2. 审批点怎么设计（E-S21-012）

① 判定不可逆性（能否撤销、影响范围）
② 在"执行前"插入审批（不是执行后）
③ 审批要给出"将要做什么 + 影响范围"
④ 默认拒绝（超时未批 → 不执行）

反模式	问题
执行后通知	已经晚了
审批不显示影响范围	人无法判断
超时自动通过	等于没有审批

判据："这个操作被误执行，能撤销吗？" 不能 → 必须审批。

3. 四类攻击面

面	例子
提示词注入	文档/网页里藏"忽略指令"（S20-A02）
工具滥用	诱导调用高权限工具
数据外泄	把敏感数据写进日志/外部请求
供应链	不可信的 MCP 服务端（B05）

4. 事故复盘模板（E-S21-016）

项	内容
时间线	何时、哪一步、什么输入
直接原因	执行了 `rm -rf /data`
根因	工具未做路径白名单
影响	数据范围、是否可恢复
修复	白名单 + 审批 + 沙箱
验证	复跑同一指令，确认被拦截

5. 五个误区

误区	真相
"加敏感词过滤就安全"	挡不住工具滥用
"审批放执行后也行"	已经执行了
"超时自动放行省事"	等于没审批
"内部 Agent 不用审批"	内部权限更大
"复盘写现象就够"	要写根因与验证

6. 自检（架构师版）

三类操作的处理差异？
审批设计的四个要点？
四类攻击面？
复盘模板的六项？
为什么"超时自动通过"最危险？

7. 下一篇

S21-A03 · 推理框架与模型服务化

安全讲完，下一篇讲"模型怎么部署才划算"。

本篇属于系列《S21 · Agent 工程与 MCP》。旧文来源：A-725/462 + 3 卡；扩展点 E-S21-012/016。