S22-J01 · 多模型路由与运行时切换

适用读者：要在"贵模型/便宜模型"之间按请求分流的人。
前置：S22-B01、S20-J04（双模型路由）。
覆盖旧文：657(101) = 101 点。
覆盖扩展：E-S22-009（路由策略）。
上一篇：S22-B03 · Advisor：请求/响应日志与横切能力
下一篇：S22-J02 · 记忆系统落地。

1. 一句话结论

模型路由的收益来自"用便宜模型处理简单请求"：先分类，再路由，最后兜底。分类错了要有回退。

请求 → 分类器（意图/长度/难度）→ 路由表 → 模型 A / B / C
                                   ↓ 失败或低置信
                                 升级到大模型

2. 三种路由依据（E-S22-009）

依据	说明	成本
规则（长度/关键词）	简单、可控	低
小模型分类	准确率更高	中（多一次调用）
置信度反馈	小模型答不好再升级	高（要评估）

判据："简单请求占比高吗？" 高（如 70% 是短问答） → 路由收益明显；都复杂 → 别路由。

3. 路由表的设计

维度	示例
任务类型	分类/抽取 → 小模型；推理/长文 → 大模型
输入长度	超长 → 长上下文模型
SLA	交互式 → 低延迟模型；批处理 → 高吞吐
成本上限	单请求预算

"为什么要写进配置而不是代码"：路由策略会频繁调——放进配置中心（S17-B05）可热更新，但要控制变更风险。

4. 失败与降级

情况	处理
小模型输出不合格	升级到大模型重试（限 1 次）
大模型超时	降级到缓存/兜底话术
路由分类器故障	默认走大模型（保守）

判据："路由错了，最坏结果是什么？" 答错 → 必须可回退到强模型。

5. 五个误区

误区	真相
"路由总能省钱"	分类开销可能超过节省
"分类器一定准"	需阈值与兜底
"路由表写死在代码里"	应可配置
"小模型失败就算了"	要升级重试
"所有请求都该路由"	复杂请求无收益

6. 自检

三种路由依据的取舍？
什么情况下路由有收益？
路由表应放哪、为什么？
三种失败的处理？
"路由错了"的最坏结果怎么兜？

7. 下一篇

S22-J02 · 记忆系统落地：分层与会话

路由讲完，下一篇把"记忆"落成可运行的存储结构。

本篇属于系列《S22 · AI 工程落地实战》。旧文来源：A-657；扩展点 E-S22-009。