S21-A03 · 推理框架与模型服务化

适用读者：要把模型部署上线、或在"自建 vs API"之间选型的人。
前置：S21-J04。
覆盖旧文：727(303) 726(187) = 490 点。
覆盖扩展：E-S21-015（延迟/成本/私有化三角）。
上一篇：S21-A02 · 安全、HITL 与事故防护
下一篇：S21-A04 · 技术展望。

1. 一句话结论

服务化是三角权衡：延迟、单位成本、私有化程度。三者不能同时最优——先定"哪个是硬约束"。

方案	延迟	单位成本	私有化
公有 API	中（网络+排队）	按量（贵在大流量）	❌
自建推理（vLLM 类）	低（可控）	需 GPU 固定成本	✅
混合（高峰溢出到 API）	可控	折中	部分

判据："峰值 QPS 与 GPU 利用率能算清吗？" 算不清 → 先用 API；稳定后自建。

2. 自建的三个隐性成本（E-S21-015）

成本	说明
GPU 闲置	低谷期利用率低
运维	驱动/CUDA/框架升级
模型迭代	新模型要重新适配与压测

"为什么很多团队最后回到 API"：利用率不足时，自建的单位成本反而更高。

3. 服务化的关键配置

项	影响
批处理（continuous batching）	吞吐成倍提升
KV cache 复用	首 token 延迟
量化（int8/int4）	显存与延迟
超时与排队上限	保护与降级

判据："首 token 延迟（TTFT）重要还是总吞吐重要？" 交互式 → TTFT；批处理 → 吞吐。

4. 与 Agent 的关系

Agent 特性	对服务化的要求
多步调用	低 TTFT 更重要
上下文长	KV cache/显存压力（S20-J02）
并发高	批处理与排队

"Agent 比对话更吃资源"：一次任务可能有 10+ 次模型调用（B02 的步数）——成本是对话的 N 倍。

5. 五个误区

误区	真相
"自建一定更便宜"	利用率低时更贵
"量化一定掉效果"	视任务，常可接受
"只看平均延迟"	要看 P99 与 TTFT
"GPU 越多越快"	受限于并行度与显存带宽
"上线就不用管容量"	峰值与排队要算

6. 自检（架构师版）

三角权衡的三个维度？
自建的三个隐性成本？
continuous batching 解决什么？
Agent 场景为什么更吃资源？
什么时候该先用 API？

7. 下一篇

S21-A04 · 技术展望与团队能力建设

服务化讲完，最后一篇：给判据而不是预测。

本篇属于系列《S21 · Agent 工程与 MCP》。旧文来源：A-727/726；扩展点 E-S21-015。