S23-X02 · 术语、指标与论文速查

适用读者：读本系列时反复回头查词的人；要给团队做 AI Infra 术语对齐的人。
前置：S23-J01–J04、S23-A01。
覆盖旧文：A-1988 的引用与资料部分（5 点，见 §4）。
扩展点：E-S23-011（资料可信度分级）。
上一篇：S23-A01 · Agent Infra 与超节点：把六个方向落到"该不该投"
下一篇：无（本系列终点）。

1. 六个方向一张表

#	方向	一句话	本系列落点
01	分布式推理	把 prefill/decode 拆开，独立优化 TTFT/TPOT	J01、J02
02	面向 Tile 的开发语言	数据流与调度解耦，降低算子优化门槛	J04
03	RL 训推分离	训练与推理异构解耦，靠数据平面消气泡	J03 §2
04	模型-系统协同设计	用算术强度对齐硬件 roofline	J03 §3
05	Agent Infra	沙箱、状态、审计、协议（MCP/Skills）	A01 §2
06	超节点硬件	用高带宽域换取长上下文并发	A01 §3

2. 术语表

术语	一句话定义	出处
MoE	门控网络选少数专家计算的稀疏结构；参数大、单次算力小	J01 §3
稀疏激活	单请求只激活部分专家；未激活专家算力闲置	J01 §3
prefill	一次算完输入、生成 KV 与首 token；计算密集	J01 §4
decode	基于 KV 逐 token 生成；访存密集	J01 §4
TTFT	首个 token 响应时间；prefill + 排队	J01 §5
TPOT	后续平均每 token 时间；decode 速率	J01 §5
KV 缓存	缓存的 Key/Value 张量；显存随上下文线性增长	J01 §4
PD 分离	prefill 与 decode 部署到不同设备，避免互相干扰	J02 §2
生产者-消费者失衡	P 产 KV 与 D 消费 KV 速率不匹配，导致部分实例过载/闲置	J02 §2
DOPD	动态调整 P/D 实例数的调度策略（监控+路由+KV 通信）	J02 §2
AFD	Attention 与 FFN 分离部署（访存型 vs 算力型分卡）	J02 §3
算术强度	每字节显存交互对应的运算次数；结构属性，与 batch/上下文无关	J03 §3
roofline	硬件的算力/带宽比；AI 低于它则带宽瓶颈，高于它则算力瓶颈	J03 §3
气泡	资源等待造成的时间浪费（训练等 rollout、推理等权重）	J03 §2
轨迹管理器	SeamlessFlow 中记录 Agent↔LLM 全量输入输出的组件	J03 §2
超节点	让大量 GPU 通过专有通道组成一个高带宽域	A01 §3
MCP	AI 应用与外部工具/数据源交互的标准协议（Server/Client/Host）	A01 §2
Skills	封装专业知识、SOP 与判断逻辑的按需激活模块	A01 §2
TileLang	面向 Tile 的算子开发语言，数据流与调度解耦	J04 §2

3. 指标口径（报数必须带上下文）

指标	定义	必须附带的参数
TTFT P50/P95	首 token 时间	并发数、输入长度、是否流式
TPOT	生成阶段每 token 平均耗时	输出长度、并发数
吞吐（tokens/s）	单位时间总输出	并发数、输入/输出长度
显存/请求	权重 + KV	上下文长度、精度
气泡率	等待时间 / 总时间	一次 RL step 的分解

4. 资料清单与可信度（E-S23-011）

资料	状态	说明
DistServe 论文（`arXiv:2401.09670`）	✅ 原文给出链接	PD 分离的提出
DeepEP（`github.com/deepseek-ai/DeepEP`）	✅ 原文给出链接	MoE 稀疏通信、FP8、通信-计算重叠
TileLang 论文	⚠️ 待核	原文仅称"论文"，未给编号
DOPD 论文	⚠️ 待核	原文仅描述策略
SeamlessFlow 论文	⚠️ 待核	原文仅描述设计
Step-3 论文（AFD/算术强度）	⚠️ 待核	原文仅描述结论
NVIDIA NVL144 规格（260 TB/s）	⚠️ 待核	厂商口径，需按官方规格书核对
腾讯云 Cube/MVM 沙箱（80ms 等）	⚠️ 待核	厂商口径
行业分析 / 知乎长文 / 财新报道	📎 二手	仅作趋势参考，不作技术依据

4.1 可信度分级（三级）

级别	判据	用法
A 可核实	有论文编号/官方文档/可运行项目	可直接引用为结论
B 待核	有名称无出处，或仅厂商口径	引用时必须写"待核"
C 二手	媒体/博客转述，无原始出处	仅作背景，不进结论

判据：写技术文章时，A 级结论可以给数字，B 级必须给条件，C 级只能给趋势。

5. 常见混淆

容易混	区别
TTFT vs 总时长	前者是首 token，后者含全部输出；交互体验看 TTFT
PD 分离 vs 训推分离	前者拆推理内部两阶段；后者拆 RL 训练与推理
算术强度 vs 利用率	前者是结构属性，后者是运行时结果
MCP vs Function Calling	标准协议 vs 私有约定
超节点 vs 集群	前者强调单一高带宽域，后者只是多机集合

6. 自测

你能否用一句话说清 PD 分离与训推分离的区别？
你的团队报 TTFT 时，带并发数与输入长度吗？
本系列里哪些数字是"待核"级别？引用时你怎么标注？

7. 系列终点

回到入口：README ；方法与取舍见 J02/J03；落地判断见 A01；覆盖与缺口见 gaps.md 。