755 字
约 2 分钟
41
S27-J06 · RAG 提效与数据流水线
适用读者:RAG 效果"能用但不够好"的人。
前置:S20-B03(检索与重排)、S20-J01(评估)。
覆盖旧文:197(316) 653(299) 593(248) + 相关 = 1,256 点。
扩展点:E-S27-008(提效优先级)。
上一篇:S27-J05 · 架构演进:从模块化到 SOA
下一篇:S27-A01 · 内网穿透。
1. 一句话结论
RAG 提效有优先级:先修检索(分块/混合/重排),再调生成(提示/拒答),最后才考虑换模型。顺序颠倒等于白花钱。
| 顺序 | 手段 | 预期收益 |
|---|---|---|
| ① | 分块与重叠(S20-B02) | 高 |
| ② | 混合检索 + 重排(S20-B03) | 高 |
| ③ | 引用与拒答(S20-B04) | 中(降幻觉) |
| ④ | 换更大模型 | 中(贵) |
2. 数据流水线的四个稳定点(E-S27-008)
采集 → 清洗 → 分块 → 索引 → (检索)
↑ ↑ ↑
去重 结构化 增量更新
| 稳定点 | 说明 |
|---|---|
| 去重 | 重复文档会挤占 topK |
| 结构化 | 表格/标题不能丢(S20-B02) |
| 增量 | 全量重建成本高,要能增量(S21-B06) |
| 可重建 | 索引可丢弃重建,源数据不可丢 |
判据:"索引重建要多久?" 答不出或很久 → 流水线有问题。
3. 协议标准化(A-593)
| 现象 | 影响 |
|---|---|
| 各厂商 API 不兼容 | 换模型要改代码(S22-B01) |
| OpenAI 兼容协议成为事实标准 | 降低了切换成本 |
| 但行为差异仍在 | 提示词/工具调用仍要重测 |
"协议统一不等于行为统一"——换模型必须重跑评估(S20-J01)。
4. 提效的度量
| 指标 | 说明 |
|---|---|
| Recall@K | 检索层 |
| 忠实度 | 生成层 |
| 拒答率 | 过高=检索差;过低=编造多 |
| 单次成本 | token |
5. 五个误区
| 误区 | 真相 |
|---|---|
| "效果不好就换大模型" | 多数是检索问题 |
| "全量重建索引最简单" | 成本高、耗时长 |
| "协议兼容就能无缝换模型" | 行为差异仍在 |
| "去重不重要" | 重复会挤掉真正相关的结果 |
| "拒答率高是坏事" | 过低更危险 |
6. 自检
- 提效四个优先级?
- 流水线四个稳定点?
- 为什么"索引可重建、源数据不可丢"?
- 协议标准化的收益与局限?
- 拒答率过高/过低分别说明什么?
7. 下一篇
S27-A01 · 内网穿透与联调
提效讲完,进架构师层:本地服务怎么接收外部回调。
本篇属于系列《S27 · 杂项归档与工具实测》。旧文来源:A-197/653/593 + 相关卡;扩展点 E-S27-008。
S27-J06 · RAG 提效与数据流水线
https://www.clxhxhhr.top/posts/5624/ 评论
0 条
还没有评论,先写一条吧。