755 字
约 2 分钟
41
S27-J06 · RAG 提效与数据流水线

适用读者:RAG 效果"能用但不够好"的人。
前置:S20-B03(检索与重排)、S20-J01(评估)。
覆盖旧文:197(316) 653(299) 593(248) + 相关 = 1,256 点。
扩展点:E-S27-008(提效优先级)。
上一篇:S27-J05 · 架构演进:从模块化到 SOA
下一篇:S27-A01 · 内网穿透。


1. 一句话结论

RAG 提效有优先级:先修检索(分块/混合/重排),再调生成(提示/拒答),最后才考虑换模型。顺序颠倒等于白花钱。

顺序 手段 预期收益
① 分块与重叠(S20-B02) 高
② 混合检索 + 重排(S20-B03) 高
③ 引用与拒答(S20-B04) 中(降幻觉)
④ 换更大模型 中(贵)

2. 数据流水线的四个稳定点(E-S27-008)

采集 → 清洗 → 分块 → 索引 → (检索)
        ↑       ↑       ↑
      去重    结构化    增量更新
稳定点 说明
去重 重复文档会挤占 topK
结构化 表格/标题不能丢(S20-B02)
增量 全量重建成本高,要能增量(S21-B06)
可重建 索引可丢弃重建,源数据不可丢

判据:"索引重建要多久?" 答不出或很久 → 流水线有问题。


3. 协议标准化(A-593)

现象 影响
各厂商 API 不兼容 换模型要改代码(S22-B01)
OpenAI 兼容协议成为事实标准 降低了切换成本
但行为差异仍在 提示词/工具调用仍要重测

"协议统一不等于行为统一"——换模型必须重跑评估(S20-J01)。


4. 提效的度量

指标 说明
Recall@K 检索层
忠实度 生成层
拒答率 过高=检索差;过低=编造多
单次成本 token

5. 五个误区

误区 真相
"效果不好就换大模型" 多数是检索问题
"全量重建索引最简单" 成本高、耗时长
"协议兼容就能无缝换模型" 行为差异仍在
"去重不重要" 重复会挤掉真正相关的结果
"拒答率高是坏事" 过低更危险

6. 自检

  1. 提效四个优先级?
  2. 流水线四个稳定点?
  3. 为什么"索引可重建、源数据不可丢"?
  4. 协议标准化的收益与局限?
  5. 拒答率过高/过低分别说明什么?

7. 下一篇

S27-A01 · 内网穿透与联调

提效讲完,进架构师层:本地服务怎么接收外部回调。


本篇属于系列《S27 · 杂项归档与工具实测》。旧文来源:A-197/653/593 + 相关卡;扩展点 E-S27-008。

S27-J06 · RAG 提效与数据流水线
https://www.clxhxhhr.top/posts/5624/
作者
clxstart
发布于
2024-12-31
许可协议
CC BY-NC-SA 4.0
评论
0 条
还没有评论,先写一条吧。