1345 字
约 4 分钟
11
S19-A01 · 团队提示词资产化:从个人技巧到可维护资产

适用读者:团队里提示词散落各处、没人知道哪个版本在线上跑的人。
前置:S19-J02。
覆盖旧文:—(E 驱动)
覆盖扩展:E-S19-012(权限、审计与成本核算)。
上一篇:S19-J02 · 提示词的版本管理与回归测试
下一篇:S20 · 大模型机制与 RAG。


1. 一句话结论

把提示词当资产治理,需要三件东西:单一来源(仓库)、责任人(owner)、可度量(质量+成本)。缺一个,它就会退回"个人技巧"。

阶段 表现 问题
L0 提示词在聊天记录/个人笔记 无法复用、无法审计
L1 在代码里硬编码 改一次要发版
L2 独立仓库 + 回归测试 需要治理流程
L3 有 owner、有看板、有审批 资产化完成

2. 资产目录与责任人

| 资产 | 路径 | Owner | 用途 | 上线版本 | 最近评估 |
|---|---|---|---|---|---|
| weather-system | prompts/weather/ | @张 | 天气助手 | v4 | 18/20 |
| code-review | prompts/review/ | @李 | 代码评审 | v2 | 15/18 |

判据:"这个提示词坏了,找谁?" 答不出来 → 没有 owner,等于没有资产。

2.1 评审流程(最小可用)

变更类型 评审要求
措辞微调(不改变输出契约) 1 人评审 + 回归通过
改 Format/输出契约 2 人评审(含下游消费方)
换模型/换参数档位 必须回归全量 + 灰度

3. 权限、审计与成本(E-S19-012)

3.1 权限

角色 权限
使用者 读 Prompt、跑评估
作者 改 Prompt(走评审)
Owner 合并、决定上线
平台 管理密钥、模型配额

红线:Prompt 里不能出现密钥/token。它们属于平台侧注入,不进文本(与 S02-B10 §4 的"凭据不进模型上下文"同源)。

3.2 审计

要记什么 为什么
谁改的、何时、改了什么 追责与复盘
每次调用的 token 数与成本 成本归因
失败样本 回归集素材来源

3.3 成本核算

单次成本 ≈ (输入 token × 输入单价) + (输出 token × 输出单价)
月度成本 ≈ 调用量 × 单次成本 × (1 + 重试率)
优化手段 效果 代价
缩短 Context 直接降输入 token 可能降低质量
Few-shot 精简 降输入 token 格式稳定性下降
缓存常见请求 降调用量 需要判定"可缓存"
分级模型(小模型先跑) 降单价 架构复杂度上升

判据:"这个提示词每月花多少钱?" 答不出来 → 成本不可控。


4. 质量看板(四个指标)

指标 定义 阈值(示例)
回归通过率 得分/满分 不低于基线
线上失败率 需人工介入的比例 ≤ 5%
平均 token 成本 输入+输出 环比不上升
提示词变更频率 月均变更次数 过高说明不稳定

只盯质量不看成本会做出"用最贵模型 + 最长 Prompt"的方案;只盯成本不看质量会做出"便宜但没人用"的方案。


5. 迁移与回滚

场景 迁移 回滚
提示词版本升级 灰度(按流量比例) 切回上一版本(配置开关)
换模型 双跑对比 + 灰度 切回旧模型
资产迁仓库 并行期双份 保留旧路径 1 个月

铁律:版本切换必须是"配置项"而不是"重新发版"——回滚速度决定故障时长(与 S02-A01 §5 同源)。


6. 五个误区

误区 真相
"提示词是个人技巧,不用管" 团队规模一上来就无法维护
"有仓库就算资产化" 还要有 owner、评审、看板
"成本是财务的事" 提示词长度直接决定成本
"密钥写进 Prompt 方便" 泄露风险,且无法审计
"换模型不用灰度" 模型升级是最高风险变更

7. 自检(架构师版)

  1. L2 与 L3 的差别是什么?
  2. 为什么"没有 owner"等于没有资产?
  3. 成本核算公式的三个乘数分别是什么?
  4. 质量看板的四个指标如何互相制衡?
  5. 为什么版本切换必须是配置项?

8. 系列收尾

S19 到此结束(8 篇)。下一系列 S20 · 大模型机制与 RAG(66 卡,需先核对其素材是否落在截断段)。

S19 的验收报告见 ../acceptance.md。


本篇属于系列《S19 · AI 素养与学习方法》,架构师层第 1 篇。扩展点 E-S19-012。

S19-A01 · 团队提示词资产化:从个人技巧到可维护资产
https://www.clxhxhhr.top/posts/5459/
作者
clxstart
发布于
2024-12-31
许可协议
CC BY-NC-SA 4.0
评论
0 条
还没有评论,先写一条吧。