1345 字
约 4 分钟
11
S19-A01 · 团队提示词资产化:从个人技巧到可维护资产
适用读者:团队里提示词散落各处、没人知道哪个版本在线上跑的人。
前置:S19-J02。
覆盖旧文:—(E 驱动)
覆盖扩展:E-S19-012(权限、审计与成本核算)。
上一篇:S19-J02 · 提示词的版本管理与回归测试
下一篇:S20 · 大模型机制与 RAG。
1. 一句话结论
把提示词当资产治理,需要三件东西:单一来源(仓库)、责任人(owner)、可度量(质量+成本)。缺一个,它就会退回"个人技巧"。
| 阶段 | 表现 | 问题 |
|---|---|---|
| L0 | 提示词在聊天记录/个人笔记 | 无法复用、无法审计 |
| L1 | 在代码里硬编码 | 改一次要发版 |
| L2 | 独立仓库 + 回归测试 | 需要治理流程 |
| L3 | 有 owner、有看板、有审批 | 资产化完成 |
2. 资产目录与责任人
| 资产 | 路径 | Owner | 用途 | 上线版本 | 最近评估 |
|---|---|---|---|---|---|
| weather-system | prompts/weather/ | @张 | 天气助手 | v4 | 18/20 |
| code-review | prompts/review/ | @李 | 代码评审 | v2 | 15/18 |
判据:"这个提示词坏了,找谁?" 答不出来 → 没有 owner,等于没有资产。
2.1 评审流程(最小可用)
| 变更类型 | 评审要求 |
|---|---|
| 措辞微调(不改变输出契约) | 1 人评审 + 回归通过 |
| 改 Format/输出契约 | 2 人评审(含下游消费方) |
| 换模型/换参数档位 | 必须回归全量 + 灰度 |
3. 权限、审计与成本(E-S19-012)
3.1 权限
| 角色 | 权限 |
|---|---|
| 使用者 | 读 Prompt、跑评估 |
| 作者 | 改 Prompt(走评审) |
| Owner | 合并、决定上线 |
| 平台 | 管理密钥、模型配额 |
红线:Prompt 里不能出现密钥/token。它们属于平台侧注入,不进文本(与 S02-B10 §4 的"凭据不进模型上下文"同源)。
3.2 审计
| 要记什么 | 为什么 |
|---|---|
| 谁改的、何时、改了什么 | 追责与复盘 |
| 每次调用的 token 数与成本 | 成本归因 |
| 失败样本 | 回归集素材来源 |
3.3 成本核算
单次成本 ≈ (输入 token × 输入单价) + (输出 token × 输出单价)
月度成本 ≈ 调用量 × 单次成本 × (1 + 重试率)
| 优化手段 | 效果 | 代价 |
|---|---|---|
| 缩短 Context | 直接降输入 token | 可能降低质量 |
| Few-shot 精简 | 降输入 token | 格式稳定性下降 |
| 缓存常见请求 | 降调用量 | 需要判定"可缓存" |
| 分级模型(小模型先跑) | 降单价 | 架构复杂度上升 |
判据:"这个提示词每月花多少钱?" 答不出来 → 成本不可控。
4. 质量看板(四个指标)
| 指标 | 定义 | 阈值(示例) |
|---|---|---|
| 回归通过率 | 得分/满分 | 不低于基线 |
| 线上失败率 | 需人工介入的比例 | ≤ 5% |
| 平均 token 成本 | 输入+输出 | 环比不上升 |
| 提示词变更频率 | 月均变更次数 | 过高说明不稳定 |
只盯质量不看成本会做出"用最贵模型 + 最长 Prompt"的方案;只盯成本不看质量会做出"便宜但没人用"的方案。
5. 迁移与回滚
| 场景 | 迁移 | 回滚 |
|---|---|---|
| 提示词版本升级 | 灰度(按流量比例) | 切回上一版本(配置开关) |
| 换模型 | 双跑对比 + 灰度 | 切回旧模型 |
| 资产迁仓库 | 并行期双份 | 保留旧路径 1 个月 |
铁律:版本切换必须是"配置项"而不是"重新发版"——回滚速度决定故障时长(与 S02-A01 §5 同源)。
6. 五个误区
| 误区 | 真相 |
|---|---|
| "提示词是个人技巧,不用管" | 团队规模一上来就无法维护 |
| "有仓库就算资产化" | 还要有 owner、评审、看板 |
| "成本是财务的事" | 提示词长度直接决定成本 |
| "密钥写进 Prompt 方便" | 泄露风险,且无法审计 |
| "换模型不用灰度" | 模型升级是最高风险变更 |
7. 自检(架构师版)
- L2 与 L3 的差别是什么?
- 为什么"没有 owner"等于没有资产?
- 成本核算公式的三个乘数分别是什么?
- 质量看板的四个指标如何互相制衡?
- 为什么版本切换必须是配置项?
8. 系列收尾
S19 到此结束(8 篇)。下一系列 S20 · 大模型机制与 RAG(66 卡,需先核对其素材是否落在截断段)。
S19 的验收报告见 ../acceptance.md。
本篇属于系列《S19 · AI 素养与学习方法》,架构师层第 1 篇。扩展点 E-S19-012。
S19-A01 · 团队提示词资产化:从个人技巧到可维护资产
https://www.clxhxhhr.top/posts/5459/ 评论
0 条
还没有评论,先写一条吧。