幻觉与应对 应对 3:Temperature & Top-P PM 视角:API 接入时如何配置采样参数,不同业务场景的推荐值与风险边界。手段 03 / 04 · 预防。 一句话速览 拖动滑块,实时看概率分布和输出变化 业务场景推荐参数
⚖️
法律 / 合规 / 客服 推荐: T=0.1 Top-P=0.8
📊
报告撰写 / 摘要总结 推荐: T=0.3 Top-P=0.9
💬
通用对话 / 解答咨询 推荐: T=0.7 Top-P=0.95
✍️
创意写作 / 头脑风暴 推荐: T=1.2 Top-P=1.0
参数当前位置
Temperature
保守 平衡 发散
Top-P
窄候选 适中 全集
参数调节 × 输出质量
交互演示 为什么有效
Temperature 控制随机程度
0.10
Top-P 控制候选词范围
0.80
当前参数下的输出质量预估
Token 推 Token 的概率分布
低温 T = 0.1 分布尖锐
六个月 三个月 一年 … …
最高概率词几乎被锁定, 模型输出稳定、可预期
高温 T = 2.0 分布平坦
六个月 三个月 永远 随便 …
低概率词也有机会被选中, 幻觉和意外词随之增加
每步推 Token 时,模型先算出候选词的 logits,再经过 softmax 得到概率分布。 Temperature 在 softmax 之前对 logits 做等比缩放 : T 越小,缩放后差距越大,分布越尖锐;T 越大,差距越小,分布越平坦。 这是最直接干预每步采样随机性的手段, 但它不能区分哪步该保守、哪步可以发散, 所以事实问答场景要全程低温,创意场景才适合放开。
⚠ 局限性:参数调低不等于消灭幻觉
低温锁定的是「最可能」,最可能不等于最正确
T=0 只是让模型每步都选概率最高的词。但如果训练数据里那个问题本身就是错的, 最高概率词依然是错误答案,且输出极其稳定地错
只影响随机性,不影响知识边界
Temperature 控制的是「每步怎么采样」,不能给模型注入它没有的知识: 模型不知道的事,低温下也照样编,只是编得更一致
PM 应对策略
参数调优是 成本最低的第一道防线 ,但不能单独依赖。事实准确性要求高的场景,必须搭配 RAG 或 人工审核