628 字
约 2 分钟
1
应对 3:Temperature & Top-P
无标签

幻觉与应对 应对 3:Temperature & Top-P PM 视角:API 接入时如何配置采样参数,不同业务场景的推荐值与风险边界。手段 03 / 04 · 预防。 一句话速览 拖动滑块,实时看概率分布和输出变化 业务场景推荐参数

⚖️

法律 / 合规 / 客服 推荐: T=0.1 Top-P=0.8

📊

报告撰写 / 摘要总结 推荐: T=0.3 Top-P=0.9

💬

通用对话 / 解答咨询 推荐: T=0.7 Top-P=0.95

✍️

创意写作 / 头脑风暴 推荐: T=1.2 Top-P=1.0

参数当前位置

Temperature

保守 平衡 发散

Top-P

窄候选 适中 全集

参数调节 × 输出质量

交互演示 为什么有效

Temperature 控制随机程度

0.10

Top-P 控制候选词范围

0.80

当前参数下的输出质量预估

Token 推 Token 的概率分布

低温 T = 0.1 分布尖锐

六个月 三个月 一年 … …

最高概率词几乎被锁定, 模型输出稳定、可预期

高温 T = 2.0 分布平坦

六个月 三个月 永远 随便 …

低概率词也有机会被选中, 幻觉和意外词随之增加

每步推 Token 时,模型先算出候选词的 logits,再经过 softmax 得到概率分布。 Temperature 在 softmax 之前对 logits 做等比缩放 : T 越小,缩放后差距越大,分布越尖锐;T 越大,差距越小,分布越平坦。 这是最直接干预每步采样随机性的手段, 但它不能区分哪步该保守、哪步可以发散, 所以事实问答场景要全程低温,创意场景才适合放开。

⚠ 局限性:参数调低不等于消灭幻觉

低温锁定的是「最可能」,最可能不等于最正确

T=0 只是让模型每步都选概率最高的词。但如果训练数据里那个问题本身就是错的, 最高概率词依然是错误答案,且输出极其稳定地错

只影响随机性,不影响知识边界

Temperature 控制的是「每步怎么采样」,不能给模型注入它没有的知识: 模型不知道的事,低温下也照样编,只是编得更一致

PM 应对策略

参数调优是 成本最低的第一道防线 ,但不能单独依赖。事实准确性要求高的场景,必须搭配 RAG 或 人工审核

应对 3:Temperature & Top-P
http://www.clxhxhhr.top/posts/3882/
作者
clxstart
发布于
2026-09-25
许可协议
CC BY-NC-SA 4.0
评论
0 条
还没有评论,先写一条吧。