1809 字
约 6 分钟
1
算法厌恶:AI 犯一次错,就被永久拉黑
无标签

专题篇章 · AI 产品心理学 算法厌恶:AI 犯一次错,就被永久拉黑 上一课讲信任要校准。这一课讲校准路上最大的一块石头: 人对 AI 的容错率,远低于对人 。同样犯一次错,人类同事会被原谅,AI 会被弃用。这个不对称有实验、有数据、也有解药。 先投一票 归因翻译器 微调权实验 弃用率仪表盘 一句话速览 Dietvorst 实验:人看到算法犯一次错就弃用,哪怕它整体比人准。先投票亲测自己的偏心,再玩归因翻译器和微调权开关,看弃用率仪表怎么被四个杠杆拉回来 动手 · 下个季度,你听谁的 你是销售 VP,手上有两个销量预测来源,上季度它俩犯了 一模一样的错 :同样的数字、同样的原因。点你下季度打算继续用的那个。

同样的错,你原谅哪个 投一票

这题没有标准答案,凭直觉点,点完看你和实验里大多数人一不一样

人 · 分析师老周

👨‍💼 老周 跟了你三年的销售分析师 上季度预测华东区销量 5,000 万,实际 4,400 万, 高估了 12% 。 复盘会上他说:竞品突然降价,这个真没料到。

AI · 预测系统

🤖 SalesCast AI 用了两个季度的预测系统 上季度预测华东区销量 5,000 万,实际 4,400 万, 高估了 12% 。 系统日志显示:竞品降价数据未纳入本次预测模型。

这个偏心有名字 · Dietvorst 的实验 宾大沃顿商学院,2015 年。Dietvorst、Simmons 和 Massey 让被试预测学生的学业表现,可以自己预测,也可以交给统计模型,预测得准有奖金。关键设计:先让一部分被试 亲眼看到模型犯错 。结果,看过模型犯错的被试大面积弃用模型,宁可用自己更差的判断,哪怕数据摆在眼前:模型的整体成绩比人高一截。论文标题就叫 Algorithm Aversion,算法厌恶。 人们不是嫌算法不准,是嫌算法犯过错。 准不准是统计问题,犯没犯过错是记忆问题,用户拿记忆做决定。

动手 · 归因翻译器:这句话在说人还是说 AI 偏心的根子在归因方式:同一种错误,用户脑子里给人和给 AI 记的账本不一样。下面六句用户的内心独白,判断每句是在评价 人类同事 还是 AI 。判完六句,三个心理根源自己浮出来。

六句独白,判断评价对象 0 / 6

每句点「说人」或「说 AI」,判完看归因规律

六句判完,规律齐了。 人的错误被归因给 情境 (这次意外、他会改),机器的错误被归因给 能力 (它就这水平、以后还这样);人的预期自带误差条,机器的预期是计算器式的全对;对人你能吵能催,对 AI 只有接受和不接受两个按钮。期望里的完美机器、归因不对称、没有控制感,三个根源,条条指向同一个结论: AI 的第一次犯错比人的贵十倍 。

解药实验 · 给一点点控制权,厌恶大幅消退 Dietvorst 团队 2018 年接着做了后续实验:还是那个会犯错的模型,但这次允许被试 微调模型的预测值 ,哪怕只允许改一点点。左边是被试看到的界面,右边是愿意用模型的人数比例,亲手切换两种设定。

微调权实验:两种设定切换 切一切

模型结果不可修改 允许微调模型结果

forecast.example.com

学生 #47 的学业百分位预测 模型预测 62 你的调整 62 本设定下模型结果为最终值,不可修改。

选择用模型的被试 32%

宁可自己来的被试 68%

动手 · 弃用率仪表盘:四个杠杆挨个拨 把实验搬回你的产品。场景:AI 报销审核助手上线一个月, 刚在一批新用户面前算错了一笔账 。仪表盘显示这批用户的预期弃用率,右边四个工程杠杆全是你学过的开关,挨个拨开,看指针怎么动,每个开关的原理写在里面。

首错之后:弃用率还能抢救多少 0 / 4

拨动右侧开关,左侧弃用率当场变;四个全拨开看还剩多少

这批用户的预期弃用率 58%

首错已发生,算法厌恶全额生效:过半用户打算回去用 Excel。

当前状态: AI 算错一笔差旅费,用户在只读结果页里干瞪眼,改不了、撤不了,问客服说「模型偶尔会这样」。

选一选 · 刚被 AI 坑过的用户,先给他什么

用户刚被 AI 的错误坑了一次,哪个动作最能救回他? 单选

选错也有解释,选到对的为止

A 弹窗道歉:「非常抱歉给您带来不便,我们的模型仍在持续优化」 B 发放补偿:送他一个月会员,表达诚意 C 让他亲手改:错误处一键修正,系统记住这条规则并展示「已记住,下次生效」 D 技术升级:连夜换上更强的模型,用准确率把信任赢回来

别忘了反方向 · 自动化偏见 算法厌恶有个反向的孪生兄弟: 自动化偏见 。另一批用户会无条件接受 AI 输出,连显错的都照抄,第 5 课讲过全信酿成的事故。同一个产品里两种人都有:厌恶者需要控制权和稳定性,盲信者需要摩擦和警告。 信任校准是双向工程 ,只往一头使劲,另一头就出事。

本节要点

✓ 容错率不对称: 人的错记给情境,AI 的错记给能力。同样的错,人被原谅,算法被弃用,哪怕算法整体成绩更好。 ✓ 解药是控制权: 2018 年的后续实验里,仅仅允许微调,用模型的人数翻倍,而且多数人几乎没动那个滑块。要的是权利,用不用另说。 ✓ 首错的位置决定生死: 新手期犯错触发弃用,老用户期犯错只触发吐槽。新用户走最稳的链路,实验性功能只对老用户开。 ✓ 同一个坑只能掉一次: 用户纠正过的错误要进记忆并展示「已记住」,第二次在原地翻车,厌恶叠加失望,基本救不回来。

内容来源: 小山学堂「AI 产品心理学」专题原创;算法厌恶实验出自 Dietvorst, Simmons & Massey, Algorithm Aversion (2015)与 Overcoming Algorithm Aversion (2018)。

算法厌恶:AI 犯一次错,就被永久拉黑
http://www.clxhxhhr.top/posts/3963/
作者
clxstart
发布于
2026-09-25
许可协议
CC BY-NC-SA 4.0
评论
0 条
还没有评论,先写一条吧。