2741 字
约 9 分钟
15
S25-A19 · 评分校准:为什么两个人对同一个候选人差两分

同一场面试,两个面试官独立打分:一个给 4("沟通清楚、思路完整"),一个给 2("深度不够、追问就卡")。而他们看的是同一场面试、问了同一批问题。分歧不在"谁看错了",而在两个人对"4 分"的锚不一样。

评分校准要解决的正是这个问题:让"4 分"在所有人心里对应同一个可观察的行为。这个结论有点反直觉:讨论十次不如一起看一次。因为讨论时每个人说的是"印象",而看录像时每个人看的是"同一段事实"——后者才能暴露出"我们对同一个行为的理解不同"。
而它不能靠"开会讨论",只能靠"一起看同一段材料、各自打分、再对差异"。


1. 分歧的三种来源

来源 表现
标准不同(锚不一) 同一表现给不同分
观察片段不同 记住的细节不同
宽容度不同 一个偏松一个偏紧

第一项最常见,而它最容易被误诊为"谁不专业"。第一项的机制是"评价词没有共同刻度":"深度不够"这句话在每个人的词典里指向不同的表现,于是同一场面试被判成两个档。
校准的作用就是把第一项消掉,让剩余分歧变成"信息差异"(可以靠复述补齐)。

第二项在校准里最好解决:看同一段录像,所有人观察到的是同一片段。

2. 三种校准方式

方式 成本
一起看录像 + 各自打分 + 对差异 高(每人每小时)
用"行为锚表"统一标准 低(一次写好)
事后对分数做归一化 极低(但不治本)

第一项的"两小时"里,真正的价值在"第一次对齐"——前 40 分钟往往在争论,后 80 分钟才开始谈"具体看到了什么"。所以时长不能压缩到 30 分钟。
第一项最有效:两小时的共同评分能让"锚"对齐,而它带来的收益是"之后每场面试都更可比"。

第三项是"数学上对齐":把每个人的分数转成"相对他自己历史的分位"。它能消除"有人永远打高"的问题,但消除不了"对同一行为理解不同"——所以它常被用作"校准后的补充",而不是替代。

:把每个人的分数转成"相对他自己历史的分位"。它能消除"有人永远打高"的问题,但消除不了"对同一行为理解不同"的问题。

3. 行为锚怎么写才算"可观察"

不可观察 可观察
"技术扎实" "能说出这个方案的失效条件"
"沟通好" "能按听众调整解释深度"
"有深度" "追问两层后仍能给出依据"
"思路清晰" "先说结论,再说依据,最后说边界"

右列还有个"时间"要求:它必须发生在面试的那一小时里。"这个人有潜力"需要长期观察,而在面试里它只能靠猜——所以它不该进表。
右列的共性是"能被另一个人复述":如果两个人的复述一致,那这个行为就"可观察"。

而左列的问题在"评价词":"扎实"在每个人的词典里刻度不同,于是它无法校准。

校准会最有效的"素材"是"争议场"——两个面试官分差最大的那场录像。因为它一定包含"两个人对同一行为的不同理解",而看它比看"大家都打 4 分"的场次收获大得多。

// 三类素材的收益排序
1 分差 ≥2 的场次:直接暴露"锚不一致"(最高收益)
2 分差 =1 的场次:暴露"边界判断"差异
3 分差 =0 的场次:只能验证"标准一致",信息量低
// 建议:每次校准会准备 1 场第 1 类 + 1 场第 2 类

4. 校准会的具体流程

步骤 时间
看同一段录像(10 分钟) 10
各自独立打分(不讨论) 5
逐维度对齐(只说"看到什么") 25
更新行为锚表 10
记录"仍不一致的维度" 5

第三项是关键:只允许说"我看到了什么",不允许说"我觉得他怎样"。第三项的落实需要一个"话术":"我记录的是……"开头。这句话把陈述锚在"记录"上,于是"我觉得"会显得突兀,而它正是要被排除的。
因为"觉得"无法对齐,而"看到"可以。

第五项要保留:有些维度确实难对齐(如"潜力"),那就把它从表里去掉——不能校准的维度不该用于决策。

// 对齐时的句式(只描述,不评价)
"他在被问到失效条件时,停了 4 秒,然后说'超大数据量下会锁表'。"
"我在同一处记录的是'没答上来'。"
→ 分歧来源:一个人认为"说了半句"算答,另一个算没答
→ 结论:更新锚点,明确"半句需追问一次才算"

"宽容度差异"还有一个可量化的校正办法:统计每个人近 20 场面试的给分分布(均值与标准差)。若某人均值 4.2、另一个 2.8,那"平均分"实际混合了两套刻度——此时讨论"谁更准"没有意义,先对齐刻度。

// 分布对比(每人近 20 场)
面试官A:均值 4.2,标准差 0.4  → 偏松且集中
面试官B:均值 2.8,标准差 1.1  → 偏紧但区分度好
// 结论:A 需要"下压",B 的分布更可用于区分;但"谁准"要看与表现的相关性

5. "过紧"与"过松"的识别

现象 诊断
所有人都 3 分 锚太模糊(中间值最安全)
通过率异常低/高 锚过紧/过松
分数与入职表现无关 锚测的不是关键能力
同一人多次面试分差大 观察片段不同

第一项还有个"跨维度"表现:所有维度都 3 分,于是"总分 12/20"看起来"中规中矩",而实际信息量为零。
第一项是最常见的"校准失败":当没人知道 4 分长什么样,所有人都会选中间值,于是表失去区分度。

第三项最严重:分数与实际表现无关,说明"锚"测的东西不对第三项的诊断方式是"回溯三个月":拿最近录用的人,看"当时的分数"与"现在的表现"是否相关。不相关,就要改维度而不是改校准。
——此时无论怎么校准都无效,要改维度。

"校准"的效果要能被度量,否则它只是"感觉对齐了"。三个便宜的数就够:

// 三个可度量的数(按季度统计)
1 同一候选人的分差(多人面试):中位数应从 2 降到 ≤1
2 分数分布:是否出现"全 3"(区分度为零的信号)
3 分数与入职 6 个月表现的相关性:升职/淘汰是否与分数同向
// 用法:第 1 项看"当下是否对齐",第 3 项看"锚是否测对了东西"

6. 排错:五种"校准无效"

现象 成因 处理方向
校准后仍差两分 只看分数没看证据 练"复述事实"
讨论变成争论 允许说"我觉得" 只允许说"看到"
校准一次就退化 无更新机制 每季度一次
维度太多没时间 表太大 减到 5 个
新人标准又漂 无入场校准 新人首月必参加

第五项的落地规则可以很具体:入职首月必须参加一次校准会;未参加前,他的分数只作参考,不作决策依据。
第五项常被漏:新人没参加过校准会,他的"4 分"是自己的 4 分。所以"入职首月必须参加一次校准"应当成为规则。

最后一个"反面"提醒:校准不能解决"问错问题"。如果题目本身测不出"做过没做过",那所有面试官会在同一个错误标准上达成一致——于是"分差很小、判断很一致",而判断本身是错的。

// 两种"看起来好"的假象
分差小 + 判断错 → 锚对齐了,但锚不对(该改题目维度)
分差大 + 判断对 → 锚没对齐,但信息够(该做校准)
// 判据:先看"分数与表现是否相关",再看"分差"

7. 边界:什么情况不必做校准

场景 为什么 做法
只有一个人面试 无分歧 不必
面试量极小(每月几场) 校准成本高于收益 只写行为锚
已用结构化评估平台 平台有校准功能 跟随
招的是极窄技能(有客观测试) 分数已可比 不必

判断口径一句话:两个面试官对同一候选人的分差,是否经常 ≥1 分。最后一条与"成本"有关的边界:校准的成本是"每人每小时",而收益是"之后每场面试都更可比"。所以它适合"面试量大"的团队;面试量小的团队,"写清行为锚"这一项就够。
是,校准有必要;否(分差小且证据一致),说明标准已经对齐。


8. 自测

  1. 分歧的三种来源里,哪一种最容易被误诊为"谁不专业"?校准能消掉哪一种?
  2. 三种校准方式里,哪一种"数学上对齐但不治本"?
  3. 行为锚"可观察"的判据是什么?为什么"技术扎实"不可校准?
  4. 校准会流程里,"只允许说看到什么"为什么是关键?
  5. "所有人都 3 分"说明什么?"分数与入职表现无关"说明什么?
  6. 判断"是否需要校准"的那个问题是什么?
S25-A19 · 评分校准:为什么两个人对同一个候选人差两分
https://www.clxhxhhr.top/posts/6559/
作者
clxstart
发布于
2024-12-31
许可协议
CC BY-NC-SA 4.0
评论
0 条
还没有评论,先写一条吧。