第1章 认识评分校准

1.1 适用场景

评分校准适用于所有需要多名评分者对同一批样本进行主观评价的场景，其核心目的是消除评分者之间的系统偏差，提升评估的一致性。常见场景包括：

• 教育考试：作文、口语、实验报告等开放性试题的评分
• 赛事裁判：体操、跳水、花样滑冰等主观打分项目
• 面试评估：结构化面试中不同面试官对候选人能力的打分
• 用户体验评价：产品美观度、交互流畅度等主观指标的用户测试
• 医疗诊断：影像判读、病理分级等需要多名医师独立评估的场景

1.2 前置条件

1. 已制定明确的评分量规（Rubric）或打分指南。
2. 拥有至少2名评分者（通常为3名以上效果更佳）。
3. 准备一组具有代表性的校准样本（如考生答案、比赛视频、面试录音）。
4. 提供一份“锚定样本”及其参考评分（由专家或权威机构事先评定）。
5. 校准主持人（Facilitator）熟悉评分标准并具备引导讨论的能力。

1.3 操作步骤（评分校准标准流程）

以下流程图概括了评分校准的核心环节，并横向对比了“校准”与“标定”在概念和流程上的差异：

校准具体操作步骤（以教育考试为例）：

1. 准备校准样本：抽取5~10份具有代表性的考生答卷，涵盖不同分数段。
2. 独立预评分：每位评分者在不讨论的情况下独立打分，并记录依据。
3. 展示差异：主持人汇总评分结果，标出差异较大的样本（通常偏差超过2分视为异常）。
4. 集体讨论：逐份讨论差异原因，对照评分量规和锚定样本达成共识。
5. 重新评分：评分者对余下正式样本重新独立评分，或者直接应用校准共识进行后续评分。
6. 验证一致性：计算评分者间信度（如ICC、Cohen's Kappa），确认达到预设阈值。

1.4 输入输出物

类别	输入物	输出物
评分数据	原始独立评分表（每位评分者对每个样本的打分）	校准后评分表（共识分或修正分）
标准资料	评分量规、锚定样本及参考评分	校准细则（对量规的补充解释）
过程文档	校准会议议程、差异记录表	校准会议纪要、校准确认书
质量指标	一致性阈值（如 ICC≥0.75）	校准后一致性检验报告

1.5 责任边界

• 评分者：参与校准讨论，主动暴露分歧，接受经过论证的共识，不得在未达成一致时单方面修改评分。
• 校准主持人：组织讨论节奏，保持中立，引导证据而非权威，记录决策理由，确保流程完整。
• 评估管理者：提供校准资源（样本、时间、场地），审核校准结果，确认是否可进入正式评分阶段。
• 专家评审组（可选）：当评分者间无法达成一致时，提供第三方仲裁。

1.6 记录材料

• 校准会议签到表（注明参与评分者、主持人、记录人）
• 校准差异分析表（样本号、各评分者原始分、极差、讨论结果）
• 校准后评分修订记录（原始分→共识分变更明细）
• 一致性统计表（含ICC、Kappa值及判断结论）
• 校准效果总结报告（是否达到验收标准、存在的问题及改进建议）

1.7 异常处理

异常场景	处理方式
评分者拒绝参与校准	由管理者沟通原因；若仍拒绝，则将其评分标记为“未校准”，并在最终报告中说明。
校准讨论无法达成共识	引入第三方专家仲裁；或将该样本暂时排除，先用其他样本完成校准，后续单独处理。
校准后一致性仍低于阈值	检查样本代表性，考虑增加校准样本量或重新校准；若仍不达标，暂停正式评分，修订评分量规。
评分者中途退出	重新补充评分者并从头校准（避免部分校准导致偏差不可比）。
校准样本泄漏或污染	立即中止，更换一批等价样本后重新开始。

1.8 验收标准

• 一致性达标：评分者间信度（ICC ≥ 0.75 或 Cohen's Kappa ≥ 0.70）。
• 流程完整：所有校准步骤均按SOP执行，每个样本的差异均有讨论记录。
• 文档齐全：校准会议纪要、差异分析表、一致性报告、签字确认表全部归档。
• 理解一致：校准结束后，所有评分者能口头阐述评分量规中关键条款的落地应用。
• 可追溯：从原始评分到校准后评分的变更链路清晰可查，无未记录的人工修改。