3、口径校准的准备工作：数据收集、标注规范文档整理、标注人员培训记录
口径校准不是凭空进行的，它需要扎实的“地基”。在正式启动校准会议之前，必须完成三项核心准备工作：数据收集、标注规范文档整理和标注人员培训记录。这三项工作决定了校准的效率和最终质量。
3.1 数据收集：构建校准样本池
校准样本不是随机抽取的，而是需要根据业务场景和标注难点进行定向采集。样本池的质量直接影响校准的覆盖度。
核心原则：校准样本应覆盖“边界案例”、“高频争议案例”和“典型正负例”，避免全部选取简单或极端样本。
数据收集的步骤通常包括：
- 确定采样范围：从已标注数据、待标注数据、历史返修数据中划定来源。
- 制定采样策略：按类别、难度、标注员等维度进行分层抽样。
- 样本数量规划：根据标注团队规模和校准频率，确定每次校准的样本量（通常建议 50-200 条/次）。
- 数据脱敏与格式化：去除敏感信息，统一数据格式（如 JSON、CSV）。
| 数据来源 | 采样目的 | 建议占比 |
|---|---|---|
| 已标注通过数据 | 验证标准一致性，发现隐性偏差 | 30% |
| 标注争议/返修数据 | 聚焦核心分歧，解决高频问题 | 50% |
| 新采集的盲测数据 | 检验标注员对新场景的判断力 | 20% |
3.2 标注规范文档整理：统一“度量衡”
口径校准的本质是让所有人对同一份规范达成共识。因此，校准前必须将标注规范文档整理成最新、最清晰的版本。
文档整理的核心动作包括：
- 版本核对：确认当前使用的规范文档是否为最新版（V2.0、V3.1 等），废弃旧版。
- 歧义点标注：将历史校准中发现的歧义条款用高亮或批注标出，作为校准会议的重点讨论项。
- 案例补充：为每个关键规则补充至少 1 个正例和 1 个反例，并附上简短解释。
- 格式统一：确保文档结构清晰（标题、编号、表格），便于会议中快速定位。
文档检查清单：
- □ 文档版本号与发布日期是否明确？
- □ 所有术语是否有明确定义？
- □ 边界情况是否有处理规则？
- □ 是否有对应的标注示例（含截图或数据片段）？
3.3 标注人员培训记录：建立能力基线
校准不是“批斗会”，而是帮助标注员成长的手段。培训记录是校准前了解标注员水平、定位问题根源的关键依据。
培训记录需要整理的内容包括：
- 历史培训签到与考核成绩：了解每位标注员对规范的理解程度。
- 常见错误类型统计：按错误类型（如漏标、误标、边界判断错误）分类统计，找出共性问题。
- 个人标注准确率趋势：观察标注员近期的准确率是上升、持平还是下降。
- 上次校准后的改进情况：检查上次校准中指出的问题是否已在实际标注中得到改善。
注意：培训记录应作为校准会议的参考材料，而非公开批评的依据。校准的目的是“校准标准”，而非“追责个人”。
3.4 准备工作清单与交付物
为确保校准会议顺利开展，建议在会前 1-2 天完成以下清单的检查：
| 序号 | 准备项 | 交付物 | 负责人 |
|---|---|---|---|
| 1 | 校准样本数据 | 样本数据包（含标注字段、原始数据） | 数据管理员 |
| 2 | 标注规范文档 | 最新版规范 PDF + 歧义点标注版 | 标注经理 |
| 3 | 培训记录汇总 | 培训考核统计表 + 个人能力雷达图 | 培训专员 |
| 4 | 校准会议议程 | 时间安排、讨论规则、预期产出 | 校准主持人 |
实战建议：将上述四项交付物打包成一个“校准会议资料包”，提前发送给所有参会人员，要求会前预习。这能大幅减少会议中的基础问题讨论时间，将精力集中在真正的口径分歧上。