第2章 评估前置条件:模型版本、数据分布、环境配置、人员角色确认
章节定位:置信度评估的“准入关卡”。所有评估活动必须在确认模型版本、数据分布、环境配置、人员角色四项前置条件全部检查通过后,方可正式启动。本章提供一套标准化的前置条件检查SOP,确保评估基础的一致性和可追溯性。
适用场景
以下任一场景触发时,必须执行本章前置条件检查流程:
- 首次评估:目标模型第一次进入置信度评估流程。
- 版本迭代:模型版本号发生变更(包括微调、蒸馏、量化等)。
- 数据更新:评估数据集替换、扩充或采样策略调整。
- 环境迁移:评估硬件平台、操作系统、CUDA 版本或核心依赖库变更。
- 人员变动:评估执行人、复核人或审批人岗位调整或替换。
经验提醒:即使模型未变更,若评估间隔超过 30 天,也建议重新执行一次前置条件检查,以防环境漂移或数据版本管理疏漏。
前置条件(检查前的准备)
在执行本章检查流程前,需确保以下资源已就位:
- 目标模型的可执行文件(.pt / .onnx / .pkl 等)或 API 访问凭证。
- 评估任务基线文档(含预期性能指标、版本号、数据规格)。
- 评估数据集清单及存储路径(训练集 / 测试集 / 验证集)。
- 环境需求规格书(硬件型号、软件依赖列表、网络策略)。
- 任命文件或组织架构图(明确执行、复核、审批三级角色)。
操作步骤
下图展示了前置条件检查的完整流程框架,四个并行检查维度汇总后进入判定节点:
依据上图流程,前置条件检查分为以下 5 个标准步骤:
-
Step 1 · 模型版本确认
比对模型文件元信息与基线文档中的版本号、训练框架、提交时间;计算模型文件哈希值(MD5 / SHA256)并记录;确认无未归档的修改或实验分支。 -
Step 2 · 数据分布验证
对评估数据集进行特征分布统计(均值 / 方差 / 分位数),与训练集做 KS 检验或 JS 散度计算;检查边界案例、长尾类别占比是否在允许阈值内;验证数据采集时间窗口是否在有效期内。 -
Step 3 · 环境配置检查
逐项核对硬件(GPU 型号 / 显存 / RAM / 磁盘)是否满足最低需求;运行python -c "import torch; print(torch.__version__)"等命令确认关键软件版本;测试评估网络是否能访问模型仓库或数据源。 -
Step 4 · 人员角色确认
在评估管理系统中完成执行人、复核人、审批人的角色绑定;确保执行人与复核人非同一人,复核人与审批人非同一人;签署《角色确认登记表》。 -
Step 5 · 汇总判定
将四项检查结果汇总至《前置条件检查总表》;全部标记“通过”则签发评估许可,进入正式置信度评估阶段;存在“不通过”项则返回对应责任方整改,整改后重新执行 Step 1–4。
输入输出物
| 输入物 | 来源 | 输出物 | 接收方 |
|---|---|---|---|
| 模型文件 / API Key | 模型开发团队 | 《模型版本确认表》 | 评估执行人 |
| 评估数据集 + 训练集统计摘要 | 数据管理团队 | 《数据分布验证报告》 | 评估执行人 |
| 环境需求规格书 | 运维 / 基础设施团队 | 《环境配置检查清单》 | 评估执行人 |
| 组织架构图 / 任命文件 | 评估主管 | 《角色确认登记表》 | 评估执行人 |
| 基线文档 | 模型开发团队 | 《前置条件检查总表》 | 审批人 |
责任边界
| 角色 | 核心职责 | 不可兼任 |
|---|---|---|
| 评估执行人 | 执行 Step 1–4 所有检查项,填写并提交检查记录 | 不能同时担任复核人或审批人 |
| 复核人 | 逐项复核检查记录的真实性与完整性,签字确认 | 不能同时担任执行人 |
| 审批人 | 审查《前置条件检查总表》,签发“通过 / 不通过”结论 | 不能同时担任执行人或复核人 |
| 模型提供方 | 提供模型版本信息、基线文档、哈希校验值 | 不参与检查执行 |
| 数据管理方 | 提供数据集分布摘要、时效性证明、采样说明 | 不参与检查执行 |
| 运维支持方 | 提供环境配置清单,协助安装缺失依赖 | 不参与检查执行 |
记录材料
所有记录材料使用统一编号模板,归档至评估项目文件夹:
| 表单名称 | 模板编号 | 必填字段 |
|---|---|---|
| 《模型版本确认表》 | CQ-FM-001 | 模型名称、版本号、哈希值、基线文档版本、确认人、日期 |
| 《数据分布验证报告》 | CQ-FD-002 | 数据集名称、样本量、KS 检验 p 值、边界案例占比、验证人、日期 |
| 《环境配置检查清单》 | CQ-EC-003 | 硬件型号、OS 版本、CUDA 版本、核心库版本、检查人、日期 |
| 《角色确认登记表》 | CQ-RC-004 | 执行人姓名/工号、复核人姓名/工号、审批人姓名/工号、主管签字 |
| 《前置条件检查总表》 | CQ-SU-005 | 四项检查结论、综合判定结果、审批人签字、审批日期 |
归档要求:所有表单须在审批通过后 24 小时内上传至评估管理系统,纸质版本由评估主管保存至项目结束后 12 个月。
异常处理
| 异常类型 | 处理方式 | 责任人 | 处理时限 |
|---|---|---|---|
| 模型版本不匹配 | 模型提供方更新基线文档或重新提交流程,执行人二次确认 | 模型提供方 | 2 个工作日 |
| 数据分布偏移(KS p ≤ 0.05) | 数据管理方重新采样或补充边界案例,提供新统计摘要 | 数据管理方 | 3 个工作日 |
| 环境依赖缺失 / 版本冲突 | 运维支持方安装或降级依赖,更新环境快照后重新检查 | 运维支持方 | 1 个工作日 |
| 人员角色冲突(兼任) | 评估主管调整人员安排,确保执行 / 复核 / 审批三人分离 | 评估主管 | 1 个工作日 |
| 记录缺失或签字不全 | 退回对应责任人补签,补签后重新提交复核人审核 | 复核人 | 0.5 个工作日 |
⚠️ 特别注意:任何异常项未经闭环处理,不得跳过检查直接进入评估阶段。若因跳过检查导致评估结论无效或生产事故,将按《AI 模型评估质量问责制度》追究相关责任人。
验收标准
前置条件检查完成后,需同时满足以下全部标准方可视为验收通过:
- 完整性:Step 1–4 所有检查项均已完成,记录无空漏。
- 一致性:模型版本号与基线文档完全一致,哈希值匹配。
- 分布偏差可控:评估集与训练集的 KS 检验 p > 0.05 或 JS 散度 < 0.1(具体阈值以项目基线为准)。
- 环境合规:硬件型号、OS、CUDA、Python 及核心库版本均满足需求规格书最低要求。
- 职责分离:执行人、复核人、审批人为三个不同人员,无兼任冲突。
- 签字齐全:所有表单均有对应角色手写签名或电子签章,审批人已在《前置条件检查总表》签署“通过”结论。
验收输出物:经审批人签字的《前置条件检查总表》PDF 扫描件,作为评估项目启动的唯一凭证,存入项目档案。