第2章 评估前置条件:模型版本、数据分布、环境配置、人员角色确认

章节定位:置信度评估的“准入关卡”。所有评估活动必须在确认模型版本、数据分布、环境配置、人员角色四项前置条件全部检查通过后,方可正式启动。本章提供一套标准化的前置条件检查SOP,确保评估基础的一致性和可追溯性。

适用场景

以下任一场景触发时,必须执行本章前置条件检查流程:

  • 首次评估:目标模型第一次进入置信度评估流程。
  • 版本迭代:模型版本号发生变更(包括微调、蒸馏、量化等)。
  • 数据更新:评估数据集替换、扩充或采样策略调整。
  • 环境迁移:评估硬件平台、操作系统、CUDA 版本或核心依赖库变更。
  • 人员变动:评估执行人、复核人或审批人岗位调整或替换。
经验提醒:即使模型未变更,若评估间隔超过 30 天,也建议重新执行一次前置条件检查,以防环境漂移或数据版本管理疏漏。

前置条件(检查前的准备)

在执行本章检查流程前,需确保以下资源已就位:

  1. 目标模型的可执行文件(.pt / .onnx / .pkl 等)或 API 访问凭证。
  2. 评估任务基线文档(含预期性能指标、版本号、数据规格)。
  3. 评估数据集清单及存储路径(训练集 / 测试集 / 验证集)。
  4. 环境需求规格书(硬件型号、软件依赖列表、网络策略)。
  5. 任命文件或组织架构图(明确执行、复核、审批三级角色)。

操作步骤

下图展示了前置条件检查的完整流程框架,四个并行检查维度汇总后进入判定节点:

评估前置条件检查框架 前置条件检查流程框架 🔍 评估前置条件检查 模型版本确认 ▶ 版本号核对 ▶ 基线标识确认 ▶ 变更记录审查 数据分布验证 ▶ 特征分布检查 ▶ 样本范围确认 ▶ 时效性验证 环境配置检查 ▶ 硬件规格核对 ▶ 软件依赖确认 ▶ 网络权限检查 人员角色确认 ▶ 评估者指派 ▶ 复核者确认 ▶ 审批者授权 📋 前置条件检查结果 ✅ 全部通过 → 进入评估 ⚠️ 存在异常 → 整改后重检 * 四个维度检查并行执行,所有项通过方可进入评估阶段

依据上图流程,前置条件检查分为以下 5 个标准步骤:

  1. Step 1 · 模型版本确认
    比对模型文件元信息与基线文档中的版本号、训练框架、提交时间;计算模型文件哈希值(MD5 / SHA256)并记录;确认无未归档的修改或实验分支。
  2. Step 2 · 数据分布验证
    对评估数据集进行特征分布统计(均值 / 方差 / 分位数),与训练集做 KS 检验或 JS 散度计算;检查边界案例、长尾类别占比是否在允许阈值内;验证数据采集时间窗口是否在有效期内。
  3. Step 3 · 环境配置检查
    逐项核对硬件(GPU 型号 / 显存 / RAM / 磁盘)是否满足最低需求;运行 python -c "import torch; print(torch.__version__)" 等命令确认关键软件版本;测试评估网络是否能访问模型仓库或数据源。
  4. Step 4 · 人员角色确认
    在评估管理系统中完成执行人、复核人、审批人的角色绑定;确保执行人与复核人非同一人,复核人与审批人非同一人;签署《角色确认登记表》。
  5. Step 5 · 汇总判定
    将四项检查结果汇总至《前置条件检查总表》;全部标记“通过”则签发评估许可,进入正式置信度评估阶段;存在“不通过”项则返回对应责任方整改,整改后重新执行 Step 1–4。

输入输出物

输入物 来源 输出物 接收方
模型文件 / API Key 模型开发团队 《模型版本确认表》 评估执行人
评估数据集 + 训练集统计摘要 数据管理团队 《数据分布验证报告》 评估执行人
环境需求规格书 运维 / 基础设施团队 《环境配置检查清单》 评估执行人
组织架构图 / 任命文件 评估主管 《角色确认登记表》 评估执行人
基线文档 模型开发团队 《前置条件检查总表》 审批人

责任边界

角色 核心职责 不可兼任
评估执行人 执行 Step 1–4 所有检查项,填写并提交检查记录 不能同时担任复核人或审批人
复核人 逐项复核检查记录的真实性与完整性,签字确认 不能同时担任执行人
审批人 审查《前置条件检查总表》,签发“通过 / 不通过”结论 不能同时担任执行人或复核人
模型提供方 提供模型版本信息、基线文档、哈希校验值 不参与检查执行
数据管理方 提供数据集分布摘要、时效性证明、采样说明 不参与检查执行
运维支持方 提供环境配置清单,协助安装缺失依赖 不参与检查执行

记录材料

所有记录材料使用统一编号模板,归档至评估项目文件夹:

表单名称 模板编号 必填字段
《模型版本确认表》 CQ-FM-001 模型名称、版本号、哈希值、基线文档版本、确认人、日期
《数据分布验证报告》 CQ-FD-002 数据集名称、样本量、KS 检验 p 值、边界案例占比、验证人、日期
《环境配置检查清单》 CQ-EC-003 硬件型号、OS 版本、CUDA 版本、核心库版本、检查人、日期
《角色确认登记表》 CQ-RC-004 执行人姓名/工号、复核人姓名/工号、审批人姓名/工号、主管签字
《前置条件检查总表》 CQ-SU-005 四项检查结论、综合判定结果、审批人签字、审批日期
归档要求:所有表单须在审批通过后 24 小时内上传至评估管理系统,纸质版本由评估主管保存至项目结束后 12 个月。

异常处理

异常类型 处理方式 责任人 处理时限
模型版本不匹配 模型提供方更新基线文档或重新提交流程,执行人二次确认 模型提供方 2 个工作日
数据分布偏移(KS p ≤ 0.05) 数据管理方重新采样或补充边界案例,提供新统计摘要 数据管理方 3 个工作日
环境依赖缺失 / 版本冲突 运维支持方安装或降级依赖,更新环境快照后重新检查 运维支持方 1 个工作日
人员角色冲突(兼任) 评估主管调整人员安排,确保执行 / 复核 / 审批三人分离 评估主管 1 个工作日
记录缺失或签字不全 退回对应责任人补签,补签后重新提交复核人审核 复核人 0.5 个工作日
⚠️ 特别注意:任何异常项未经闭环处理,不得跳过检查直接进入评估阶段。若因跳过检查导致评估结论无效或生产事故,将按《AI 模型评估质量问责制度》追究相关责任人。

验收标准

前置条件检查完成后,需同时满足以下全部标准方可视为验收通过:

  1. 完整性:Step 1–4 所有检查项均已完成,记录无空漏。
  2. 一致性:模型版本号与基线文档完全一致,哈希值匹配。
  3. 分布偏差可控:评估集与训练集的 KS 检验 p > 0.05 或 JS 散度 < 0.1(具体阈值以项目基线为准)。
  4. 环境合规:硬件型号、OS、CUDA、Python 及核心库版本均满足需求规格书最低要求。
  5. 职责分离:执行人、复核人、审批人为三个不同人员,无兼任冲突。
  6. 签字齐全:所有表单均有对应角色手写签名或电子签章,审批人已在《前置条件检查总表》签署“通过”结论。
验收输出物:经审批人签字的《前置条件检查总表》PDF 扫描件,作为评估项目启动的唯一凭证,存入项目档案。