3. 评估流程总图：输入物、主步骤、输出物、关键节点
3.1 适用场景
本流程适用于以下典型场景：
- 模型交付前质量门禁：在AI模型上线前，需要对模型输出的可信度进行系统性评估，判定是否达到交付标准。
- 模型迭代回归验证：每次模型版本更新后，通过标准化流程快速对比新旧版本的可信度变化。
- 异常输出溯源排查：当模型在生产环境中出现低置信度输出时，通过流程回溯定位问题环节。
- 第三方模型选型评测：对候选模型进行横向可信度对比，辅助采购或集成决策。
3.2 前置条件
| 类别 | 具体要求 | 验收方式 |
|---|---|---|
| 数据就绪 | 模型测试输出（至少1000条）、对应的参考标注数据、评估指标配置文件已就位 | 数据清单签字确认 |
| 环境就绪 | 评估计算环境（Python 3.8+ / 评估工具链）已部署，依赖包已安装 | 环境检测脚本通过 |
| 人员就位 | 数据工程师、算法工程师、质量评估师三方角色已分配，职责边界已确认 | 角色分工表签收 |
| 模板就位 | 评估记录表、异常登记表、报告模板已准备 | 模板版本号核对 |
3.3 操作步骤
下图展示了评估流程的全景，包含输入物、主步骤、关键节点和输出物之间的衔接关系：
整个评估流程按照“输入 → 校验 → 处理 → 再校验 → 输出”的闭环路径展开，共包含 4个主步骤 和 2个关键节点。以下对各步骤进行详细说明：
- 数据准备：收集模型原始输出与参考标注数据，按评估指标配置进行格式对齐、缺失值清洗和异常值过滤。输出“标准评估数据集”。
- 指标计算：根据配置的评估指标（准确率、精确率、召回率、F1、AUC等），在标准数据集上逐项计算，生成“指标原始得分表”。
- 置信度判定：基于指标得分与预设权重，通过加权综合算法计算置信度总分，并对照等级阈值映射为“高/中/低”可信度等级。
- 结果验证：采用交叉验证或抽样人工复核的方式，对置信度判定结果进行反向验证，确保判定结论可复现、无偏差。
操作要点： 步骤③“置信度判定”是整个流程的核心环节。建议在判定前先对指标得分做 Min-Max 归一化，避免量纲差异导致加权失衡。归一化公式为
(x - min) / (max - min)，其中 min/max 取自当前批次或历史基线。
3.4 输入输出物
| 类别 | 名称 | 格式/载体 | 责任方 |
|---|---|---|---|
| 输入物 | 模型原始输出 | CSV / JSON / 数据库导出 | 算法工程师 |
| 评估指标配置 | YAML / TOML 配置文件 | 质量评估师 | |
| 参考标注数据 | CSV / SQLite / 标注平台导出 | 数据工程师 | |
| 输出物 | 置信度评分报告 | PDF / HTML / Excel | 质量评估师 |
| 可信度等级 | 标签（高/中/低）+ 阈值依据 | 质量评估师 | |
| 异常标记记录 | CSV / 工单系统记录 | 数据工程师 |
3.5 责任边界
| 角色 | 职责范围 | 交付物 | 签字确认点 |
|---|---|---|---|
| 数据工程师 | 数据采集、格式校验、异常标记记录 | 标准评估数据集、异常标记记录 | 数据校验通过后 |
| 算法工程师 | 指标计算、置信度判定、阈值设定 | 指标原始得分表、置信度评分报告 | 判定结果输出后 |
| 质量评估师 | 流程监督、结果验证、等级终审 | 可信度等级终审结论、验收签字单 | 交叉验证通过后 |
⚠ 责任边界避坑： 算法工程师不得同时担任结果验证人，避免“自审自核”。质量评估师必须在关键节点②（阈值设定与交叉验证）完成后，方可签署终审结论。
3.6 记录材料
流程执行过程中须完整留存以下记录，作为可追溯依据：
- 数据校验记录表：记录原始数据量、缺失字段数、异常值处理方式、校验结论。
- 指标计算过程记录：包含各指标计算公式、中间数值、归一化参数、权重分配明细。
- 置信度判定报告：含综合得分、等级阈值、判定依据、软件版本及运行环境信息。
- 交叉验证记录：验证方法（K-Fold / 留出法）、验证集划分比例、复现结果偏差分析。
- 异常处理登记表：异常类型、发现时间、处理措施、处理人、闭环确认