第1章 可信度评估概述
适用场景
Confidence判定并非在所有AI应用中都需要相同深度地执行，但在以下场景中属于强制环节：
| 场景类型 | 典型用例 | 判定紧迫度 |
|---|---|---|
| 高风险决策 | 医疗影像辅助诊断、自动驾驶感知系统、金融风控授信 | 极高（误判代价大） |
| 模型发布前审查 | 版本迭代回归测试、第三方模型选型对比 | 高（准入标准） |
| 合规性审计 | 欧盟AI法案合规、金融监管沙箱测试 | 强制（法律要求） |
| 开放域交互 | 智能客服、内容生成过滤 | 中（避免幻觉传播） |
注意： 对于非关键任务且模型输出可被用户轻松纠正的场景（如商品推荐排序），可适当降低Confidence判定频率，但仍需保留抽样监控机制。
前置条件
在执行Confidence判定前，需确保以下条件已满足：
- 目标模型就绪：已训练完成的模型，并明确当前模型版本号及训练数据范围。
- 评估数据集：具有标注真值（Ground Truth）的验证集或测试集，且数据分布与目标应用场景一致。
- 推理环境：稳定的硬件及软件栈，确保模型推理结果可复现。
- 阈值设定：已定义初步的置信度阈值（如默认为0.7），或明确需要动态阈值策略。
操作步骤
本章节定义Confidence判定的标准六步法：
- 步骤一：明确评估维度。确定需要评估的维度：分类置信度、回归不确定性、生成式模型一致性等。
- 步骤二：准备评估数据。加载测试集，确保数据格式与模型输入对齐。
- 步骤三：执行推理采集。批量运行模型，保留原始输出（Logits）及预处理/后处理中间结果。
- 步骤四：分数计算。根据模型类型选择计算方法（如Max Softmax、MC Dropout方差、熵等）。
- 步骤五：阈值对比与判定。将计算出的置信度分数与预设阈值对比，划分“可信”与“存疑”样本。
- 步骤六：输出与记录。生成判定报告，归档低置信度样本供人工复核。
核心原则： 置信度分数必须始终与模型的原始输出相关联，避免在未校准的情况下直接使用分数进行跨模型比较。
输入输出物
| 类型 | 名称 | 描述 | 格式规范 |
|---|---|---|---|
| 输入 | 目标模型 | 待评估的算法模型文件或API端点 | .pt / .onnx / RESTful API |
| 输入 | 评估数据集 | 包含输入及标准答案的测试集合 | JSONL / TFRecord / Parquet |
| 输入 | 置信度阈值配置文件 | 定义不同类别或场景下的阈值参数 | YAML / JSON |
| 输出 | 置信度判定报告 | 含总体分布、通过率、典型案例分析 | PDF / HTML Dashboard |
| 输出 | 高风险样本清单 | 所有Confidence低于阈值的样本详情 | CSV / Excel |
| 输出 | 模型可信度评分卡 | 量化评分，用于模型版本对比或发布决策 | Markdown / Confluence |
核心流程结构
责任边界
为确保评估流程的顺利执行，需要明确各角色职责：
| 角色 | 职责范围（RACI） |
|---|---|
| 算法工程师 | 负责任务A（模型封装与导出）与任务C（模型校准）。 |
| 评估工程师 | 负责任务B（数据集准备）与任务D（执行SOP及记录）。 |
| 技术负责人 | 负责审批阈值设定方案及最终判定报告，承担决策责任。 |
最佳实践： 建议采用双人复核制——评估工程师生成报告后，由另一名资深工程师随机抽取10%的低置信度样本进行一致性校验。
记录材料
每次评估任务需归档以下记录：
- 评估日志：包含模型版本、数据集版本、评估时间戳及环境配置。
- 置信度分布图：可视化展示置信度直方图及累计分布曲线。
- 阈值设定决议：记录阈值选取理由及业务方确认签字。
- 误判/低置信度样本集：抽取全部低置信度样本，打包为独立数据集供复盘。
异常处理
在执行Confidence判定时，可能遇到下列异常情况，需按预案处理：
| 异常情况 | 典型表现 | 处理预案 |
|---|---|---|
| 模型推理中断 | API超时 / OOM崩溃 | 启用指数退避重试策略（最多3次），并在日志中标记异常点。 |
| 置信度普遍偏低 | 大部分样本Confidence < 0.3 | 立即暂停评估，检查训练-测试数据分布是否存在偏移。 |
| 数据量不足 | 测试集样本数 < 1000 | 使用数据增强或蒙特卡洛方法生成置信区间，并在报告中明确标记“低数据量预警”。 |
验收标准
本章节对应的Confidence判定基础流程验收点如下：
- ☐ 评估任务已严格按照操作步骤六步法完整执行。
- ☐ 已生成包含置信度分布图的判定报告。
- ☐ 所有低置信度样本已被抽取、归档并进入人工复核流程。
- ☐ 异常处理记录完整，无未说明的缺失数据或中断。
- ☐ 阈值设定决议已获技术负责人审批。