第 3 章 质量维度拆解
适用场景
本流程适用于 AI 产品验收阶段，对模型或系统的 准确性、可靠性、性能、公平性 进行量化衡量。典型场景包括但不限于：
- 预训练模型与微调模型的上线前验收
- 实时推理服务（如对话、推荐、OCR）的 SLA 校验
- 涉及敏感属性（性别、种族）的公平性审计
- 模型迭代升级后的回归测试
前置条件
- 已完成需求分析与功能验收（第 2 章）
- 标注或生产数据集已准备，包含正负样本与真实标签
- 系统接口（REST/gRPC）或模型导出文件已可用
- 测试环境与生产环境规格一致（CPU/GPU/内存）
- 已定义各维度的预期阈值（基线）
操作步骤
- 拆分质量维度 – 将验收范围划分为七个核心维度：准确率、召回率、精度、鲁棒性、公平性、延迟、吞吐量。
- 定义计算公式 – 为每个维度制定明确的计算方式（见下表）。
- 确定测试数据 – 为每个维度选取对应的测试集（如对抗样本用于鲁棒性，敏感属性子集用于公平性）。
- 执行测量 – 调用模型/API 获得预测结果，并记录原始日志。
- 汇总与对比 – 将实测值与基线对比，标记未达标项。
七维度定义与典型阈值
| 维度 | 定义 | 计算公式 | 典型阈值 |
|---|---|---|---|
| 准确率 | 正确预测占总样本比例 | (TP+TN)/(TP+TN+FP+FN) | ≥ 90% |
| 召回率 | 正确预测的正样本占所有真实正样本比例 | TP/(TP+FN) | ≥ 85% |
| 精度 | 正确预测的正样本占所有预测为正样本比例 | TP/(TP+FP) | ≥ 88% |
| 鲁棒性 | 对输入噪声/扰动的耐受度 | 在对抗样本上的准确率保持率 | 下降 ≤ 5% |
| 公平性 | 不同敏感群组间的性能差异 | 准确率/召回率组间最大差值 | ≤ 3% |
| 延迟 | 单次请求的推理时间（p99） | 实测 p99 延迟 | ≤ 200 ms |
| 吞吐量 | 单位时间处理的请求数 | QPS（每秒查询数） | ≥ 1000 |
输入输出物
| 类型 | 内容 | 来源/去向 |
|---|---|---|
| 输入 | 需求文档、模型文件、测试数据集、基线阈值表 | PM / 算法团队 |
| 输出 | 《质量维度验收报告》（含各维度实测值、对比结论、未达标清单） | QA 归档 |
责任边界
- 产品经理（PM） – 定义维度优先级与可接受阈值。
- 算法工程师 – 提供计算公式、对抗样本生成方法、模型可解释性说明。
- 测试工程师（QA） – 搭建测评脚本、执行测量、输出报告。
- 运维（SRE） – 提供生产环境延迟/吞吐量基线。
记录材料
验收过程中需留存的文档和日志：
- 测量脚本与配置文件（如
evaluate.py、config.yaml） - 原始预测结果日志（JSON Lines 格式）
- 各维度计算中间表（混淆矩阵、延迟分布直方图）
- 未达标项的复测记录
异常处理
常见异常与应对措施：
- 数据泄露：验证集混入训练样本 → 重新划分数据集并重新测量。
- 延迟抖动：网络/资源竞争导致 p99 波动 → 连续执行 3 次并取最大值。
- 公平性基线冲突：不同敏感群组间召回率差异 > 5% → 启动偏见缓解算法（如 re-weighting）并复测。
- 鲁棒性阈值低于预期：对抗样本准确率大幅下降 → 记录攻击强度与模型脆弱点，反馈给算法团队。
验收标准
所有维度必须同时满足以下条件方可进入下一阶段：
- 实测值 ≥ 基线阈值（或 ≤ 基线阈值，如延迟）。
- 未达标维度数 ≤ 1，且该维度偏差 ≤ 基线阈值的 10%。
- 公平性组间差异 ≤ 3%（若需求中未定义则默认为 5%）。
- 鲁棒性下降 ≤ 5%，且未出现系统性误判（如所有对抗样本均被预测为同一类）。
七维度全景图
提示： 实际验收时，可根据产品类型对维度加权（如对话系统重点看延迟/公平性，分类模型重点看准确率/召回率/精度）。