4. 定义评分模型验证目标：区分度、校准度、稳定性、业务可解释性
4.1 适用场景
- 已完成MVP评分模型初步训练，需确定核心验证维度的场景。
- 模型上线前，需向评审方（风控、业务、合规）统一对齐评价标准的项目。
- 模型监控体系设计初期，需明确哪些统计量纳入常态化监控。
4.2 前置条件
- MVP评分模型已运行至少一轮完整训练/微调，输出评分分数。
- 已准备验证数据集（含实际表现标签），时间跨度不少于3个月。
- 已确定模型可解释性工具链（如SHAP、LIME或内置特征重要性）。
- 业务方已提供可接受的模型行为边界描述（如拒绝率上限、涨跌方向）。
4.3 操作步骤
本阶段按四维目标依次定义各自的量化标准与验收基线。建议以工作表形式记录每一步结论。
- 定义区分度要求：选择排序性指标（KS、AUC、Gini），设定最低可接受阈值（如KS≥0.3，AUC≥0.7）。
- 定义校准度要求：选择概率校准指标（对数损失、Brier分数、校准曲线斜率），设定容忍偏差范围（如Brier≤0.25，校准曲线斜率在[0.8,1.2]内）。
- 定义稳定性要求：选择群体稳定性指标（PSI、特征分布偏移检测），设定PSI<0.1为无显著偏移，0.1~0.25需人工复审。
- 定义业务可解释性要求：与业务方联合确定Top-N特征清单，要求每个特征方向性与业务认知一致；检查反事实解释可读性。
- 汇总为验证矩阵：将上述四维目标、指标、阈值填入标准表格，经技术负责人与业务方双签确认。
4.4 输入输出
| 类型 | 名称 | 说明 |
|---|---|---|
| 输入 | MVP评分模型 | 已训练并可输出概率分的模型对象 |
| 输入 | 验证数据集（含标签） | 独立样本，覆盖正常与极端业务场景 |
| 输入 | 业务可解释性需求文档 | 业务方明确的关键特征方向与可容忍的复杂程度 |
| 输出 | 验证目标四维定义表 | 区分度/校准度/稳定性/可解释性的指标、阈值、计算公式清单 |
| 输出 | 双签确认记录 | 技术负责人与业务方签字或电子签名的验证标准 |
4.5 责任边界
| 角色 | 职责 |
|---|---|
| 数据科学家 | 选定指标并计算初始阈值，提供可选阈值范围的业务敏感性分析 |
| 业务方代表 | 确认可解释性特征方向、拒绝率容忍度、校准误差的业务可接受程度 |
| 风控/合规 | 审核稳定性与可解释性标准是否符合监管要求（公平性、透明度） |
| 技术负责人 | 最终裁定四维目标的优先级与冲突解决方案，双签归档 |
4.6 记录材料
- 验证标准定稿表：包含指标名称、定义、计算公式、阈值、数据窗口、责任人。
- 会议纪要/决策日志：记录争议点（如区分度与可解释性冲突时的取舍推理）。
- 可解释性特征方向对照表：每个Top特征的正反向案例解释样例。
4.7 异常处理
异常情况1：业务方无法量化可解释性边界。
措施：由数据科学家提供2~3组简化的解释方案（如Top3特征线性模型替代），要求业务方以“是否可接受”形式给出绝对判断，避免模糊描述。
措施：由数据科学家提供2~3组简化的解释方案（如Top3特征线性模型替代），要求业务方以“是否可接受”形式给出绝对判断，避免模糊描述。
异常情况2：区分度与校准度阈值冲突（如高AUC对应高Brier分数）。
措施：锁定区分度为主指标（因排序能力对风控更重要），校准度设为“观察指标”，仅在Brier超过0.3时触发复审。
措施：锁定区分度为主指标（因排序能力对风控更重要），校准度设为“观察指标”，仅在Brier超过0.3时触发复审。
异常情况3：稳定性基线缺乏历史对比数据。
措施：使用开发集与验证集之间的PSI作为“代理基线”，并标注“待积累三个月线上数据后重定义”。
措施：使用开发集与验证集之间的PSI作为“代理基线”，并标注“待积累三个月线上数据后重定义”。
4.8 验收标准
- 四维目标均已明确量化指标与阈值，且不存在“待定”或“未定义”条目。
- 业务方与技术方已完成双签，记录材料归档至项目知识库。
- 可解释性检查样例通过至少一轮业务方盲测（业务方能正确解读正反例原因）。
- 所有异常情况已记录处理方案，并标识出需后续迭代监控的“待验证”项。