📚 课程目录第4章模型验证证据体系

4. 模型验证证据体系

模型验证不是“跑一遍测试、出一份报告”就结束，而是一个以证据为核心的说理过程。验证结论能否被监管、审计、业务方和模型开发团队共同接受，取决于证据是否分类清晰、等级明确、数量充分、内容适当。本节围绕证据体系展开，帮助你把零散的测试结果、文档记录和专家判断，组织成一条可追溯、可复核、可辩护的证据链。

一、核心原理：证据是“主张—证据—结论”的桥梁

模型验证本质上是在回答若干验证主张，例如“模型在样本外表现稳定”“模型假设在当前业务下仍然成立”“模型输出对关键输入敏感且方向合理”。每一个主张都需要证据支撑。证据体系的核心原理可以概括为三点：

主张驱动：先明确要证明什么，再决定收集什么证据，避免“有什么数据就测什么”。
分层采信：不同来源、不同独立性的证据，证明力不同，不能等量齐观。
交叉印证：单一证据往往存在局限，充分性要求多源证据相互支持，适当性要求证据与主张直接相关。

证据体系的目标不是“证据越多越好”，而是“在可接受成本下，形成足以支撑验证结论的证据组合”。证据不足会导致结论脆弱，证据过度则造成验证资源浪费。

二、证据分类：按来源与性质划分

实践中，建议将模型验证证据分为五类，便于归档、检索和复核：

文档类证据：模型开发文档、需求说明书、方法论说明、数据字典、变更记录、审批记录。
数据类证据：训练集、验证集、测试集、时间外样本、压力情景数据、数据质量报告。
测试类证据：单元测试、回归测试、稳定性测试、敏感性分析、边界测试、对比测试的执行记录与结果。
监控类证据：上线后的性能监控、漂移监控、告警记录、人工复核抽样结果。
专家判断类证据：验证人员对假设合理性、方法适用性、结果可解释性的专业评审意见。

分类的价值在于：当某个验证主张受到质疑时，可以快速定位到对应类别的证据，判断是否需要补充或升级证据等级。

三、证据等级：从弱到强的采信阶梯

证据等级反映证据的独立性与客观性。通常可分为四级：

等级	证据类型	典型来源	采信强度
L1	独立复现证据	验证方独立重跑、独立数据集、第三方审计	最强，可直接支撑结论
L2	受控测试证据	验证方设计的测试用例、对比实验、敏感性分析	较强，需结合场景判断
L3	开发方自证证据	开发团队提供的测试报告、日志、指标截图	中等，需抽样复核
L4	专家判断与间接证据	经验评审、行业惯例、类比推理	较弱，通常作为辅助

等级并非绝对，关键在于“证据与主张的匹配度”。例如，对于“模型逻辑是否符合业务规则”这一主张，专家判断可能比一次统计测试更直接；而对于“模型在样本外是否过拟合”，独立复现证据则明显更强。

四、充分性与适当性判断原则

充分性关注“量”与“覆盖面”，适当性关注“质”与“相关性”。两者缺一不可。

充分性原则：证据应覆盖所有关键验证主张；应包含正常、边界和异常场景；应有多源证据交叉；应覆盖模型全生命周期关键节点。
适当性原则：证据来源可靠、方法科学、数据时效有效、结论可追溯；证据与主张之间存在直接逻辑关系，而非间接推测。
成本效益原则：在满足充分适当的前提下，优先选择成本更低、可复现性更强的证据组合。

判断口诀：先看相关性，再看可靠性，最后看数量。如果证据与主张不相关，数量再多也不能提升结论强度。

五、案例/场景：信贷评分模型验证证据组织

某银行对信贷评分模型进行年度验证，验证主张包括“模型区分能力未显著下降”“模型稳定性可接受”“模型假设仍符合当前客群”。验证团队组织证据如下：

主张1：区分能力未显著下降
  - L1：验证方独立计算近12个月KS、AUC，与开发方报告对比
  - L2：按客群分层做区分能力测试
  - L3：开发方提供的月度监控报表

主张2：模型稳定性可接受
  - L1：独立计算PSI，覆盖评分分布与关键变量
  - L2：时间外样本稳定性测试
  - L4：业务专家对客群变化的定性判断

主张3：模型假设仍符合当前客群
  - L2：假设检验与业务规则核对
  - L3：开发方假设文档
  - L4：专家评审意见

该案例中，L1证据用于支撑核心结论，L2用于补充场景覆盖，L3和L4作为辅助与交叉印证。若某一主张仅有L3证据，验证团队应要求补充独立测试或专家复核。

六、误区与复盘

常见误区：

把“测试通过”等同于“证据充分”，忽略覆盖面和独立性。
只收集支持结论的证据，回避不利证据，导致证据体系失衡。
证据等级混用，用L4专家判断直接替代L1独立复现。
证据与主张错配，例如用整体指标证明局部客群表现。
证据时效过期，仍用于当前版本模型验证。

复盘时建议逐条检查：每个验证主张是否有对应证据？证据等级是否足够？是否存在反例或未解释的异常？证据链是否可追溯至原始数据与执行记录？只有把这些问题回答清楚，模型验证结论才真正站得住脚。