2. 可解释性基础:什么是模型可解释性、全局解释与局部解释、内在可解释性与事后可解释性
在进入变量衍生与分箱实战之前,必须先建立对“模型可解释性”的清晰认知。可解释性不是锦上添花,而是决定模型能否落地、能否被业务方信任、能否通过合规审查的核心能力。本章从定义出发,厘清全局与局部、内在与事后这两对核心维度,为后续的分箱与衍生策略提供理论锚点。
2.1 什么是模型可解释性
模型可解释性(Model Interpretability)是指人类能够理解模型为何做出特定预测或决策的程度。它回答两个关键问题:
- “为什么”:模型为什么给这个样本打高分/低分?
- “如何”:模型内部哪些特征、哪些规则主导了最终输出?
可解释性不是二值属性(有/无),而是一个连续谱。线性回归天然比深度神经网络更可解释,但并不意味着深度神经网络完全不可解释——通过事后方法(如SHAP、LIME)仍然可以获得局部解释。
业务视角提示: 在信贷风控、医疗诊断、金融反欺诈等强监管领域,模型可解释性往往是合规底线。即使模型AUC达到0.95,如果无法向监管方解释拒绝贷款的具体原因,该模型也无法上线。
2.2 全局解释 vs 局部解释
这是可解释性最基础的一对维度,区分了“看整体”与“看个体”两种视角。
| 维度 | 全局解释(Global) | 局部解释(Local) |
|---|---|---|
| 关注对象 | 整个模型的行为规律 | 单个预测样本的决策依据 |
| 典型问题 | “收入对违约概率的整体影响是正还是负?” | “为什么这个客户被拒绝?” |
| 常用方法 | 特征重要性、部分依赖图(PDP)、全局代理模型 | LIME、SHAP、BreakDown、个体条件期望(ICE) |
| 输出形式 | 排序列表、趋势曲线、决策树规则集 | 特征贡献瀑布图、力导向图、局部线性近似 |
| 适用场景 | 模型审计、特征筛选、业务策略制定 | 拒贷解释、异常检测、人工复核辅助 |
关键区分: 全局解释告诉你“收入越高,违约率越低”这个整体趋势;局部解释告诉你“这个客户虽然收入高,但因为近期查询次数过多且负债率超标,所以被拒绝”。两者互补,缺一不可。
2.3 内在可解释性 vs 事后可解释性
这一对维度区分了“模型本身是否透明”与“是否需要额外工具来解释”。
| 维度 | 内在可解释性(Intrinsic) | 事后可解释性(Post-hoc) |
|---|---|---|
| 定义 | 模型结构本身透明,可直接理解 | 模型是黑箱,需借助外部工具解释 |
| 典型模型 | 线性回归、逻辑回归、决策树、规则列表 | XGBoost、随机森林、神经网络、深度学习 |
| 解释方式 | 直接查看系数、树结构、规则 | SHAP、LIME、PDP、代理模型、梯度归因 |
| 优点 | 解释与模型一致,无近似误差 | 不限制模型选择,可解释复杂模型 |
| 缺点 | 模型表达能力受限,复杂任务效果差 | 解释是近似,可能存在不一致性 |
常见误区: 很多人认为“逻辑回归是内在可解释的,所以不需要做事后解释”。实际上,当逻辑回归包含大量交叉项、高阶项或经过复杂分箱后,其系数含义已经不再直观,此时仍然需要事后解释工具来辅助理解。内在可解释性不等于“免解释”。
2.4 两对维度的交叉组合
将全局/局部与内在/事后交叉,可以得到四种解释范式。理解这四种范式,有助于在实际项目中选择正确的解释策略。
| 全局(Global) | 局部(Local) | |
|---|---|---|
| 内在(Intrinsic) | 直接查看决策树的完整规则集; 查看线性模型的全部系数 |
查看决策树中某样本的路径; 查看线性模型中某样本的得分分解 |
| 事后(Post-hoc) | 对XGBoost计算全局特征重要性; 拟合全局代理决策树 |
对神经网络使用LIME; 对随机森林计算SHAP局部值 |
实战建议: 在风控建模中,通常采用“内在+事后”混合策略:使用逻辑回归或带分箱的评分卡(内在可解释)作为主模型,同时用SHAP(事后局部解释)辅助分析异常样本和边界案例。这样既满足监管对模型透明度的要求,又获得复杂交互效应的洞察。
2.5 为什么这对变量衍生与分箱很重要
变量衍生与分箱直接影响模型的可解释性。具体体现在以下三个层面:
- 分箱直接决定内在可解释性:好的分箱(如WOE编码、单调分箱)使得逻辑回归系数具有业务含义,每个分箱对应一个明确的评分贡献。坏的分箱(如过细分箱、非单调分箱)会破坏内在可解释性。
- 衍生变量影响事后解释的稳定性:高度相关的衍生变量会导致SHAP值不稳定,特征重要性被稀释。合理的衍生策略(如避免冗余、保持正交性)能提升事后解释的可靠性。
- 解释需求反推衍生方向:如果业务需要全局解释(如“整体上年龄如何影响风险”),则应优先保留单调分箱和线性可加特征;如果需要局部解释(如“为什么拒绝这个客户”),则应确保衍生变量具有独立业务含义,便于分解归因。
课程衔接: 后续章节将围绕“可解释性驱动的分箱”展开,包括WOE分箱、单调性约束、最优分箱算法等。理解本章的两对维度,是判断分箱方案好坏的理论基础。
2.6 本章小结
- 模型可解释性是理解模型决策原因的能力,不是二值属性,而是一个连续谱。
- 全局解释关注整体规律,局部解释关注个体决策,两者互补。
- 内在可解释性来自模型本身的透明结构,事后可解释性借助外部工具解释黑箱模型。
- 四种范式(内在+全局、内在+局部、事后+全局、事后+局部)覆盖了绝大多数解释场景。
- 变量衍生与分箱的质量直接影响模型的可解释性,是后续实战的核心基础。