📚 课程目录第2章可解释AI基础回顾

2. 可解释AI基础回顾：全局解释与局部解释的区别，LIME与SHAP的核心思想回顾

在深入阈值分层技巧之前，有必要先厘清可解释AI（XAI）的两大解释范式：全局解释与局部解释。同时，LIME 和 SHAP 作为当前最主流的局部解释方法，其核心思想是后续阈值分层策略的理论基石。本节将系统梳理这些基础概念，为后续实战操作建立统一的知识框架。

2.1 全局解释 vs 局部解释

全局解释与局部解释的核心区别在于解释范围与受众目标。全局解释回答“模型整体如何决策”，而局部解释回答“为什么对这个样本做出这个预测”。

维度	全局解释（Global）	局部解释（Local）
目标	理解模型整体行为、特征重要性排序、决策边界	解释单个预测结果的原因
适用场景	模型审计、合规审查、特征工程验证	单笔交易拒付解释、医疗诊断辅助、用户申诉
输出形式	全局特征重要性图、部分依赖图（PDP）、决策树近似	特征贡献瀑布图、LIME 权重列表、SHAP 力图
典型方法	Permutation Importance、Global Surrogate、PDP	LIME、SHAP、BreakDown
对模型透明度的要求	可高可低，黑箱模型也可通过代理模型解释	通常不依赖模型内部结构，仅需预测接口

实战提示：阈值分层技巧主要作用于局部解释层面。我们通过调整 SHAP/LIME 输出的解释置信度阈值，来筛选出“高可信度解释”与“低可信度解释”，从而分层处理不同质量的解释结果。全局解释通常作为前置分析，帮助我们确定哪些特征值得在局部解释中重点关注。

2.2 LIME 核心思想回顾

LIME（Local Interpretable Model-agnostic Explanations） 的核心思想是：在预测点附近拟合一个简单的可解释模型，来近似复杂黑箱模型的局部决策边界。

LIME 的工作流程可概括为以下步骤：

选择待解释样本：确定需要解释的单个预测实例 \( x \)。
生成扰动样本：在 \( x \) 的邻域内随机生成一组扰动样本 \( z_1, z_2, ..., z_n \)。
获取黑箱预测：将扰动样本输入原始黑箱模型，得到预测结果 \( f(z_i) \)。
计算相似度权重：根据扰动样本与原始样本的距离，赋予每个样本权重 \( \pi_x(z_i) \)（通常使用指数核函数）。
训练可解释模型：以扰动样本为训练数据，以黑箱预测为标签，以相似度权重为样本权重，训练一个简单的线性模型或决策树。
提取解释：从可解释模型中提取特征权重，作为对原始样本预测的局部解释。

关键公式：

解释 = argmin_{g ∈ G} L(f, g, π_x) + Ω(g)

其中：
- g：可解释模型（如线性回归）
- G：可解释模型族
- L：损失函数（衡量 g 在局部对 f 的近似程度）
- π_x：局部相似度核
- Ω(g)：模型复杂度惩罚（如 L1 正则化，控制解释的稀疏性）

LIME 的优势在于模型无关性和解释稀疏性，但缺点是解释不稳定：不同次扰动生成的解释可能差异较大。这正是阈值分层技巧需要解决的核心问题之一。

2.3 SHAP 核心思想回顾

SHAP（SHapley Additive exPlanations） 基于博弈论中的Shapley 值，将每个特征视为“玩家”，将模型预测视为“合作收益”。SHAP 的核心思想是：公平地将预测值分配到每个特征上，分配依据是特征在所有可能特征组合中的边际贡献。

SHAP 的关键特性包括：

加性特征归因：预测值 = 基线值 + 各特征 SHAP 值之和。
一致性（Consistency）：如果模型改变使得某个特征的边际贡献增加，其 SHAP 值不会减少。
局部准确性（Local Accuracy）：特征贡献之和等于预测值与基线值的差异。
缺失性（Missingness）：缺失特征的 SHAP 值为 0。

计算复杂度注意：精确计算 SHAP 值需要枚举所有 \( 2^N \) 个特征子集（N 为特征数），计算复杂度为指数级。实际应用中通常使用近似算法，如 TreeSHAP（针对树模型）、KernelSHAP（模型无关，基于 LIME 框架的改进）和 DeepSHAP（针对深度学习模型）。近似算法会引入近似误差，这也是阈值分层技巧需要处理的解释不确定性来源之一。

2.4 LIME 与 SHAP 的对比总结

对比维度	LIME	SHAP
理论基础	局部代理模型拟合	博弈论 Shapley 值
解释一致性	较低（依赖随机扰动）	较高（满足一致性公理）
计算效率	较快（线性复杂度）	较慢（指数复杂度，需近似）
解释稳定性	不稳定（不同运行结果可能不同）	相对稳定（近似算法仍有波动）
输出形式	特征权重（可正可负）	SHAP 值（可正可负，加性可解释）
适用模型	任何模型（仅需预测接口）	任何模型（KernelSHAP）；树模型（TreeSHAP 高效）
解释粒度	局部线性近似	精确的边际贡献分配

2.5 全局与局部解释的关系：一个统一的视角

全局解释与局部解释并非割裂的。通过聚合大量局部解释，可以推导出全局层面的特征重要性。例如，计算所有样本的 SHAP 值绝对值的平均值，即可得到全局特征重要性排序。这种“局部聚合全局”的思路，是阈值分层技巧的重要理论基础：我们可以在局部解释层面设置质量阈值，筛选出高质量的解释，再聚合得到更可靠的全局洞察。

2.6 解释的不确定性：阈值分层技巧的动机

无论是 LIME 还是 SHAP，其解释结果都包含不确定性：

LIME 的不确定性：来自随机扰动过程。不同随机种子、不同扰动幅度、不同可解释模型选择，都会导致解释结果变化。LIME 的 num_samples 参数直接影响解释稳定性。
SHAP 的不确定性：来自近似计算。KernelSHAP 的采样次数、TreeSHAP 的路径枚举近似、DeepSHAP 的梯度近似，都会引入误差。SHAP 的 nsamples 参数控制近似精度。

阈值分层技巧的核心动机正是：并非所有局部解释都具有相同的可信度。通过设定解释置信度阈值（如 LIME 的局部拟合优度 \( R^2 \)、SHAP 的收敛误差估计），我们可以将解释结果分为“高可信度解释”和“低可信度解释”，分别采取不同的处理策略。

阈值分层技巧的核心理念：

解释质量 = f(模型置信度, 局部近似误差, 特征贡献稳定性)

分层策略：
- 高可信度解释（阈值以上）：直接用于决策支持、用户展示、合规审计
- 低可信度解释（阈值以下）：标记为“需人工复核”、触发补充解释方法、或重新采样计算

2.7 本节要点总结

全局解释关注模型整体行为，局部解释关注单个预测原因，两者通过聚合可以相互转化。
LIME 通过局部代理模型实现解释，优点是模型无关、稀疏性好，缺点是解释不稳定。
SHAP 基于 Shapley 值实现公平特征归因，优点是满足一致性公理，缺点是计算复杂度高。
两种方法都存在解释不确定性，来源包括随机扰动、近似计算、参数选择等。
阈值分层技巧正是针对解释不确定性提出的解决方案：通过设定质量阈值，将解释结果分层处理，提高整体解释系统的可靠性和可用性。