📚 课程目录第2章 SHAP值基础回顾

2. SHAP 值基础回顾：数学定义、博弈论起源与加性特征归因原理

在构建基于 SHAP 的漂移告警策略之前，必须彻底理解 SHAP 值的底层逻辑。SHAP（SHapley Additive exPlanations）并非凭空创造的指标，而是将博弈论中的 Shapley 值 与机器学习模型的可解释性需求相结合的产物。本节将从博弈论起源出发，逐步推导其数学定义，并解释其核心的加性特征归因原理。

2.1 Shapley 值的博弈论起源

Shapley 值由诺贝尔经济学奖得主 Lloyd Shapley 于 1953 年提出，用于解决合作博弈中的收益分配问题。核心问题是：在一个由多个参与者组成的联盟中，如何公平地分配联盟获得的总收益？

Shapley 提出的公理体系确保了分配的公平性：

公理	含义	在模型归因中的映射
有效性	所有参与者的贡献之和等于联盟总收益。	所有特征的 SHAP 值之和等于模型预测值与基线预测值的差值。
对称性	如果两个参与者对所有不包含他们的子联盟贡献相同，则他们应获得相同的分配。	如果两个特征在所有特征子集下对模型输出的边际贡献相同，则它们的 SHAP 值相等。
虚拟性	如果某个参与者对任何联盟都没有贡献，则其分配应为零。	如果一个特征对模型输出没有任何影响，其 SHAP 值为 0。
可加性	如果两个独立的博弈合并，参与者在合并博弈中的分配等于其在两个独立博弈中分配之和。	对于两个独立的模型输出（如两个不同任务的预测），特征的 SHAP 值可以相加。

基于上述公理，Shapley 值给出了唯一的公平分配公式。对于参与者 i，其 Shapley 值 φ_i 定义为：

φ_i = Σ_{S ⊆ N \ {i}} [ |S|! * (|N| - |S| - 1)! / |N|! ] * [ v(S ∪ {i}) - v(S) ]

其中：

N 是所有参与者的集合，|N| 是参与者总数。
S 是不包含参与者 i 的任意子联盟。
v(S) 是联盟 S 的总收益（价值函数）。
v(S ∪ {i}) - v(S) 是参与者 i 加入联盟 S 时带来的边际贡献。
权重 |S|! * (|N| - |S| - 1)! / |N|! 表示所有可能的联盟排列顺序中，该边际贡献出现的概率。

  关键理解： Shapley 值本质上是参与者 i 在所有可能的联盟加入顺序下，其边际贡献的加权平均。这种全排列平均的方式彻底解决了特征交互带来的归因歧义。

2.2 SHAP 值的数学定义

将 Shapley 值引入机器学习，需要重新定义“参与者”和“收益”。在 SHAP 框架中：

参与者：模型的输入特征（如年龄、收入、风速等）。
收益（价值函数）：模型在给定特征子集下的预测值 f_x(S)。通常定义为条件期望 E[f(x) | x_S]，即只已知特征子集 S 的值时，模型预测的期望值。

因此，特征 i 的 SHAP 值 φ_i 的数学定义为：

φ_i = Σ_{S ⊆ F \ {i}} [ |S|! * (|F| - |S| - 1)! / |F|! ] * [ f_x(S ∪ {i}) - f_x(S) ]

其中 F 是所有特征的集合，f_x(S) 是特征子集 S 对应的模型预测值。

计算复杂度提示： 上述公式需要对所有 2^|F| 个特征子集进行遍历。当特征数量较多时（如 > 20），精确计算 SHAP 值是 NP 难的。实际应用中通常使用近似算法，如 KernelSHAP、TreeSHAP 或 DeepSHAP。

2.3 加性特征归因原理

SHAP 值属于加性特征归因方法（Additive Feature Attribution Methods）家族。这类方法的核心思想是：模型对单个样本 x 的预测值 f(x) 可以分解为一个基线值加上每个特征的贡献之和。

加性归因的通用形式为：

f(x) = φ_0 + Σ_{i=1}^{M} φ_i

其中：

φ₀ = E[f(x)]，即所有训练样本的平均预测值（基线值）。
φ_i 是特征 i 的 SHAP 值，表示该特征对当前预测相对于基线值的贡献。
M 是特征总数。

这种加性结构使得 SHAP 值具有以下重要性质：

局部保真性：对于每个样本，SHAP 值之和精确等于预测值与基线值的差异。
一致性：如果模型发生变化，使得某个特征的边际贡献增加（或保持不变），则该特征的 SHAP 值不会减少。
缺失性：如果特征 i 在模型中被忽略（即对任何子集都没有影响），则 φ_i = 0。

2.4 SHAP 与其他归因方法的对比

理解 SHAP 在归因方法谱系中的位置，有助于在实际项目中选择合适的工具。下表对比了 SHAP 与其他常见特征归因方法：

方法	理论基础	是否满足加性	是否考虑特征交互	计算效率	适用模型
SHAP	Shapley 值（博弈论）	是	是（全排列平均）	低（需近似）	任意模型
LIME	局部线性近似	是	有限（线性模型）	中	任意模型
特征重要性（Permutation）	置换检验	否（全局指标）	隐含	高	任意模型
Gradient × Input	梯度信号	是（仅对线性模型）	否	高	可微模型
DeepLIFT	反向传播参考值	是	部分	中	神经网络

实践注意： 虽然 SHAP 在理论上具有最优的公平性，但其计算成本较高。在漂移告警场景中，如果模型特征数量超过 50 且需要实时推理，建议使用 TreeSHAP（针对树模型）或 KernelSHAP 的近似版本。对于深度学习模型，DeepSHAP 是更高效的选择。

2.5 本节小结

SHAP 值的核心逻辑可以概括为三个层次：

博弈论根基：Shapley 值通过全排列平均的方式，公平地分配合作博弈中的总收益，满足有效性、对称性、虚拟性和可加性四大公理。
数学定义：将特征视为博弈参与者，模型预测值视为收益，SHAP 值即为每个特征在所有特征子集下的边际贡献的加权平均。
加性归因：SHAP 值将模型预测分解为基线值加上各特征贡献之和，这种线性结构使得我们可以独立分析每个特征对预测结果的影响，为后续的漂移检测提供了“逐特征监控”的理论基础。