第三章 Shapley值的数学原理归纳总结

说实话，很多教程一上来就扔公式，把 Shapley 值讲得像天书。但搞懂它，你才能真正明白 SHAP 为什么能给出每个特征的贡献值。我个人习惯从“分钱”的场景切入——你想想看，几个合伙人一起干活，最后赚了一笔钱，怎么分才公平？Shapley 值就是数学上唯一满足公平性公理的分配方案。在机器学习里，这些“合伙人”就是特征，“赚的钱”就是模型预测值。

核心公式与符号约定

Shapley 值计算每个特征在团队中的平均边际贡献。公式长这样，但别怕，后面我会拆开讲：

φ_i(v) = Σ_{S ⊆ N \ {i}} [ (|S|!(n-|S|-1)! / n!) × (v(S ∪ {i}) - v(S)) ]

我来解释一下这些符号：

  • N – 所有特征的集合，总共有 n 个特征。
  • S – 不包含特征 i 的任意一个特征子集。
  • v(S) – 特征子集 S 的“价值”，在模型中就是指只用 S 中的特征时模型的预测值（或期望输出）。
  • v(S ∪ {i}) - v(S) – 把特征 i 加入子集 S 后带来的边际贡献。
  • (|S|!(n-|S|-1)! / n!) – 权重，表示在所有可能的特征排列中，特征 i 恰好排在第 |S|+1 个位置的概率。

说白了，Shapley 值就是：枚举所有可能的特征组合，计算特征加入每个子集时带来的变化，再取平均。我在第一次给业务同事解释时，用的比方是一桌人吃饭分账单——谁点的菜贵，就该多付钱，但每个人对总账单的贡献需要公平量化。Shapley 值就是那个公平账本。

关键理解： 权重公式中的阶乘保证了每个可能的“加入顺序”被等概率对待。就是说，不管特征 A 是第一个进来还是最后一个进来，它对最终模型的影响权重要公平折算。

直观理解：边际贡献的平均

光看公式容易晕，我们玩一个三个特征的简单例子。假设模型只有特征 A、B、C，我们要算特征 A 的 Shapley 值。

先列出所有不包含 A 的子集：空集、{B}、{C}、{B,C}。对每个子集，分别计算加入 A 前后的模型输出。然后乘上权重，最后加总。

子集 S |S| v(S) v(S ∪ {A}) 边际贡献 权重 加权值
空集00.00.50.52/60.167
{B}10.30.90.61/60.100
{C}10.20.70.51/60.083
{B,C}20.81.20.42/60.133

最后把加权值加起来：0.167 + 0.100 + 0.083 + 0.133 = 0.483，这就是特征 A 的 Shapley 值。

你发现没有？即使特征 A 在某个子集中边际贡献很大，但因为出现这种顺序的概率低，平均下来反而平滑了。这正是 Shapley 值的魅力——它惩罚极端情况，奖励稳定贡献。

三大公理拆解

Shapley 值之所以被公认为“公平分配”，是因为它满足以下公理。我曾经给刚入行的同事画过一张图，今天也整理成表格：

公理 含义 机器学习中的应用
对称性 如果两个特征在所有子集中的边际贡献相同，则它们的 Shapley 值相等。 完全共线的特征（比如复制列）会被分配相同的贡献，帮我们发现冗余。
有效性 所有特征的 Shapley 值之和等于总产出减去基准值。 基准值通常取所有特征都不存在时的期望预测。这个特性让我们能解释预测值为何偏离平均。
可加性 如果两个独立模型合并，特征的 Shapley 值等于两个模型分别计算的 Shapley 值之和。 这在多任务学习或集成模型中很实用，可以拆分不同阶段的贡献。

我的小窍门： 有效性公理是调试 SHAP 汇总图的利器。如果你用 SHAP 对某个样本计算，所有特征的 SHAP 值加起来不等于预测值减基线，那说明代码或背景集有 bug。遇到这情况我至少碰过三次，每次都靠这个公理抓出问题。

与机器学习模型的连接

到这里公式和公理都懂了，但怎么和模型搭上关系？关键在于定义 v(S)。在机器学习中，v(S) 表示特征子集 S 下的期望模型输出。具体做法是：

  • 固定集合 S 中的特征为实际样本取值。
  • 对不在 S 中的特征，用背景数据集（一般是训练集）的分布进行采样或积分，从而得到 v(S)。

这个过程也叫“特征遮蔽”。我个人习惯用 50~100 个随机背景样本，然后取平均。如果背景样本太少，Shapley 值方差会很大，画出来的汇总图就特别抖。我踩过这个坑，后来把背景集从 10 个加到 200 个，结果稳定多了。

注意： 当特征之间高度相关时，这种“遮蔽”操作可能会产生不存在的样本（例如一个人年龄 10 岁但工龄 30 年）。这会导致 Shapley 值失真。我自己被这个问题搞过两次——模型明明很准，但 SHAP 图却显示某个特征贡献为负，查了半天发现是背景采样导致样本外推。后来我改用条件分布采样或直接限制特征范围，才解决了。

计算复杂度与近似方法

但算一下就知道，如果特征有 10 个，子集数量是 2^10 = 1024。如果是 50 个特征，2^50 这个数字宇宙都装不下。实际模型中特征经常上百，我们不可能枚举所有子集。

所以必须用近似。最主流的是 KernelSHAP，它把 Shapley 值转化为一个加权线性回归问题：

1. 随机采样 M 个特征子集（例如 M=2048）
2. 对每个子集，计算 v(S) 和 v(S ∪ {i}) 的估计（用背景样本）
3. 构造权重矩阵（子集大小的函数）
4. 解加权线性回归，得到每个特征的系数，即为近似 Shapley 值

此外还有一种思路叫“蒙特卡洛排列法”，每次随机打乱特征顺序，逐个加入并记录边际贡献，最后对多次模拟取平均。这两种方法在 SHAP 库中都有实现，默认是用 KernelSHAP。

实践建议： 如果特征少于 20 个，并且你对精度要求高，可以开启 exact=True 计算精确 Shapley 值。超过 20 个就用近似，采样数设置 500~2000 即可，再大边际收益递减。我一般设置 1024，速度和精度都满意。

数学原理的全景图

下面这张 SVG 把整章的核心逻辑串起来：从合作博弈的场景，到 Shapley 值的计算过程，再到机器学习实践中的注意事项。

Shapley值数学原理全貌 合作博弈分配问题 多个玩家共同创造收益 Shapley值公式 φ_i = Σ_{S⊆N\{i}} w(|S|)Δ_i(S) w = |S|!(n-|S|-1)! / n! Δ_i(S)=v(S∪{i})-v(S) 对称性 有效性 可加性 机器学习映射 特征→玩家；预测值→收益；子集S→遮蔽 计算量爆炸 2^n 子集枚举不可行 实用近似方法 KernelSHAP / 蒙特卡洛 最终输出：SHAP值

避坑指南（我踩过的雷）

这一节我掏心窝子讲几个真实翻车现场。

  1. 特征独立假设。 许多 SHAP 实现默认假设特征独立，但真实数据中相互依赖才是常态。我曾经在信用评分模型里发现“年龄”和“收入”高度相关，SHAP 图显示其中一个贡献异常。后来改用 TreeSHAP（基于树的模型原生处理依赖），结果正常了。如果你用线性模型，最好用条件分布类采样，比如 marg_fix 模式。
  2. 背景集太小。 我刚开始做 SHAP 时贪快，只取 20 个背景样本。SHAP 汇总图每次运行都不一样，简直没法用。后来把背景集增大到 200，图形才稳定。建议至少 100 个，500 个更好。
  3. 模型非线性太强时，近似误差大。 KernelSHAP 本质是线性近似，如果模型有强交互或高次项，近似 Shapley 值可能偏离真实值。这时候要么用精确计算（特征少时），要么用 TreeSHAP。我自己做 NLP 模型时吃过亏，换 TreeSHAP 才准确。
  4. 忘记归一化。 Shapley 值是有量纲的，取决于模型预测值的尺度。如果你在比较不同模型的 SHAP 图，记得先归一化预测值到相同量纲。否则 A 模型 SHAP 值相差 10 倍，B 模型相差 0.1，其实只是预测值缩放不同。

压箱底忠告： 从来不要只靠 SHAP 图做特征剔除。所有特征重要性方法都有偏差，Shapley 值也不例外。我的流程是：先用 SHAP 汇总图获得直觉，再用置换重要性或交叉验证双重确认。记住，数学再美也要和业务逻辑对一遍。我见过一个模型把“用户 ID”识别为最强特征，SHAP 值也很高，但不可能用于实际预测——那就是过拟合。

以上就是 Shapley 值数学原理的完整梳理。从公平分钱到模型解释，概念一致、公式清晰、实践有坑。搞懂了这一章，你再看 SHAP 汇总图里的每一个条块、每一个颜色，就都能读出背后的数学意义了。下回用 SHAP 时，遇到看不懂的图，先想想这个公式和公理，也许答案就在里面。

← 上一章 📖 返回目录 下一章 →