4、SHAP值计算实战：基于树模型的SHAP值计算、基于线性模型的SHAP值计算、基于Kernel的SHAP值计算

SHAP（SHapley Additive exPlanations）值计算是模型可解释性的核心环节。不同模型类型对应不同的SHAP计算引擎，其计算效率与近似策略差异显著。本章聚焦三种主流计算路径：TreeSHAP（树模型）、LinearSHAP（线性模型）和KernelSHAP（模型无关），通过实战代码与原理剖析，帮助你在实际项目中正确选择计算方案。

4.1 三种SHAP计算引擎对比

在进入代码实战前，先通过下表建立对三种计算引擎的整体认知：

4.2 基于树模型的SHAP值计算（TreeSHAP）

TreeSHAP由Scott Lundberg等人于2018年提出，核心创新在于利用树结构的条件期望路径，将指数级复杂度降为多项式时间。以下展示基于XGBoost的完整计算流程：

4.2.1 训练树模型

import xgboost as xgb
import shap
import numpy as np
import pandas as pd
from sklearn.datasets import load_boston

# 加载数据
boston = load_boston()
X = pd.DataFrame(boston.data, columns=boston.feature_names)
y = boston.target

# 训练XGBoost回归模型
model = xgb.XGBRegressor(n_estimators=100, max_depth=4, random_state=42)
model.fit(X, y)

4.2.2 创建TreeExplainer并计算SHAP值

# 创建TreeExplainer（自动检测模型类型）
explainer = shap.TreeExplainer(model)

# 计算全部样本的SHAP值矩阵
shap_values = explainer.shap_values(X)

# 查看形状：(样本数, 特征数)
print(f"SHAP值矩阵形状: {shap_values.shape}")
print(f"特征列表: {X.columns.tolist()}")

# 对单个样本解释（第0个样本）
sample_idx = 0
sample_shap = shap_values[sample_idx]
base_value = explainer.expected_value
print(f"基准值 (base_value): {base_value:.2f}")
print(f"第{sample_idx}个样本的预测值: {model.predict(X.iloc[[sample_idx]])[0]:.2f}")
print(f"各特征SHAP值: {dict(zip(X.columns, sample_shap))}")

4.2.3 TreeSHAP计算原理

TreeSHAP避免了对所有特征子集进行枚举，而是通过以下路径实现高效计算：

• 路径跟踪： 对每个样本，沿决策路径记录每个节点使用的分裂特征。
• 条件期望： 利用训练数据分布计算到达某节点后的条件期望值。
• 递归分摊： 从根节点到叶节点，将预测值差异按Shapley权重递归分配给路径上的特征。

4.3 基于线性模型的SHAP值计算（LinearSHAP）

线性模型具有天然的加性结构，SHAP值可以直接从模型系数推导，无需采样或树遍历。LinearSHAP利用这一特性实现精确且极速的计算。

4.3.1 训练线性模型

from sklearn.linear_model import LinearRegression

# 训练线性回归模型
lin_model = LinearRegression()
lin_model.fit(X, y)

print(f"模型系数: {dict(zip(X.columns, lin_model.coef_))}")
print(f"截距项: {lin_model.intercept_:.2f}")

4.3.2 创建LinearExplainer并计算SHAP值

# 创建LinearExplainer（需传入训练数据作为背景分布）
lin_explainer = shap.LinearExplainer(lin_model, X, feature_perturbation="interventional")

# 计算SHAP值
lin_shap_values = lin_explainer.shap_values(X)

# 验证：线性模型SHAP值 = 系数 × (特征值 - 特征均值)
feature_means = X.mean().values
manual_shap = (X.values - feature_means) * lin_model.coef_
print(f"LinearSHAP与手动计算一致: {np.allclose(lin_shap_values, manual_shap)}")

# 单个样本解释
sample_lin_shap = lin_shap_values[0]
print(f"第0个样本的线性SHAP值: {dict(zip(X.columns, sample_lin_shap))}")

4.3.3 LinearSHAP数学原理

对于线性模型 f(x) = β₀ + β₁x₁ + ... + βₘxₘ，第j个特征的SHAP值为：

φⱼ(x) = βⱼ × (xⱼ - E[xⱼ])

其中E[xⱼ]是特征j在背景数据集上的期望值。基准值 φ₀ = β₀ + ΣβⱼE[xⱼ]，即背景数据集的平均预测值。

4.4 基于Kernel的SHAP值计算（KernelSHAP）

KernelSHAP是模型无关的通用SHAP计算方法，适用于深度学习、SVM、KNN等任意黑箱模型。其核心思想是将Shapley值计算转化为加权线性回归问题。

4.4.1 KernelSHAP计算流程

# 使用KernelExplainer（模型无关，适用于任意黑箱）
# 注意：KernelSHAP计算较慢，通常只对少量样本解释

# 定义预测函数（黑箱模型接口）
def predict_fn(x):
    return model.predict(x)  # 这里复用XGBoost模型作为示例

# 创建KernelExplainer（需指定背景数据集，通常取50-100个样本）
background = X.sample(50, random_state=42)
kernel_explainer = shap.KernelExplainer(predict_fn, background)

# 对少量样本计算SHAP值（KernelSHAP计算量大）
X_small = X.sample(5, random_state=42)
kernel_shap_values = kernel_explainer.shap_values(X_small, nsamples=100)

print(f"KernelSHAP值形状: {kernel_shap_values.shape}")

4.4.2 KernelSHAP核心参数

4.4.3 KernelSHAP算法原理

KernelSHAP通过以下步骤逼近Shapley值：

1. 特征子集采样： 随机生成特征子集S，用二进制向量z表示（1=特征存在，0=特征缺失）。
2. 模型预测： 对每个z，将缺失特征用背景数据采样填充，计算预测值f(z)。
3. 加权回归： 以Shapley核权重 π(z) = (M-1)! / (|S|!(M-|S|)!) 对样本加权，拟合线性模型。
4. 系数提取： 回归系数即为各特征的SHAP值近似。

4.5 实战对比：三种引擎计算结果一致性验证

以下代码在同一数据集上对比TreeSHAP、LinearSHAP和KernelSHAP的计算结果，验证其一致性：

# 对比三种引擎对同一模型（XGBoost）的计算结果
# 注意：KernelSHAP与TreeSHAP理论上应一致（当采样足够时）

# TreeSHAP（精确）
tree_shap = shap.TreeExplainer(model).shap_values(X_small)

# KernelSHAP（近似）
kernel_shap = shap.KernelExplainer(model.predict, background).shap_values(X_small, nsamples=500)

# 计算平均绝对差异
mae = np.mean(np.abs(tree_shap - kernel_shap))
print(f"TreeSHAP vs KernelSHAP 平均绝对差异: {mae:.4f}")

# 对线性模型：LinearSHAP vs KernelSHAP
lin_shap_exact = shap.LinearExplainer(lin_model, X).shap_values(X_small)
lin_kernel_shap = shap.KernelExplainer(lin_model.predict, background).shap_values(X_small, nsamples=500)
lin_mae = np.mean(np.abs(lin_shap_exact - lin_kernel_shap))
print(f"LinearSHAP vs KernelSHAP 平均绝对差异: {lin_mae:.4f}")

4.6 计算引擎选择决策树

根据模型类型和业务场景，按以下流程选择SHAP计算引擎：

• 步骤1： 判断模型是否为树集成模型（XGBoost/LightGBM/CatBoost/RF）？ → 是，使用 TreeExplainer
• 步骤2： 判断模型是否为线性模型（LR/Lasso/Ridge）？ → 是，使用 LinearExplainer
• 步骤3： 其他黑箱模型（DNN/SVM/KNN）？ → 使用 KernelExplainer
• 步骤4： 特征数 > 30且使用KernelSHAP？ → 设置 nsamples=500-2000，启用 l1_reg 稀疏化