4. SHAP核心原理（下）：SHAP的四种估计方法

上一节我们建立了SHAP的博弈论基础与可加性框架。在实际工程中，直接计算精确的Shapley值需要遍历所有特征子集，复杂度为O(2^M)，这在特征数M>10时便不可接受。因此，SHAP提供了四种针对不同模型类型的近似估计方法，在精度与速度之间做出权衡。

4.1 四种估计方法概览

4.2 KernelSHAP：黑箱模型的通用解法

KernelSHAP将Shapley值的计算转化为一个加权线性回归问题。其核心思想是：对特征子集进行采样，计算每个子集的模型输出，然后用带权最小二乘拟合出每个特征的边际贡献。

# KernelSHAP 核心伪代码
def kernel_shap(model, x, M, T=2000):
    # 1. 生成采样子集
    subsets = sample_subsets(M, T)
    # 2. 计算每个子集的模型输出
    outputs = []
    for z in subsets:
        x_z = replace_missing(x, z)  # 用背景分布填充缺失特征
        outputs.append(model.predict(x_z))
    # 3. 计算SHAP核权重
    weights = shap_kernel_weights(subsets, M)
    # 4. 加权线性回归求解
    phi = weighted_linear_regression(subsets, outputs, weights)
    return phi

4.3 TreeSHAP：树模型的精确高效引擎

TreeSHAP利用决策树的路径结构，避免了枚举所有子集。它通过递归遍历每棵树的每个节点，统计特征在分裂路径中的贡献权重，实现了多项式时间内的精确计算。

# TreeSHAP 单棵树贡献计算（简化版）
def tree_shap_single(tree, x):
    # 递归遍历所有叶子节点
    def recurse(node, path_weight, feature_set):
        if node.is_leaf:
            return node.value * path_weight
        if node.feature in feature_set:
            # 特征已存在，走实际路径
            return recurse(node.child(x), path_weight, feature_set)
        else:
            # 特征缺失，加权平均左右分支
            w_left = node.cover_left / node.cover_total
            w_right = 1 - w_left
            left_val = recurse(node.left, path_weight * w_left, feature_set)
            right_val = recurse(node.right, path_weight * w_right, feature_set)
            return left_val + right_val
    # 对每个特征计算边际贡献
    phi = {}
    for feature in x.features:
        phi[feature] = compute_marginal(tree, x, feature)
    return phi

4.4 DeepSHAP：深度网络的层级归因

DeepSHAP基于DeepLIFT的思想，将SHAP值从输出层逐层反向传播到输入层。它假设每一层网络可以近似为线性变换，从而将Shapley值的计算分解为各层参数的线性组合。

# DeepSHAP 层级传播示意
def deep_shap(model, x, reference):
    # 1. 前向传播，记录每层激活值
    activations = forward_with_reference(model, x, reference)
    # 2. 从输出层开始反向传播SHAP值
    phi_output = model.output - model(reference)  # 总预测偏差
    for layer in reversed(model.layers):
        # 3. 根据层类型选择传播规则
        if layer.type == 'Dense':
            phi_input = linear_propagate(phi_output, layer.weights, activations)
        elif layer.type == 'ReLU':
            phi_input = relu_propagate(phi_output, activations)
        elif layer.type == 'Residual':
            phi_input = residual_propagate(phi_output, activations)
        phi_output = phi_input
    # 4. 最终得到输入特征的SHAP值
    return phi_output

4.5 LinearSHAP：线性模型的解析解

对于线性模型 y = β₀ + β₁x₁ + ... + βₘxₘ，SHAP值存在闭式解：每个特征的贡献等于其权重乘以该特征值与期望值的偏差。这是唯一不需要采样的估计方法。

# LinearSHAP 解析计算
def linear_shap(model, x, background_mean):
    # model.coef_ : 特征权重向量
    # model.intercept_ : 截距
    # x : 当前预测样本
    # background_mean : 背景数据各特征均值
    phi = {}
    for i, feature in enumerate(x.features):
        phi[feature] = model.coef_[i] * (x[feature] - background_mean[i])
    phi['base_value'] = model.intercept_ + sum(model.coef_ * background_mean)
    return phi

4.6 计算复杂度对比与选型决策

4.7 工程实践要点

• 缓存策略： 对于TreeSHAP和LinearSHAP，相同特征组合的SHAP值可缓存，减少重复计算。
• 降级机制： 当KernelSHAP采样时间超过阈值（如500ms），自动降级为特征重要性排序或返回近似值。
• 批量解释： 对于API批量请求，利用向量化计算（如TreeSHAP的shap.TreeExplainer.shap_values(X)）可提升10-50倍吞吐。
• 精度验证： 在模型上线前，使用LinearSHAP验证线性部分的SHAP值，确保实现正确。