3. SHAP核心概念：SHAP值的计算流程、特征贡献度与基准值
SHAP（SHapley Additive exPlanations）的核心思想源自博弈论中的Shapley值，它将模型的预测结果公平地分配到每一个输入特征上。理解SHAP值的计算流程、特征贡献度与基准值，是掌握后续阈值分层分析的基础。
3.1 核心三要素：基准值、特征贡献度与预测值
SHAP将模型对单个样本的预测值 f(x) 分解为三个部分：
| 要素 | 符号 | 含义 | 示例（房价预测） |
|---|---|---|---|
| 基准值 | E[f(X)] |
所有训练样本预测值的平均值，即“无信息时的默认预测” | 平均房价：50万元 |
| 特征贡献度 | φj |
第j个特征对该样本预测值的正向或负向贡献 | 面积贡献+20万，房龄贡献-5万 |
| 预测值 | f(x) |
基准值与所有特征贡献度之和 | 50 + 20 - 5 = 65万元 |
核心公式：
其中 φj 即为第j个特征的SHAP值。正数表示该特征将预测值“推高”于基准值，负数表示“拉低”。
f(x) = E[f(X)] + Σ φj
其中 φj 即为第j个特征的SHAP值。正数表示该特征将预测值“推高”于基准值，负数表示“拉低”。
3.2 SHAP值的计算流程
SHAP值的精确计算需要遍历所有可能的特征子集组合，计算复杂度为O(2M)，其中M为特征数量。实际应用中通常采用近似算法（如TreeSHAP、KernelSHAP）。以下是标准计算流程：
- 确定基准值：计算训练集所有样本预测值的均值
E[f(X)]。 - 选择目标样本：选定需要解释的单个样本
x。 - 枚举特征子集：对特征全集
F的所有子集S ⊆ F，计算包含/不包含特征j时的模型预测差异。 - 加权平均：对每个特征
j，按Shapley值公式加权平均所有子集下的边际贡献：
φ_j = Σ_{S ⊆ F\{j}} [ |S|! (|F|-|S|-1)! / |F|! ] × [ f(S ∪ {j}) - f(S) ]- 输出贡献向量：得到每个特征的SHAP值，正负号表示贡献方向。
实用提示：在XGBoost/LightGBM中，TreeSHAP算法利用树结构将复杂度从O(2M)降低到O(M·L2)（L为叶子节点数），使得SHAP值计算在工程上可行。
3.3 特征贡献度的解读规则
SHAP值提供了三种层次的解读视角，在阈值分层场景中尤其重要：
- 全局重要性：对所有样本的 |φj| 取平均，得到特征全局重要性排序。
- 局部解释：单个样本的 φj 解释“为什么这个样本被预测为当前值”。
- 方向性：正SHAP值表示特征值“推高”预测结果，负值表示“拉低”。
常见误区：SHAP值 ≠ 特征值本身。例如“面积=120㎡”的SHAP值+20万，是指“该样本的面积特征相对于基准值贡献了+20万”，而不是面积本身值20万。SHAP值衡量的是边际贡献，而非特征绝对值。
3.4 SHAP计算流程与分解结构图
下图展示了从基准值到最终预测值的完整SHAP分解路径，以及单个特征贡献度的计算逻辑：
3.5 基准值在阈值分层中的特殊作用
在阈值分层场景中，基准值 E[f(X)] 扮演着“全局参考点”的角色。当我们将样本按预测概率分层时，基准值决定了每个分层的“偏移基准”：
- 低分位层：多数特征的SHAP值为负，整体预测值低于基准值。
- 高分位层：多数特征的SHAP值为正，整体预测值高于基准值。
- 中位层：正负贡献相互抵消，预测值接近基准值。
阈值分层应用要点：
• 基准值是全局平均，不随分层变化。
• 每个分层的平均SHAP值之和 = 该分层平均预测值 - 基准值。
• 通过比较不同分层中同一特征的SHAP值分布，可以识别“特征效应随阈值变化”的非线性模式。
• 基准值是全局平均，不随分层变化。
• 每个分层的平均SHAP值之和 = 该分层平均预测值 - 基准值。
• 通过比较不同分层中同一特征的SHAP值分布，可以识别“特征效应随阈值变化”的非线性模式。
3.6 SHAP值计算与分层映射关系图
下图展示了SHAP值如何从样本级计算映射到阈值分层级的统计聚合：
3.7 关键概念对比总结
| 概念 | 定义 | 在阈值分层中的角色 | 计算方式 |
|---|---|---|---|
| 基准值 | 训练集预测均值 | 全局参考点，分层偏移的零点 | mean(f(X_train)) |
| 特征贡献度 | 单个特征的SHAP值 | 解释分层内预测偏移的来源 | Shapley值加权平均 |
| 预测值 | 基准值 + ΣSHAP | 分层划分的依据 | 模型直接输出 |
| 分层平均SHAP | 分层内所有样本SHAP的均值 | 量化特征在分层中的典型效应 | mean(φ_j | layer) |
实操要点：在Python中，使用
shap.TreeExplainer(model)计算SHAP值时，explainer.expected_value即为基准值，shap_values为每个样本的特征贡献度矩阵。后续章节将演示如何基于这些输出进行阈值分层分析。