3. SHAP值计算实战：使用shap库计算单样本SHAP值、force_plot可视化、特征贡献分解

在掌握SHAP的理论基础后，本章进入实战环节。我们将使用Python的shap库，以XGBoost模型为例，完成单样本SHAP值的计算、force_plot可视化以及特征贡献的量化分解。这些操作是后续构建漂移告警策略的核心数据管道。

3.1 环境准备与模型训练

首先确保已安装必要的库。推荐使用shap 0.40+版本，配合xgboost 1.7+。

# 安装命令（在终端执行）
# pip install shap xgboost pandas numpy matplotlib

import shap
import xgboost as xgb
import pandas as pd
import numpy as np

# 加载示例数据集（UCI Adult收入数据集）
X, y = shap.datasets.adult()
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 训练XGBoost分类器
model = xgb.XGBClassifier(n_estimators=100, max_depth=4, learning_rate=0.1, random_state=42)
model.fit(X_train, y_train)
print("模型训练完成，准确率: {:.3f}".format(model.score(X_test, y_test)))

3.2 单样本SHAP值计算

SHAP库提供了两种核心解释器：TreeExplainer（针对树模型）和KernelExplainer（模型无关）。对于XGBoost/LightGBM等树模型，必须使用TreeExplainer，其计算效率比KernelExplainer快数百倍。

# 创建TreeExplainer对象
explainer = shap.TreeExplainer(model)

# 计算测试集前5个样本的SHAP值
shap_values = explainer.shap_values(X_test[:5])

# 查看第1个样本的SHAP值
sample_idx = 0
print("样本索引:", sample_idx)
print("真实标签:", y_test.iloc[sample_idx])
print("模型预测概率:", model.predict_proba(X_test.iloc[[sample_idx]])[0][1])
print("\n特征SHAP值（正值为推动预测为1，负值为推动预测为0）:")
feature_shap = pd.DataFrame({
    '特征': X_test.columns,
    'SHAP值': shap_values[sample_idx],
    '特征值': X_test.iloc[sample_idx].values
}).sort_values('SHAP值', key=abs, ascending=False)
print(feature_shap.to_string(index=False))

输出示例（前5个特征）：

3.3 force_plot可视化：单样本解释

force_plot是SHAP最具代表性的可视化工具，它将单样本的特征贡献以“力场”形式展示，红色箭头表示正向推动，蓝色箭头表示负向推动。

# 计算基值（base_value）
base_value = explainer.expected_value

# 绘制第1个样本的force_plot
shap.force_plot(base_value, shap_values[sample_idx], X_test.iloc[sample_idx], matplotlib=True)

下图展示了一个典型的高收入样本force_plot结构：

3.4 特征贡献分解：从SHAP值到业务归因

单样本SHAP值的核心价值在于将模型决策分解为每个特征的独立贡献。以下公式是理解分解逻辑的关键：

f(x) = base_value + Σ SHAP_j(x)

其中：

• f(x)：模型对该样本的原始输出（对于分类模型，是log-odds或概率）
• base_value：所有样本的平均预测值（即模型在无任何特征信息时的预期输出）
• SHAP_j(x)：第j个特征对该样本的边际贡献

以下代码演示如何手动验证分解正确性：

# 验证分解公式
base_value = explainer.expected_value
pred_proba = model.predict_proba(X_test.iloc[[sample_idx]])[0][1]
pred_log_odds = np.log(pred_proba / (1 - pred_proba))

# 计算SHAP值之和
shap_sum = np.sum(shap_values[sample_idx])

# 验证：base_value + shap_sum ≈ pred_log_odds
print("基值 (base_value): {:.4f}".format(base_value))
print("SHAP值之和: {:.4f}".format(shap_sum))
print("基值 + SHAP和: {:.4f}".format(base_value + shap_sum))
print("模型log-odds输出: {:.4f}".format(pred_log_odds))
print("偏差: {:.6f}".format(abs(base_value + shap_sum - pred_log_odds)))

输出验证：

3.5 批量SHAP值计算与特征重要性排序

单样本解释是基础，但在漂移监控场景中，我们需要对整个批次或时间窗口内的样本计算SHAP值，以观察特征贡献的分布变化。

# 计算整个测试集的SHAP值（注意：大数据集建议抽样）
shap_values_full = explainer.shap_values(X_test)

# 计算每个特征的平均绝对SHAP值（全局重要性）
mean_abs_shap = np.mean(np.abs(shap_values_full), axis=0)
feature_importance = pd.DataFrame({
    '特征': X_test.columns,
    '平均|SHAP|': mean_abs_shap
}).sort_values('平均|SHAP|', ascending=False)

print("全局特征重要性（按平均|SHAP|排序）:")
print(feature_importance.to_string(index=False))

下图展示了批量SHAP值计算与特征重要性排序的完整流程：

3.6 实战避坑清单

根据大量生产环境经验，以下列出SHAP值计算中最常见的错误及解决方案：