3. SHAP 计算实战：使用 Python 的 shap 库计算单样本与全局 SHAP 值

本章是 SHAP 值监控的实操起点。我们将使用 Python 的 shap 库，分别计算单样本（局部解释）和全局（整体特征重要性）SHAP 值。理解这两种计算方式，是后续监控特征贡献漂移和阈值漂移的基础。

3.1 单样本 SHAP 值计算（局部解释）

单样本 SHAP 值回答的是：“对于这一个预测结果，每个特征贡献了多少？” 它基于 Shapley 值理论，为每个特征分配一个边际贡献值。

计算步骤：

1. 创建解释器：使用 shap.TreeExplainer(model) 为树模型创建解释器。
2. 计算单个样本：调用 explainer.shap_values(X_sample) 或 explainer(X_sample)。
3. 可视化：使用 shap.force_plot() 或 shap.waterfall_plot() 展示单个样本的特征贡献。

import shap
import xgboost as xgb
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split

# 1. 加载数据并训练模型
X, y = load_breast_cancer(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
model = xgb.XGBClassifier(n_estimators=100, random_state=42)
model.fit(X_train, y_train)

# 2. 创建 TreeExplainer
explainer = shap.TreeExplainer(model)

# 3. 选取测试集第一个样本
X_sample = X_test[:1]

# 4. 计算单样本 SHAP 值
shap_values_single = explainer.shap_values(X_sample)

# 5. 输出结果
print("单样本 SHAP 值形状:", shap_values_single.shape)
print("特征名称:", load_breast_cancer().feature_names)
print("SHAP 值:", shap_values_single[0])

# 6. 可视化（可选，在 Jupyter 中运行）
# shap.force_plot(explainer.expected_value, shap_values_single[0], X_sample, feature_names=load_breast_cancer().feature_names)

3.2 全局 SHAP 值计算（特征重要性）

全局 SHAP 值回答的是：“在整个数据集上，哪些特征对模型预测最重要？” 常用两种聚合方式：平均绝对 SHAP 值和SHAP 依赖图。

计算步骤：

1. 批量计算：对测试集或全量数据调用 explainer.shap_values(X)。
2. 聚合重要性：计算每个特征的平均绝对 SHAP 值（np.abs(shap_values).mean(axis=0)）。
3. 可视化：使用 shap.summary_plot() 或 shap.bar_plot() 展示全局特征重要性。

import numpy as np

# 1. 计算整个测试集的 SHAP 值
shap_values_all = explainer.shap_values(X_test)

# 2. 计算全局特征重要性（平均绝对 SHAP 值）
feature_names = load_breast_cancer().feature_names
global_importance = np.abs(shap_values_all).mean(axis=0)

# 3. 排序并输出 Top-5 特征
sorted_idx = np.argsort(global_importance)[::-1]
print("全局特征重要性（Top-5）：")
for i in range(5):
    idx = sorted_idx[i]
    print(f"  {i+1}. {feature_names[idx]}: {global_importance[idx]:.4f}")

# 4. 可视化（可选，在 Jupyter 中运行）
# shap.summary_plot(shap_values_all, X_test, feature_names=feature_names)
# shap.bar_plot(shap_values_all, X_test, feature_names=feature_names)

3.3 单样本 vs 全局 SHAP 对比