4. 特征重要性进阶：Permutation Importance 的原理、实现与对比分析

在 LightGBM 等树模型中，内置特征重要性（Feature Importance）通常基于分裂增益或分裂次数计算。然而，这类指标存在明显的偏向性：高基数特征（如 ID 列、时间戳）容易获得虚高的重要性分数，且无法反映特征与目标变量之间的真实依赖关系。本节将系统讲解 Permutation Importance（排列重要性）——一种模型无关、基于扰动验证的特征评估方法，并对比其与内置重要性的差异。

4.1 为什么需要 Permutation Importance？

内置重要性（Gain / Split / Cover）的局限性：

• 偏向高基数特征：连续型或高基数离散特征更容易被选为分裂点，导致重要性虚高。
• 无法检测过拟合：即使模型在验证集上表现差，内置重要性仍可能很高。
• 缺乏统计显著性：没有置信区间或假设检验，难以判断重要性是否可靠。

4.2 算法原理与步骤

Permutation Importance 的计算流程如下表所示：

数学表达式：

Importance(j) = score_original − score_shuffled(j)

其中：
  score_original  = 模型在原始验证集上的评估指标
  score_shuffled(j) = 打乱第 j 列后模型在验证集上的评估指标

4.3 内联 SVG：Permutation Importance 计算流程

4.4 代码实现：使用 eli5 与 sklearn.inspection

以下展示两种主流实现方式：

4.4.1 基于 sklearn.inspection.permutation_importance

from sklearn.inspection import permutation_importance
import lightgbm as lgb
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split

# 生成示例数据
X, y = make_classification(n_samples=1000, n_features=10, random_state=42)
X_train, X_val, y_train, y_val = train_test_split(X, y, test_size=0.2, random_state=42)

# 训练 LightGBM 模型
model = lgb.LGBMClassifier(n_estimators=100, random_state=42)
model.fit(X_train, y_train)

# 计算 Permutation Importance
result = permutation_importance(
    model, X_val, y_val,
    n_repeats=10,          # 重复次数
    scoring='roc_auc',     # 评估指标
    random_state=42
)

# 输出结果
for i in range(len(result.importances_mean)):
    print(f"特征 {i}: 重要性={result.importances_mean[i]:.4f} ± {result.importances_std[i]:.4f}")

4.4.2 基于 eli5 库（更丰富的可视化）

import eli5
from eli5.sklearn import PermutationImportance

# 使用 eli5 的 PermutationImportance 包装器
perm = PermutationImportance(
    model,
    scoring='roc_auc',
    n_iter=10,
    random_state=42
)
perm.fit(X_val, y_val)

# 显示重要性表格
eli5.show_weights(perm, feature_names=[f'feature_{i}' for i in range(10)])

4.5 内置重要性 vs Permutation Importance 对比分析

4.6 内联 SVG：两种重要性机制对比

4.7 实践建议与注意事项

• 验证集独立：Permutation Importance 必须在验证集或测试集上计算，不能在训练集上使用（否则会低估重要性）。
• 重复次数：建议 n_repeats ≥ 5，以获取稳定的均值和标准差；对于关键特征，可增加到 10–20 次。
• 特征相关性：如果特征之间存在强相关性，打乱某一列后模型可能仍能从相关特征中获取信息，导致重要性被低估。此时可考虑 Conditional Permutation Importance 或 Drop-Column Importance。
• 负重要性处理：出现负重要性时，应检查特征是否包含噪声、是否过拟合，或验证集分布是否与训练集不一致。
• 计算效率：对于高维数据或大模型，Permutation Importance 的计算开销较大。可先使用内置重要性筛选 Top-K 特征，再对候选特征进行 Permutation Importance 验证。