3. XGBoost 基础回顾：核心原理与参数概览

在进入特征筛选实战之前，必须扎实理解 XGBoost 的底层运行逻辑。XGBoost 并非黑盒模型，其梯度提升框架、正则化目标函数以及树模型生长方式，直接决定了特征重要性的计算规则与筛选有效性。本节从原理到参数，为你建立完整的知识基线。

3.1 核心原理：梯度提升决策树

XGBoost 属于 集成学习中的 Boosting 流派，其核心思想是串行训练多棵决策树，每棵新树都去拟合前一棵树的残差（或梯度方向），最终将所有树的预测结果累加得到最终输出。

3.1.1 梯度提升框架

传统梯度提升机（GBM）在第 t 轮迭代时，目标是找到一棵树 f_t，使得损失函数下降最快。XGBoost 在此基础上做了两点关键改进：

• 二阶泰勒展开：同时利用损失函数的一阶导数（梯度）和二阶导数（海森矩阵），收敛速度更快、精度更高。
• 显式正则化：在目标函数中直接加入树复杂度惩罚项，防止过拟合。

3.1.2 树模型生长策略

XGBoost 采用 按层生长（Level-wise） 策略，而非 LightGBM 的按叶生长。每一层同时分裂所有叶子节点，然后通过 精确贪心算法 或 近似算法 寻找最佳分裂点。这种策略控制了树深度，配合正则化项，使模型更稳定。

3.2 核心参数概览

XGBoost 参数分为三类：通用参数、Booster 参数（树模型参数）、学习目标参数。下表列出特征筛选中最关键的 6 个参数：

3.3 参数联动与筛选策略

特征筛选时，参数不是孤立调节的，而是形成一组 联动关系。下图展示了核心参数如何影响特征重要性的计算与稳定性：

3.4 参数调优建议（特征筛选场景）

特征筛选与模型调优的目标不同：筛选追求 特征排序的稳定性，而非极致预测精度。因此参数设置应偏向保守：

1. n_estimators 配合早停：设置较大值（如 500~1000），配合 early_stopping_rounds=50，让模型自动收敛，避免手动猜测最优轮数。
2. 降低学习率：learning_rate=0.05~0.1，使每棵树贡献更平滑，特征重要性不易被单棵树主导。
3. 限制树深度：max_depth=4~6，防止深层树过度捕捉噪声特征。
4. 开启列采样：colsample_bytree=0.6~0.8，强制模型在不同特征子集上学习，提升重要性排序的泛化能力。

3.5 代码示例：基础训练与参数设置

以下代码展示如何在 Python 中初始化 XGBoost 分类器，并设置上述核心参数：

import xgboost as xgb
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split

# 生成示例数据
X, y = make_classification(n_samples=1000, n_features=20, random_state=42)
X_train, X_val, y_train, y_val = train_test_split(X, y, test_size=0.2, random_state=42)

# 初始化 XGBoost 分类器（特征筛选推荐配置）
model = xgb.XGBClassifier(
    n_estimators=500,          # 迭代轮数
    learning_rate=0.05,        # 学习率
    max_depth=5,               # 树深度
    subsample=0.8,             # 行采样
    colsample_bytree=0.7,      # 列采样
    reg_lambda=1.0,            # L2 正则化
    early_stopping_rounds=50,  # 早停轮数
    eval_metric='logloss',     # 评估指标
    random_state=42
)

# 训练模型（使用验证集早停）
model.fit(
    X_train, y_train,
    eval_set=[(X_val, y_val)],
    verbose=False
)

# 查看特征重要性（默认基于增益）
importance = model.feature_importances_
print("特征重要性（Gain）:", importance[:5])