3. XGBoost 参数详解与调参策略

XGBoost 的参数体系是模型性能优化的核心。根据功能定位，参数可分为三大类：通用参数（控制宏观行为）、Booster 参数（控制每棵树的生成细节）和学习任务参数（控制优化目标与评估方式）。本章将逐一拆解，并给出经过工业验证的调参策略。

3.1 通用参数（General Parameters）

通用参数决定 Booster 的类型、线程数、日志输出等全局行为，通常在模型初始化时一次性设定。

3.2 Booster 参数（Booster Parameters）

Booster 参数直接控制决策树的生长方式、正则化强度与采样策略，是调参的主战场。

3.2.1 树结构控制参数

3.2.2 正则化与采样参数

3.3 学习任务参数（Learning Task Parameters）

学习任务参数定义优化目标、评估指标与类别权重，直接决定模型训练的方向。

3.4 调参策略：从粗调到精调

XGBoost 调参遵循“先粗后细、先树后正则”的原则。下面给出一个经过大量竞赛验证的调参流程。

1. 设定基线：使用默认参数训练一次，记录验证集 AUC 或 RMSE。
2. 调整学习率与迭代次数：将 eta 降至 0.05~0.1，通过早停法确定最优 num_boost_round。
3. 调整树结构：网格搜索 max_depth (3~8) 和 min_child_weight (1~10)。
4. 调整采样参数：依次搜索 subsample (0.6~1.0) 和 colsample_bytree (0.6~1.0)。
5. 调整正则化参数：搜索 lambda (0~10) 和 alpha (0~10)，进一步抑制过拟合。
6. 降低学习率再微调：将 eta 降至 0.01~0.03，增加迭代次数，做最终精调。

3.5 参数交互关系与调参路径

下图展示了 XGBoost 参数之间的交互关系以及推荐的调参路径，帮助你在实际项目中快速定位问题。

3.6 调参实战代码模板

以下代码展示了使用 XGBoost 原生 API 进行参数搜索与早停的标准流程，可直接用于分箱前的模型训练。

import xgboost as xgb
from sklearn.model_selection import GridSearchCV

# 1. 准备 DMatrix 格式数据
dtrain = xgb.DMatrix(X_train, label=y_train)
dvalid = xgb.DMatrix(X_valid, label=y_valid)

# 2. 设定基线参数
params = {
    'booster': 'gbtree',
    'objective': 'binary:logistic',
    'eval_metric': 'auc',
    'eta': 0.1,
    'max_depth': 5,
    'min_child_weight': 3,
    'subsample': 0.8,
    'colsample_bytree': 0.8,
    'lambda': 1.0,
    'alpha': 0.0,
    'seed': 42,
    'verbosity': 1
}

# 3. 使用早停法训练
model = xgb.train(
    params,
    dtrain,
    num_boost_round=1000,
    evals=[(dtrain, 'train'), (dvalid, 'valid')],
    early_stopping_rounds=50,
    verbose_eval=50
)

# 4. 输出最佳迭代次数
print(f"最佳迭代轮数: {model.best_iteration}")
print(f"最佳验证集 AUC: {model.best_score}")