4. XGBoost 核心参数详解（下）：学习任务、正则化与采样参数

在上一节中，我们深入探讨了 XGBoost 的通用参数与 Booster 参数，这些参数决定了树的结构与生长方式。本节将聚焦于控制模型学习目标、正则化强度以及数据采样策略的核心参数。这三类参数直接决定了模型“学什么”、“如何防止过拟合”以及“如何利用数据”，是调优过程中最常调整的杠杆。

4.1 学习任务参数：定义目标与评估标准

学习任务参数告诉 XGBoost 要解决什么问题（分类、回归、排序等），以及如何衡量模型的好坏。

4.1.1 objective：核心学习目标

objective 参数定义了模型的损失函数，是模型优化的直接目标。不同的任务类型对应不同的内置目标函数。

4.1.2 eval_metric：验证集评估指标

eval_metric 用于在验证集上评估模型性能，它不参与模型训练优化，仅用于监控和早停。可以同时指定多个评估指标。

4.2 正则化参数：控制模型复杂度

XGBoost 提供了三种正则化参数，分别从不同角度惩罚模型复杂度，防止过拟合。理解它们的差异是精细化调优的关键。

4.2.1 gamma：叶子节点分裂的最小损失下降

gamma 指定了节点分裂所需的最小损失函数下降值。只有当分裂带来的增益大于 gamma 时，分裂才会执行。

• 作用： 控制树的生长，值越大，算法越保守，树越浅。
• 范围： [0, ∞)，默认值为 0。
• 调优： 当模型过拟合时，适当增大 gamma 可以有效减少叶子节点数量。

4.2.2 lambda 与 alpha：L2 与 L1 正则化权重

这两个参数直接对叶子节点的权重（score）施加惩罚，类似于线性模型中的正则化。

4.3 采样参数：引入随机性防止过拟合

采样参数通过引入随机性，使每棵树看到的数据或特征不同，从而降低树之间的相关性，有效防止过拟合。这与随机森林的 Bagging 思想类似，但 XGBoost 提供了更细粒度的控制。

4.3.1 subsample：行采样（样本采样）

subsample 控制每棵树训练时使用的样本比例。每次构建一棵树时，都会从训练集中随机抽取一个子集。

• 默认值： 1.0（使用全部样本）。
• 典型范围： 0.5 ~ 0.8。
• 效果： 值越小，每棵树看到的样本越少，方差越大，但能有效降低过拟合。

4.3.2 colsample_bytree：列采样（特征采样）

colsample_bytree 控制每棵树训练时使用的特征比例。XGBoost 还提供了更细粒度的控制：colsample_bylevel（每层采样）和 colsample_bynode（每个节点采样）。

4.4 参数组合实践：一个调优示例

下面是一个结合了本节参数的 XGBoost 配置示例，展示了如何在实际项目中组合使用这些参数。

import xgboost as xgb

params = {
    # 通用参数
    'booster': 'gbtree',
    'nthread': 4,
    'verbosity': 1,

    # 学习任务参数
    'objective': 'binary:logistic',
    'eval_metric': 'auc',

    # 正则化参数
    'gamma': 0.3,
    'lambda': 1.0,
    'alpha': 0.1,

    # 采样参数
    'subsample': 0.8,
    'colsample_bytree': 0.7,
    'colsample_bylevel': 0.9,

    # 树结构参数
    'max_depth': 6,
    'min_child_weight': 1,
    'eta': 0.1,
}

dtrain = xgb.DMatrix(X_train, label=y_train)
dvalid = xgb.DMatrix(X_valid, label=y_valid)

model = xgb.train(
    params=params,
    dtrain=dtrain,
    num_boost_round=500,
    evals=[(dtrain, 'train'), (dvalid, 'valid')],
    early_stopping_rounds=50,
    verbose_eval=50
)

4.5 本节核心参数速查表