XGBoost 的核心特性

做信用评分这行，模型选型我测试过不少。XGBoost 能成为工业界标配，靠的可不只是“树多就强”。它里面几个核心设计，每个都是针对性优化。今天我把这几年实战里觉得最关键的五个特性拆开聊聊。

1. 二阶导数近似 —— 步子踩得更准

传统梯度提升树（GBDT）只用一阶导数（梯度）来指导建树。说白了，就像你蒙着眼走路，只知道下坡方向，但不清楚坡度有多陡。XGBoost 引入了二阶导数，相当于你不仅知道方向，还知道坡度的变化率——步长可以更精准。

我在做一个评分卡项目时，数据量不到 5 万条，特征相关性还强。用 GBDT 调了半天总是过拟合，换 XGBoost 之后损失下降曲线明显更平滑。为什么？因为二阶项本质上是损失函数的曲率信息，它能控制分裂增益更严谨，避免乱切。

Gain = ½ * (GL²/(HL+λ) + GR²/(HR+λ) - (GL+GR)²/(HL+HR+λ)) - γ

2. 列抽样 —— 每棵树只见部分特征

你想想看，随机森林里用行抽样（bootstrap），XGBoost 更进一步：每次建树时，允许只随机选一部分特征列来考虑分裂。这能有效降低特征之间的共适应性，也就是每棵树不会只盯着那几个强特征。

我之前遇到过一个场景：原始数据有 200 个特征，其中 3 个强特征直接跟违约率挂钩，其余全是噪声。如果不做列抽样，后面生成的树基本都在用那 3 个特征分来分去，泛化极差。开启列抽样后，模型被迫去噪声里找“弱信号”，反而提升了验证集 AUC。

3. 并行化 —— 不是树并行，是特征并行

很多人一听“并行化”就以为 XGBoost 能同时训练多棵树。错。GBDT 家族天生是串行——后一棵树依赖于前一棵的残差。XGBoost 的并行指的是：在同一节点内，对多个特征同时枚举候选分裂点。

它会把特征排序后存成 Block 结构（按列压缩的稀疏矩阵）。每个 Block 可以独立计算分裂增益。我原来用单核跑一个 30 万行 × 500 维的数据，调参要 40 分钟；后来把 nthread 设到 8，时间降到 7 分钟。提速效果非常明显。

# Python 示例
import xgboost as xgb

params = {
    'objective': 'binary:logistic',
    'max_depth': 6,
    'nthread': 8,          # 开启并行
    'tree_method': 'hist', # 直方图算法，进一步加速
    'colsample_bytree': 0.7
}
model = xgb.train(params, dtrain, num_boost_round=100)
print("训练完成，并行核数:", model.get_params()['nthread'])

4. 特征重要性 —— 不只看分裂次数

XGBoost 内置了三种特征重要性计算方式：

• weight：特征被用来分裂的次数
• gain：特征带来的平均信息增益（推荐）
• cover：特征覆盖的样本量

我刚入行时只看 weight，结果发现一个离散特征被切了几百次，但每次增益都很小，实际价值不大。后来换成 gain，才找到真正的强特征——比如“历史逾期天数”这个特征，一次分裂就带来几千的增益。

5. 内置缺失值处理 —— 不填充也能跑

信用评分数据里，缺失值是家常便饭。收入字段约 20% 缺失，工作单位有时为空。传统做法要么填充均值/中位数，要么用插补模型。XGBoost 自带缺失值学习方向，牛在哪里？

• 训练时，分裂会尝试将缺失样本分到左子树或右子树，选择使损失最小的方向。
• 预测时缺失值沿着训练学到的“默认路径”走。
• 你不需要对缺失值做任何预处理，直接传 NaN 就行。

我曾经做过一个对照实验：同一份数据，一组用均值填充后训练，另一组直接把缺失值交给 XGBoost 处理。结果后者在测试集上的 AUC 高了 0.8%。原因是缺失本身也是一种信息——比如收入缺失可能隐含“收入不稳定”，模型能自动捕捉这种模式。

# 缺失值自动处理，无需额外代码
import numpy as np
import pandas as pd
import xgboost as xgb

data = pd.DataFrame({
    'age': [25, 30, np.nan, 45, 50],
    'income': [5000, np.nan, 8000, np.nan, 12000],
    'default': [0, 0, 1, 0, 1]
})
dtrain = xgb.DMatrix(data[['age', 'income']], label=data['default'], missing=np.nan)
# 直接训练，不需要 fillna
model = xgb.train({'max_depth': 3}, dtrain, num_boost_round=10)