2. XGBoost 模型基础回顾
在深入模型稳定性巡检之前，必须牢固掌握 XGBoost 的核心原理与树模型特性。本章将系统回顾 XGBoost 的数学本质、树模型的生长逻辑以及特征重要性的计算方式，为后续的稳定性诊断奠定理论基础。
2.1 XGBoost 核心原理
XGBoost（eXtreme Gradient Boosting）是一种基于梯度提升框架的集成学习算法。其核心思想是通过逐步添加决策树，每棵新树都去拟合前一棵树的残差（或梯度方向），从而不断降低整体损失。
核心公式： 目标函数 = 训练损失 + 正则化项
其中 Ω(f) = γT + ½λ||w||²，T 为叶子节点数，w 为叶子权重。
Obj = Σ L(yᵢ, ŷᵢ) + Σ Ω(fₖ)其中 Ω(f) = γT + ½λ||w||²，T 为叶子节点数，w 为叶子权重。
XGBoost 相比传统 GBDT 的关键改进在于：
- 二阶泰勒展开： 同时使用一阶导数（梯度）和二阶导数（海森矩阵）来逼近损失函数，收敛更快、精度更高。
- 显式正则化： 在目标函数中直接加入叶子节点数（γ）和叶子权重 L2 范数（λ），有效防止过拟合。
- 列抽样与行抽样： 借鉴随机森林的思路，在构建每棵树时随机选取特征子集和样本子集，增强泛化能力。
- 并行化与缓存优化： 通过预排序和分块压缩，在特征粒度上实现并行计算，大幅提升训练速度。
| 对比维度 | 传统 GBDT | XGBoost |
|---|---|---|
| 损失函数逼近 | 一阶梯度 | 二阶泰勒展开 |
| 正则化 | 无显式正则化 | γ + λ L2 正则 |
| 缺失值处理 | 需手动填充 | 自动学习分裂方向 |
| 并行能力 | 弱（串行建树） | 强（特征预排序并行） |
2.2 树模型特性
XGBoost 的基学习器是决策树（CART 回归树）。理解树模型的特性，是分析模型稳定性的前提。
- 非线性与交互性： 决策树天然支持特征间的非线性关系和高阶交互，无需手动构造交叉特征。
- 分段常数输出： 每棵树的输出是叶子节点上的常数权重，最终预测是所有树叶子权重的累加。
- 分裂点选择： 基于增益公式（Gain = ½ * G²/(H+λ)）选择最优分裂特征和分裂点，增益越大，分裂越重要。
- 深度与叶子数： 树深度（max_depth）和叶子节点数（num_leaves）控制模型复杂度，深度越深，模型越容易过拟合。
稳定性启示： 树模型的分段常数特性意味着输入特征在分裂点附近的微小波动可能导致预测值跳变。这是模型稳定性巡检中需要重点关注的“边界效应”。
2.3 特征重要性
特征重要性是模型可解释性的核心指标，也是稳定性巡检中监控特征偏移的重要依据。XGBoost 提供三种主要的特征重要性计算方式：
| 重要性类型 | 计算方式 | 适用场景 |
|---|---|---|
| weight（权重） | 特征被选为分裂点的次数 | 快速了解哪些特征被频繁使用 |
| gain（增益） | 特征分裂带来的平均信息增益 | 衡量特征对模型预测能力的实际贡献 |
| cover（覆盖度） | 特征分裂点覆盖的样本数（二阶导数之和） | 评估特征的影响范围 |
稳定性巡检注意： 在模型上线后，应定期对比训练集与生产环境的特征重要性排序。若某个高 gain 特征的重要性显著下降，可能意味着该特征分布发生偏移或数据质量出现问题，需立即排查。
2.4 关键参数速查
以下参数直接影响模型复杂度和稳定性，在巡检中需要重点关注：
| 参数名 | 默认值 | 对稳定性的影响 |
|---|---|---|
max_depth |
6 | 深度越大，模型越复杂，对噪声越敏感，稳定性下降 |
min_child_weight |
1 | 值越大，分裂越保守，泛化能力越强，稳定性越好 |
subsample |
1.0 | 行抽样比例，小于 1.0 可降低过拟合，提升稳定性 |
colsample_bytree |
1.0 | 列抽样比例，小于 1.0 可增加树间多样性，提升稳定性 |
lambda |
1.0 | 叶子权重 L2 正则，越大权重越平滑，稳定性越高 |
巡检基线建议： 对于生产环境模型，建议 max_depth ≤ 8，min_child_weight ≥ 3，subsample ≤ 0.8，lambda ≥ 1.0。这些参数组合能有效抑制过拟合，提升模型在时间维度上的稳定性。