2. XGBoost 模型基础回顾：原理、核心参数与模型训练

在进入在线评分部署之前，必须牢固掌握 XGBoost 的核心原理与关键参数。本章将系统回顾 XGBoost 的数学本质、三个最关键的调参对象，以及标准化的模型训练与保存流程。

2.1 XGBoost 原理：从决策树到梯度提升

XGBoost（eXtreme Gradient Boosting）是梯度提升决策树（GBDT）的高效工程实现。其核心思想是：通过不断添加决策树，每棵新树都去拟合前一棵树的残差（或负梯度），从而逐步降低整体损失。

相比传统 GBDT，XGBoost 在目标函数中加入了正则项（Ω），用于控制模型复杂度，防止过拟合。同时，它对损失函数进行了二阶泰勒展开，收敛速度更快、精度更高。

2.2 三大核心参数详解

XGBoost 参数众多，但 max_depth、learning_rate 和 n_estimators 是控制模型性能与训练效率的“三驾马车”。理解它们的交互关系是调参的基础。

2.3 模型训练与保存实战

以下代码演示了使用 XGBoost 原生接口进行训练、交叉验证和模型保存的标准流程。注意保存格式选择 .json 或 .ubj，它们比旧版 .model 格式具有更好的跨版本兼容性。

import xgboost as xgb
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split

# 1. 加载数据
data = load_boston()
X_train, X_test, y_train, y_test = train_test_split(
    data.data, data.target, test_size=0.2, random_state=42
)

# 2. 转换为 DMatrix（XGBoost 内部优化数据结构）
dtrain = xgb.DMatrix(X_train, label=y_train)
dtest = xgb.DMatrix(X_test, label=y_test)

# 3. 设置参数
params = {
    'max_depth': 6,
    'learning_rate': 0.1,
    'n_estimators': 100,
    'objective': 'reg:squarederror',
    'eval_metric': 'rmse',
    'seed': 42
}

# 4. 训练模型（带早停）
model = xgb.train(
    params,
    dtrain,
    num_boost_round=1000,
    evals=[(dtrain, 'train'), (dtest, 'eval')],
    early_stopping_rounds=50,
    verbose_eval=50
)

# 5. 保存模型（推荐 JSON 格式）
model.save_model('xgboost_model.json')
print("模型已保存为 xgboost_model.json")

# 6. 加载模型并预测
loaded_model = xgb.Booster()
loaded_model.load_model('xgboost_model.json')
preds = loaded_model.predict(dtest)
print(f"预测完成，前 5 个预测值: {preds[:5]}")

2.4 关键注意事项

• 早停（Early Stopping）： 在 xgb.train 中设置 early_stopping_rounds，当验证集指标连续多轮不提升时自动停止，防止过拟合。
• DMatrix 优势： XGBoost 内部使用 DMatrix 数据结构，支持缺失值自动处理、分位数计算加速，务必养成使用 DMatrix 的习惯。
• 模型版本兼容： 不同 XGBoost 版本之间加载旧格式模型可能失败。始终使用 save_model() 方法保存，并优先选择 JSON 格式。
• 随机种子： 设置 seed 参数保证结果可复现，这在生产部署中至关重要。