2. XGBoost 基础回顾：梯度提升树原理，XGBoost 的核心优势，安装与基本 API 使用

2.1 梯度提升树（GBDT）核心原理

XGBoost 的全称是 eXtreme Gradient Boosting，其底层算法源自 梯度提升决策树（GBDT）。理解 GBDT 是掌握 XGBoost 的前提。

GBDT 是一种迭代的集成学习算法，核心思想是：每一棵新树都去拟合前一棵树的残差（或负梯度方向），从而逐步降低整体预测误差。

GBDT 三步核心流程：
  1. 初始化：用一个常数（如均值）作为初始预测值 \( F_0(x) \)。
  2. 迭代训练：对于第 \( m \) 轮：
    • 计算当前模型的负梯度（即残差近似值）\( r_{im} = -\left[ \frac{\partial L(y_i, F(x_i))}{\partial F(x_i)} \right]_{F=F_{m-1}} \)。
    • 用一棵回归树 \( h_m(x) \) 拟合这些残差 \( r_{im} \)。
    • 通过线性搜索确定最优步长 \( \gamma_m \)，更新模型：\( F_m(x) = F_{m-1}(x) + \gamma_m h_m(x) \)。
  3. 输出：最终模型为所有树的加权和 \( F_M(x) = \sum_{m=1}^M \gamma_m h_m(x) \)。

GBDT 的损失函数可以是平方损失（回归）、对数损失（分类）等，其灵活性使其成为许多竞赛和工业场景的基线模型。

GBDT 迭代拟合残差原理图 初始预测 F₀(x) 计算残差 r₁ 树₁ 拟合残差 F₁(x) = F₀ + 树₁ 计算残差 r₂ 树₂ 拟合残差 F₂(x) = F₁ + 树₂ …… 最终模型：F(x) = Σ 所有树的加权和

2.2 XGBoost 的核心优势

XGBoost 在传统 GBDT 基础上进行了大量工程优化，使其在速度、精度和鲁棒性上全面超越原始算法。以下是其四大核心优势：

优势维度 具体机制 实际收益
正则化 目标函数中加入 L1（Lasso）和 L2（Ridge）正则项，控制树复杂度 有效防止过拟合，提升模型泛化能力
并行化 在特征粒度上实现并行计算；使用 Column Block 结构预排序特征 训练速度显著快于传统 GBDT，支持多线程 CPU
缺失值处理 自动学习缺失值的最佳分裂方向（默认分到增益最大的一侧） 无需单独填充缺失值，减少数据预处理工作量
二阶导数近似 使用损失函数的二阶泰勒展开（Hessian 矩阵）加速收敛 收敛速度更快，精度更高，对异常值更鲁棒
💡 关键洞察： XGBoost 的正则化项是其与普通 GBDT 最本质的区别。在特征筛选中，正则化会迫使不重要的特征权重趋近于零，从而天然具备特征选择能力。
XGBoost 四大核心优势架构图 XGBoost 核心优势 正则化 L1 + L2 控制复杂度 并行化 Column Block 预排序 缺失值处理 自动学习分裂方向 二阶导数近似 Hessian 加速收敛

2.3 安装与基本 API 使用

2.3.1 安装方式

XGBoost 支持 Python、R、Java、C++ 等多种语言接口。Python 环境推荐使用 pip 或 conda 安装：

# 使用 pip 安装（CPU 版本）
pip install xgboost

# 使用 conda 安装（推荐，自动处理依赖）
conda install -c conda-forge xgboost

# 安装 GPU 加速版本（需 CUDA 支持）
pip install xgboost-gpu  # 或从源码编译
⚠️ 版本注意： 本手册基于 XGBoost 1.7.x 及以上版本。旧版本（<1.0）的 API 有较大差异，请确保使用最新稳定版。

2.3.2 基本 API 使用流程

XGBoost 提供两种主要 API：原生 API（xgboost.train） 和 Scikit-learn 兼容 API（XGBClassifier / XGBRegressor）。后者更符合 Python 机器学习生态习惯，本手册将主要使用 Scikit-learn 兼容 API。

以下是一个完整的分类任务示例：

import xgboost as xgb
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# 1. 加载数据
data = load_breast_cancer()
X, y = data.data, data.target

# 2. 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=42
)

# 3. 定义模型（使用 Scikit-learn 兼容 API）
model = xgb.XGBClassifier(
    n_estimators=100,       # 树的数量
    max_depth=6,            # 树的最大深度
    learning_rate=0.1,      # 学习率
    subsample=0.8,          # 行采样比例
    colsample_bytree=0.8,   # 列采样比例
    reg_lambda=1.0,         # L2 正则化参数
    reg_alpha=0.0,          # L1 正则化参数
    random_state=42,
    use_label_encoder=False, # 避免旧版本警告
    eval_metric='logloss'   # 评估指标
)

# 4. 训练模型
model.fit(X_train, y_train)

# 5. 预测与评估
y_pred = model.predict(X_test)
accuracy = accuracy_score(y_test, y_pred)
print(f"测试集准确率: {accuracy:.4f}")

# 6. 查看特征重要性（核心功能）
importance = model.feature_importances_
print("特征重要性得分:", importance[:5])  # 打印前5个特征

2.3.3 核心参数速查表

掌握以下关键参数，是后续进行特征筛选调优的基础：

参数名 类型 默认值 作用说明
n_estimators int 100 提升轮数（树的数量），越大越容易过拟合
max_depth int 6 树的最大深度，控制模型复杂度
learning_rate float 0.3 步长收缩，越小越需要更多树
subsample float 1.0 训练每棵树时的行采样比例，防过拟合
colsample_bytree float 1.0 训练每棵树时的列采样比例，防过拟合
reg_lambda float 1.0 L2 正则化权重，越大模型越保守
reg_alpha float 0.0 L1 正则化权重，越大特征越稀疏
eval_metric str/list 默认根据目标 评估指标，如 'logloss'、'auc'、'rmse'
← 上一章 📖 返回目录 下一章 →