4. LightGBM 基础 API：LGBMClassifier 与 LGBMRegressor 使用及核心参数详解

在开始 A/B 测试与验证之前，必须熟练掌握 LightGBM 的两大核心 API：LGBMClassifier（分类任务）与 LGBMRegressor（回归任务）。本章将深入讲解这两个 API 的标准用法，并重点剖析三个决定模型性能的核心参数：num_leaves、learning_rate 与 n_estimators。

4.1 LGBMClassifier 与 LGBMRegressor 快速上手

LightGBM 的 API 设计高度一致，无论是分类还是回归，其初始化、训练、预测流程几乎相同。下表对比了两种任务的核心差异：

4.1.1 标准训练流程（以分类为例）

import lightgbm as lgb
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split

# 1. 生成示例数据
X, y = make_classification(n_samples=1000, n_features=20, random_state=42)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 2. 初始化分类器
model = lgb.LGBMClassifier(
    num_leaves=31,
    learning_rate=0.1,
    n_estimators=100,
    random_state=42
)

# 3. 训练
model.fit(
    X_train, y_train,
    eval_set=[(X_test, y_test)],
    eval_metric='logloss',
    callbacks=[lgb.early_stopping(stopping_rounds=10)]
)

# 4. 预测与概率输出
y_pred = model.predict(X_test)
y_proba = model.predict_proba(X_test)[:, 1]

print(f"测试集准确率: {model.score(X_test, y_test):.4f}")

4.1.2 回归任务示例

from sklearn.datasets import make_regression

# 生成回归数据
X, y = make_regression(n_samples=1000, n_features=20, noise=0.1, random_state=42)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 初始化回归器
model_reg = lgb.LGBMRegressor(
    num_leaves=31,
    learning_rate=0.1,
    n_estimators=100,
    random_state=42
)

model_reg.fit(
    X_train, y_train,
    eval_set=[(X_test, y_test)],
    eval_metric='mse',
    callbacks=[lgb.early_stopping(stopping_rounds=10)]
)

y_pred_reg = model_reg.predict(X_test)
print(f"测试集 MSE: {mean_squared_error(y_test, y_pred_reg):.4f}")

4.2 核心参数详解

三个参数 num_leaves、learning_rate、n_estimators 构成了 LightGBM 调参的“铁三角”，它们共同控制模型的复杂度与学习速度。

4.2.1 num_leaves：控制树的复杂度

num_leaves 是 LightGBM 中最重要的树结构参数，它决定每棵决策树的最大叶子节点数。与 XGBoost 的 max_depth 不同，LightGBM 使用叶子节点数直接控制模型复杂度。

• 数值含义： 每棵树的叶子节点数量上限。默认值 31。
• 影响： 值越大，树越复杂，拟合能力越强，但容易过拟合；值越小，模型越简单，可能欠拟合。
• 经验范围： 小数据集（<10k 样本）建议 8-31；大数据集（>100k 样本）可尝试 64-255。
• 与 max_depth 的关系： 理论上，num_leaves ≤ 2^(max_depth)。例如 max_depth=7 时，num_leaves 不应超过 128。

4.2.2 learning_rate：控制学习步长

learning_rate（也称 shrinkage_rate）决定每轮迭代中，新树对整体模型的贡献权重。

• 数值含义： 每棵树的贡献缩放因子，取值范围通常为 (0, 1]。默认值 0.1。
• 影响： 较小的学习率（如 0.01）需要更多迭代轮数，但通常能获得更好的泛化性能；较大的学习率（如 0.3）训练更快，但容易跳过最优解。
• 调参策略： 先设 learning_rate=0.1 快速粗调，再降低至 0.01-0.05 并配合增加 n_estimators 进行精调。

4.2.3 n_estimators：控制迭代轮数

n_estimators 指定 boosting 过程中生成的决策树数量。

• 数值含义： 迭代轮数，即最终模型中树的棵数。默认值 100。
• 影响： 轮数越多，模型对训练数据的学习越充分，但过多会导致过拟合；轮数过少则欠拟合。
• 与 learning_rate 的协同： 通常 learning_rate 减半时，n_estimators 需要加倍以保持相同的有效学习量。
• 最佳实践： 配合 early_stopping 使用，让模型在验证集性能不再提升时自动停止，避免手动猜测最佳轮数。

4.3 参数协同调优策略

三个参数并非独立工作，下表展示了常见的协同配置方案：

4.4 使用原生 API 与 Scikit-learn API 的对比

LightGBM 提供两套 API：Scikit-learn 兼容 API（LGBMClassifier/LGBMRegressor）和 原生 Dataset API（lgb.Dataset）。下表对比了它们的适用场景：

对于本教程的 A/B 测试与验证场景，推荐优先使用 Scikit-learn API，因为它能直接与 cross_val_score、GridSearchCV 等工具配合，大幅提升实验效率。