模型调参方法论：网格搜索、随机搜索、贝叶斯优化简介

调参这事儿，说白了就是给模型找一套最合适的超参数组合。我刚入行那会儿，总以为把参数网格铺满，跑一遍就完事了。后来发现效率低得离谱，而且经常掉进局部最优的坑里。今天我把三种主流方法掰开揉碎讲给你听。

网格搜索（Grid Search）

这是最直观的方法——把所有候选参数列成网格，逐一验证。比如学习率取 [0.001, 0.01, 0.1]，树深度取 [3, 5, 7]，排列组合出来就是 3×3=9 组。跑完取效果最好的那组。

优点：实现简单，结果可复现，适合参数少、组合少的场景。

缺点：维度爆炸。当参数超过3个、每个取10个值时，组合数就是10ⁿ，根本跑不完。

我之前做过一个图像分类项目，调4个参数，每个取5个值，625组组合跑了整整两天。最后发现最优值就在边界上——白白浪费了时间。后来我就不太敢用纯网格了。

代码实现很简单，用 Scikit-learn 的 GridSearchCV：

from sklearn.model_selection import GridSearchCV

param_grid = {
    'C': [0.1, 1, 10],
    'gamma': [0.01, 0.1, 1],
    'kernel': ['rbf', 'linear']
}
grid = GridSearchCV(SVC(), param_grid, cv=5, scoring='accuracy')
grid.fit(X_train, y_train)
print(grid.best_params_)

小技巧：如果计算资源有限，可以先粗搜（大步长），再细搜（小步长）。我习惯先确定有效区间，再加密网格。

随机搜索（Random Search）

说白了，网格搜索是“全排列”，随机搜索是“抽签”。你指定参数分布和采样次数，它随机抽几组来跑。Bergstra 和 Bengio 在2012年就证明了，随机搜索在绝大多数情况下比网格搜索更快找到好参数。

为什么会这样？你想想看，网格搜索均匀分布，但很多参数对最终结果影响不均。随机搜索在同样预算下，能覆盖更多有效区间。我在一个金融风控模型里试过，只跑网格搜索1/3的组数，就得到了差不多的精度。

from sklearn.model_selection import RandomizedSearchCV
from scipy.stats import uniform, randint

param_dist = {
    'n_estimators': randint(50, 500),
    'max_depth': randint(3, 20),
    'learning_rate': uniform(0.01, 0.3)
}
random_search = RandomizedSearchCV(
    GradientBoostingClassifier(),
    param_distributions=param_dist,
    n_iter=50, cv=5, scoring='f1'
)
random_search.fit(X_train, y_train)
print(random_search.best_params_)

注意：随机搜索不能保证找到全局最优，但实践中往往够用。我曾经因为样本量太少，随机搜出来的参数在验证集上虚高，换交叉验证后才稳住。所以建议cv至少设5。

贝叶斯优化（Bayesian Optimization）

前面两种方法都是“盲人摸象”——每次尝试独立于之前的结果。贝叶斯优化不同，它会用历史运行结果来“猜”下一次哪个参数更可能好。核心思路是构建一个代理模型（比如高斯过程），估计每组的期望和不确定性，然后用采集函数（如EI，期望改进）决定下一步。

我最早接触贝叶斯优化是在Google的Vizier系统论文里。后来在推荐系统调参时用过，参数维度到了十几维，随机搜索已经跑不动了，贝叶斯优化跑了不到100步就找到了不错的结果。

不过它也有代价：每次迭代需要拟合代理模型，参数越多计算越慢。另外，如果搜索空间不连续或者有离散参数，高斯过程会有点吃力。

使用 scikit-optimize 库的示例：

from skopt import gp_minimize
from skopt.space import Real, Integer

space = [
    Real(0.01, 0.3, name='learning_rate'),
    Integer(50, 500, name='n_estimators'),
    Integer(3, 20, name='max_depth')
]

@use_named_args(space)
def objective(**params):
    model = GradientBoostingClassifier(**params)
    return -cross_val_score(model, X_train, y_train, cv=5, scoring='f1').mean()

result = gp_minimize(objective, space, n_calls=30, random_state=42)
print(result.x)  # 最优参数

个人经验：贝叶斯优化初期探索（exploration）阶段比随机搜索还乱，但后期聚焦效果非常好。如果预算只有几十次，我建议先用随机搜索粗筛，再用贝叶斯优化精调。另外，初始点可以设几个随机点，避免代理模型一开始就偏了。

三种方法对比

下面这张表格能从直觉上帮你做选择：

方法 适用维度 预算（评估次数） 效率 典型场景
网格搜索 ≤3维（小网格） 数十～数百 低（穷举） 参数少、计算快的小模型
随机搜索 3～10维 数十～数百 中 通用，大多数入门项目
贝叶斯优化 5～20维 数十～数百 高（智能） 评估函数昂贵、高维空间

记住，没有银弹。我曾经在LSTM调参时试了贝叶斯优化，但每次训练要20分钟，30次就跑了一整天，还不如随机搜索跑10次来得快。所以看你的计算资源和问题复杂度。

选型口诀： 参数少，用网格； 参数多，随机搜； 调一次太贵，贝叶斯上位。

三种调参方法核心流程对比 网格搜索 生成网格 逐组评估 选最优 随机搜索 随机采样 独立评估 选最优 贝叶斯优化 初始采样 拟合代理模型 采集函数选下一组 迭代至预算 输出最优 各方法评估次数相同但策略不同

避坑：我曾经在随机搜索里设了 n_iter=1000，以为能覆盖更多空间，结果大部分采样挤在无效区间，浪费资源。建议先做一次小规模实验，看看参数取值范围是否合理，再决定采样次数。

总结一下：三种方法各有使命。网格搜索适合探索已知小空间，随机搜索是性价比之王，贝叶斯优化则是精调利器。你不需要一开始就用最复杂的，从随机搜索入手，数据多起来之后再上贝叶斯，它会给你惊喜。

← 上一章 📖 返回目录 下一章 →