📚 课程目录第4章超参数搜索方法

4. 超参数搜索方法：网格搜索与随机搜索

调模型这事儿，很多时候不是在调算法，而是在调那几个“旋钮”。你想想看，学习率设多少？批量大小用多大？网络层数堆几层才合适？这些没法用梯度下降直接学出来的参数，就是超参数。我见过不少团队在项目初期，所有超参数全靠“拍脑袋”，结果模型效果好坏全凭运气。

今天咱们聊的是两种最经典的搜索方法——网格搜索和随机搜索。它们不算新潮，但在实战中特别靠谱。尤其是项目起步阶段，会用这俩，基本就能帮你快速找到“够用”的配置。

4.1 为什么需要超参数搜索

超参数这东西，说白了就是模型训练前你要定下来的“游戏规则”。你定的规则好不好，直接决定了模型能不能收敛、会不会过拟合、推理速度快不快。

我在项目中遇到过这样一个场景：同一个网络结构，因为学习率设大了，loss 直接飞了；设小了，训了三天还在原地转圈。后来我总结了一点——超参数不是靠猜的，是靠试的。

手动调试当然也行，但太慢。你调一个参数，跑一次实验，看结果，再改，再跑……一轮下来半天就没了。所以我们需要系统性的搜索策略，把这件事自动化。

我的习惯： 每次开始一个新项目，我都会先用一个小型子集跑一遍搜索。不是偷懒，而是为了快速排除那些明显不靠谱的参数范围。

4.2 网格搜索（Grid Search）

网格搜索的概念非常简单。你画出所有超参数的可能取值，然后枚举所有组合。说白了，就是穷举。打个比方，你要找一个房间里的最舒服的座位，网格搜索就是把所有椅子都坐一遍，然后告诉你哪把最舒服。

4.2.1 工作原理

假设你有两个超参数需要调：学习率 lr 和批量大小 batch_size。你给每个参数指定几个候选值：

学习率：[0.1, 0.01, 0.001]
批量大小：[32, 64, 128]

网格搜索会生成 3 × 3 = 9 个组合，然后挨个儿训练并评估。

  网格搜索的数学表达：

  假设超参数空间为 Θ = Θ₁ × Θ₂ × ... × Θₖ，每个维度有 nᵢ 个候选值，枚举的总次数为 ∏ᵢ nᵢ。

4.2.2 代码示例

from sklearn.model_selection import GridSearchCV
from sklearn.ensemble import RandomForestClassifier

# 定义参数网格
param_grid = {
    'n_estimators': [50, 100, 200],
    'max_depth': [None, 10, 20],
    'min_samples_split': [2, 5, 10]
}

model = RandomForestClassifier()

grid_search = GridSearchCV(
    estimator=model,
    param_grid=param_grid,
    cv=5,           # 5折交叉验证
    scoring='accuracy',
    n_jobs=-1       # 并行使用所有CPU
)

grid_search.fit(X_train, y_train)

print("最佳参数组合:", grid_search.best_params_)
print("最佳分数:", grid_search.best_score_)

4.2.3 什么时候用网格搜索

网格搜索不是银弹。它的优势在于“全覆盖”——如果你确定候选值范围合理，网格搜索一定能找到最优组合。但代价也很明显：组合数随维度指数增长。你加了第三个参数，候选值只给3个，组合数就变成27；加到第四个参数，直接81次实验。

我曾经踩过的坑： 刚入门时我用网格搜索调了6个超参数，每个给5个值，结果 5⁶ = 15625 次实验。集群跑了一周还没跑完，最后不得不终止。说白了，维度过高时网格搜索就是灾难。

4.3 随机搜索（Random Search）

如果你觉得网格搜索太笨，那试试随机搜索？它不枚举所有组合，而是从参数空间中随机采样。听起来是不是很“随便”？但实践表明，在大多数情况下随机搜索比网格搜索更高效。

4.3.1 工作原理

随机搜索的核心逻辑是：你不是每个参数给固定的几个候选值，而是给一个概率分布（连续或离散），然后从中随机抽取 n 组参数进行尝试。你看，这样组合数就固定了——你说试100组，那就是100次，不会膨胀。

为什么随机搜索往往效果更好？原因很简单：网格搜索的覆盖是均匀但稀疏的，它在每个维度上只取固定值。而随机搜索可以在每个维度上“探索”更多不同的值。

  随机搜索的关键：

  每个参数指定分布，而不是固定集合。通常连续参数用均匀分布或对数均匀分布。

4.3.2 代码示例

from sklearn.model_selection import RandomizedSearchCV
from sklearn.ensemble import RandomForestClassifier
from scipy.stats import randint, uniform

# 定义参数分布
param_distributions = {
    'n_estimators': randint(50, 200),    # 离散均匀分布
    'max_depth': randint(5, 30),
    'min_samples_split': randint(2, 10),
    'max_features': uniform(0.5, 0.5)    # 连续均匀分布 [0.5, 1.0]
}

model = RandomForestClassifier()

random_search = RandomizedSearchCV(
    estimator=model,
    param_distributions=param_distributions,
    n_iter=50,        # 只试50组
    cv=5,
    scoring='accuracy',
    n_jobs=-1,
    random_state=42
)

random_search.fit(X_train, y_train)

print("最佳参数组合:", random_search.best_params_)
print("最佳分数:", random_search.best_score_)

4.3.3 什么时候用随机搜索

我个人的建议是：项目初期先用随机搜索。你参数空间很大、不熟悉的时候，随机搜索能帮你快速缩小范围。等找到几个“好区域”了，再拿网格搜索在小范围内精调。

对比维度	网格搜索	随机搜索
搜索策略	枚举所有组合	随机采样
组合数控制	指数增长（维度高时失控）	固定次数（可控）
适用场景	参数少（≤3个）、范围明确	参数多、范围模糊
优点	全覆盖，结果确定	效率高，容易发现好区域
缺点	维度灾难，计算量大	可能遗漏最优组合

一个实用的折中： 先用随机搜索跑200-500组（看你的计算资源），锁定前10%的“好参数”所在范围。然后在这个小范围内，用网格搜索精调。这样既不会漏掉好区域，也避免了无脑枚举。

4.4 实战中的选择与考量

我记得在一个OCR项目中，要用CNN识别手写数字。当时参数有学习率、卷积核数量、全连接层神经元数、dropout率……总共6个。我一开始用网格搜索，结果给了每个参数4个值，4⁶=4096次实验。跑完一次要6小时，整个项目周期全耗在这儿了。

后来我换了随机搜索，只试了200组，就找到了一个比之前所有组合都好的配置。嗯，这里要注意——随机搜索不是靠运气，而是靠“分布”的力量。每个参数分布的范围如果定得准，随机搜索几乎不会漏掉最优解附近。

4.5 知识体系小结

下面这张图帮你快速回顾本章的核心知识结构：

好了，网格搜索和随机搜索就聊到这儿。这两种方法虽然简单，但真的管用。下次做项目时，别急着调参数，先问问自己——我现在该用随机搜索粗探，还是用网格搜索收尾？选对了策略，能省不少时间。