第二章：参数空间与搜索策略

调参这事儿，说白了就是在一堆数字里找到最合适的那个组合。你想想看，模型里有那么多超参数，每个参数又有取值范围，组合起来就是个巨大的空间。怎么在这个空间里高效地找到最优解？这就是我们今天要聊的核心。

2.1 参数空间：你的搜索范围有多大？

先说说参数空间。我习惯把它想象成一个多维的迷宫。每个参数是一维，取值范围就是这条路的长度。比如学习率从0.0001到0.1，树的最大深度从3到20，正则化系数从0.001到1.0……这些维度组合起来，空间大小就是各维度取值个数的乘积。

举个例子：假设你有3个参数，每个参数取10个值，那总共有10³=1000种组合。如果参数增加到10个，每个取10个值，那就是100亿种组合。嗯，这个数字有点吓人。所以，参数空间的大小直接决定了搜索的难度。

2.2 网格搜索：最朴素的方法

网格搜索，说白了就是穷举。你把每个参数的可能取值列出来，然后遍历所有组合。比如学习率取[0.001, 0.01, 0.1]，树深度取[3, 5, 7]，那就有3×3=9种组合，挨个跑一遍。

优点很明显：简单、直观、可复现。你跑完一遍，就知道哪个组合最好。我在项目中遇到过一个小团队，他们用网格搜索调XGBoost的参数，虽然跑了整整两天，但结果很稳定，上线后效果也不错。

但缺点也很致命：维度灾难。参数一多，组合数爆炸式增长。比如10个参数，每个取10个值，那就是100亿次实验。你想想看，这得跑到猴年马月？

2.3 随机搜索：更聪明的穷举

随机搜索的思路很简单：我不遍历所有组合，而是随机采样。比如参数空间有100亿种组合，我只随机取1000个点，然后看哪个点效果最好。

为什么随机搜索比网格搜索好？我举个例子你就明白了。假设参数空间是二维的，网格搜索均匀分布点，但随机搜索的点是随机分布的。如果某个参数对结果影响不大，网格搜索会浪费大量计算资源在那些不重要的维度上。而随机搜索，因为随机性，更容易覆盖到真正重要的区域。

我记得有一次调一个推荐系统的模型，参数有12个。网格搜索需要跑几百万次，根本跑不完。换成随机搜索，只跑了5000次，就找到了一个比网格搜索更好的解。为什么？因为随机搜索在重要维度上采样更密集，而网格搜索被不重要的维度稀释了。

2.4 贝叶斯优化：带记忆的搜索

网格搜索和随机搜索，说白了都是盲人摸象。它们不利用历史信息，每次实验都是独立的。贝叶斯优化就不一样了，它会根据之前的实验结果，推测哪里可能更好，然后重点搜索那些区域。

贝叶斯优化的核心是概率代理模型。它用高斯过程或随机森林来拟合参数和效果之间的关系。每次实验后，模型会更新，然后根据采集函数（比如期望提升EI）选择下一个点。这样，搜索过程就像一个有经验的工程师，越搜越准。

我在项目中用过贝叶斯优化调一个深度强化学习的超参数。参数有15个，如果用网格搜索，根本不可能。随机搜索跑了2000次，效果还行。但贝叶斯优化只跑了300次，就找到了更好的解。为什么？因为它会主动探索那些有潜力的区域，而不是盲目随机。

2.5 三种策略的对比

为了让你更直观地理解，我整理了一个表格：

策略	原理	优点	缺点	适用场景
网格搜索	遍历所有组合	简单、可复现	维度灾难、计算量大	参数少（≤3个）、取值范围小
随机搜索	随机采样	比网格搜索高效、易实现	仍可能遗漏最优区域	参数中等（4-10个）、计算资源有限
贝叶斯优化	概率模型+采集函数	高效、利用历史信息	实现复杂、有额外计算开销	参数多（>10个）、每次实验代价高

你想想看，这三种策略其实代表了不同的权衡。网格搜索最笨但最稳，随机搜索更聪明但仍有随机性，贝叶斯优化最智能但实现成本高。实际项目中，我习惯先根据参数数量和计算资源选一个，然后快速验证。

2.6 实战中的选择建议

说了这么多，到底怎么选？我个人的经验是：

• 参数少于3个：直接用网格搜索。比如调学习率和正则化系数，网格搜索又快又稳。
• 参数4-10个：优先随机搜索。采样次数设为参数个数的10-20倍。如果时间允许，可以多采一些。
• 参数超过10个：上贝叶斯优化。虽然实现复杂一点，但效率提升明显。我推荐用Hyperopt或Optuna库，它们封装得很好。

2.7 知识体系图

为了让你更直观地理解这三种策略的关系，我画了一张图：

这张图很直观：参数空间是起点，三种策略各有特点，适用场景也不同。你根据实际情况选就行。

2.8 代码示例：快速上手

最后，给你一个简单的代码示例，用Python实现三种搜索策略的对比：

import numpy as np
from sklearn.model_selection import ParameterGrid, ParameterSampler
from skopt import gp_minimize

# 假设目标函数是 f(x, y) = x^2 + y^2
def objective(params):
    x, y = params
    return x**2 + y**2

# 参数空间
param_space = {'x': np.linspace(-10, 10, 100),
               'y': np.linspace(-10, 10, 100)}

# 1. 网格搜索
grid = ParameterGrid(param_space)
best_score = float('inf')
best_params = None
for params in grid:
    score = objective([params['x'], params['y']])
    if score < best_score:
        best_score = score
        best_params = params
print(f"网格搜索最优: {best_params}, 得分: {best_score}")

# 2. 随机搜索
sampler = ParameterSampler(param_space, n_iter=100)
best_score = float('inf')
best_params = None
for params in sampler:
    score = objective([params['x'], params['y']])
    if score < best_score:
        best_score = score
        best_params = params
print(f"随机搜索最优: {best_params}, 得分: {best_score}")

# 3. 贝叶斯优化
res = gp_minimize(objective,                  # 目标函数
                  [(-10.0, 10.0), (-10.0, 10.0)],  # 参数范围
                  n_calls=50,                 # 迭代次数
                  random_state=42)
print(f"贝叶斯优化最优: x={res.x[0]:.2f}, y={res.x[1]:.2f}, 得分: {res.fun:.2f}")

这个例子很简单，但能让你看到三种策略的差异。网格搜索遍历了10000个点，随机搜索只采了100个点，贝叶斯优化只跑了50次。结果呢？贝叶斯优化找到了更接近最优解的点。嗯，这就是效率的差距。

好了，这一章就到这里。记住，调参不是玄学，是有方法论可循的。选对搜索策略，能帮你省下大量时间。