离散搜索空间与连续搜索空间归纳总结

搜索空间的性质决定了你的调优策略能走多远。我记得刚开始做超参搜索时，一股脑用网格搜索遍历所有组合，结果跑了一周还没出结果——那是个离散空间，但组合数已经炸到上亿了。后来我才意识到，不同类型空间得用不同武器。

这一章咱们把离散和连续这两种基本空间类型掰开揉碎讲清楚。你理解透它们，选搜索算法时才不会抓瞎。

离散搜索空间

什么叫离散？候选值是有限个、可枚举的、跳跃的。比如神经网络层数选2/4/6/8，激活函数选relu/sigmoid/tanh，优化器选Adam/SGD/Adagrad。这些选项之间没有中间值，你给不了3.5层。

离散空间的核心特征是组合爆炸。举个例子：

• 超参A：8个候选值
• 超参B：10个候选值
• 超参C：6个候选值

暴力穷举就需要8×10×6 = 480次实验。一次实验跑10分钟，就要80小时。如果再加一个维度，轻松翻倍。

我在一个NLP项目中就踩过这个坑。当时搜索空间有7个离散参数，每个平均5个选项，理论组合数5⁷≈78万。我说算了，随机采样吧。结果随机采了2000次，命中了一个不错组合。这里的关键是——离散空间并不要求你遍历所有点。

常用调优策略：

1. 网格搜索（Grid Search）：完全笛卡尔积。适合超参少（≤3个）且每个维度候选值少（≤4个）的场景。否则你付不起计算费。
2. 随机搜索（Random Search）：从所有组合中等概率抽样。理论上采样越多，越接近全局最优。我一般至少采样总组合数的1%~5%。
3. 贝叶斯优化（离散版）：用高斯过程或树结构Parzen估计器拟合目标函数，每次推荐一个最有潜力的组合。需要实数值或排序指标来拟合，纯分类参数可以用One-Hot编码或依赖分析。

连续搜索空间

连续空间是真正的“无限”空间。学习率从1e-5到1区间内有无穷多个实数。正则化系数、Dropout比例、动量系数也都是这样。你不能把这当成“步长0.01就能数完”，因为无论步长多小，相邻实数之间还有无穷个数。

连续空间的麻烦在于：

• 你永远无法遍历所有点
• 没有“全局步长”的概念——不同区域的敏感度差异可能很大
• 目标函数通常非凸、多峰，梯度信息不可靠

我在做图像分类调参时遇到过一个问题：学习率在1e-4附近模型能收敛，调小到5e-5就收敛太慢，调大到3e-4直接发散。同一个连续区间内，不同子区域的行为天差地别。

适合连续空间的策略：

1. 随机搜索：在定义域内均匀采样或对数均匀采样（如学习率用log scale）。简单有效。我习惯先跑50~100次，看目标值分布，再决定是否收窄范围。
2. 贝叶斯优化：连续空间是贝叶斯优化的主场。高斯过程能平滑建模连续函数，采集函数（如EI、UCB）自动平衡探索与利用。通常30~50次迭代就能找到不错区域。
3. 梯度方法（高阶）：如果目标函数对超参可微（比如通过超网络或可微架构搜索），可以用梯度下降直接优化连续参数。但应用场景较窄。

维度	离散搜索空间	连续搜索空间
候选值数量	有限可枚举	无限不可枚举
典型参数	层数、激活函数、优化器类型	学习率、正则化系数、Dropout率
遍历可行性	可能穷举（组合少时）	不可能穷举
常用搜索算法	网格搜索、随机搜索、离散贝叶斯	随机搜索、贝叶斯优化、梯度方法
采样复杂度	随维度指数增长	随维度增长但可通过低维结构缓解
参数敏感度	跨候选项可能剧烈变化	通常平滑但边缘区域易发散

混合空间——真实世界的常态

大多数实际搜索空间是离散+连续的混合体。比如LightGBM的参数：

{
  "learning_rate": 0.01,       # 连续，通常log均匀采样
  "num_leaves": 31,            # 离散整数
  "boosting_type": "gbdt",     # 离散类别（gbdt/dart/goss）
  "subsample": 0.8,            # 连续
  "reg_lambda": 0.1            # 连续
}

处理混合空间时，我通常把离散参数转为整数索引，连续参数保留float。贝叶斯优化框架（如Optuna、Hyperopt、SMAC）原生支持混合参数，它们内部会处理成统一的条件空间。如果你用网格搜索或随机搜索手写循环，注意离散和连续参数的采样方式不同：离散用choice，连续用uniform或loguniform。

避坑指南

我总结几个实际中常见的坑：

• 忽视离散参数的顺序性：比如“训练轮数”虽为整数，但50和51差别很小，应视为有序离散参数（甚至按连续处理）。不要把有序参数当纯类别处理，否则模型学不到顺序信息。
• 连续空间采样用了线性刻度：很多参数（学习率、正则化系数）的最佳值跨越多个数量级。应该用log均匀采样。我曾经在0.1~1.0之间线性采了50次学习率，结果没一个能收敛——正确答案是0.001量级。
• 忽略了离散参数之间的结构依赖：比如某些激活函数只在特定层数下有效。你需要定义条件搜索空间，或者运行时抛出无效组合。Optuna的suggest_categorical配合suggest_int可以设置条件。
• 第一次就跑全量组合：离散空间组合数上万时，先随机采样5%~10%看分布，再决定是否扩大。我曾经一上来就排了5000个网格，跑了三天发现最好的100组集中在两个维度上——剩下的组合全是浪费。

两种空间的选择框架

这个流程图你看一眼就能明白：核心就一个问题——候选值能不能枚举完。能，就走离散路线；不能，就走连续路线。实际中很多参数自带中间态（比如整数参数候选值成千上万），这时候我倾向于按连续空间处理，然后做离散化采样，保留搜索效率。

记住：不存在“绝对正确”的分类，只有“当前资源和目标下更合适”的选择。你经历过几次搜索空间设计不当导致的失败后，自然就形成自己的判断了。