搜索空间的维度与边界划分
大家先想一个场景：你要调优一个神经网络的超参数。学习率、批量大小、优化器类型、网络层数、Dropout比例……这些变量你都得管。每一个变量，就是搜索空间里的一个维度。维度怎么定义，边界怎么划，直接决定了你的搜索能不能干活。
我刚开始做调优时，总觉得维度越多越全面，边界设得越宽越好。结果呢？搜索空间爆炸，跑了一个星期都收敛不到好结果。嗯，后来才明白——空间设定本身，就是一门学问。
什么叫搜索空间的维度？
维度，说白了就是决定搜索方向的可变参数。每多一个维度，搜索空间就翻倍。我习惯用“自由度”来理解它：你有几个参数可以调，就有几个自由度。
举个实际例子：
- 连续维度：学习率（0.0001 ~ 1.0），温度参数（0.1 ~ 10.0）
- 离散维度：批量大小（16, 32, 64, 128），优化器类型（SGD, Adam, RMSProp）
- 条件维度：是否使用BN？如果是，动量是多少？
- 复合维度：网络深度与每层宽度的组合约束
有一次我在做CV项目，发现盲目增加维度，搜索效率直线下降。你想想看，十个维度，每个取10个值，那就是一百亿种组合。实际工程里，我们根本没时间跑这么多。
核心原则：维度的数量，应当等于你真正需要探索的、对目标影响未知的变量数量。已经经验明确的参数，直接固定。
边界划分的艺术
边界不是拍脑袋定的。我见过有人把学习率边界设为[0, 100]，结果99%的时间都在跑无效值。边界划分要基于物理意义 + 设备资源 + 先验知识三方面来定。
| 维度类型 | 推荐边界策略 | 我的经验教训 |
|---|---|---|
| 连续值（如学习率） | 对数均匀采样，跨度不超过4个数量级 | 曾经设[1e-6, 1e-1]跨度太大，搜索几乎随机 |
| 离散值（如批量大小） | 幂次增长，如16/32/64/128 | 用等差数列[10,20,30]不如幂次有效 |
| 条件值（如是否加速） | 先定类别，再定子参数范围 | 忘记限制子参数，导致无效组合浪费资源 |
| 结构值（如网络层数） | 根据显存/算力上限倒推 | 显卡爆了才知道边界设太宽 |
小技巧：先在窄边界上跑一轮，找到“甜点区”后再扩展。我习惯用这种“两步走”策略，能省下60%以上的搜索时间。
维度的类型与边界分类
你可能觉得维度就是维度，分什么类？其实不同维度对搜索策略影响很大。我根据实际经验，把它们分成四类：
- 连续数值维度：这类最常见，边界用[min, max]表示。注意区分线性还是对数刻度。
- 离散枚举维度：直接列出所有候选值。别列太多，5~10个就够了。
- 条件依赖维度：只有某个条件满足时才生效。比如使用Adam时，才需要调beta参数。
- 混合约束维度：多维度之间存在联动关系。比如“总参数量不超过10M”同时约束了深度和宽度。
我记得有一次做NLP项目，错把条件维度当独立维度处理，结果搜索了一大堆“优化器=SGD但beta=0.9”这种无意义组合。浪费了整整两天。
避坑指南：条件维度一定要在搜索配置里显式声明依赖关系。很多框架允许设置条件范围，别偷懒不写。
如何在实际项目中设定维度与边界？
我推荐按这个流程走：
- 第一步：列出所有候选变量，区分已知和未知影响。
- 第二步：对未知变量，根据先验知识设定初始边界。
- 第三步：运行小规模预搜索（10~20%预算），观察采样点分布。
- 第四步：根据预搜索结果，收缩或扩展边界。
- 第五步：正式搜索，并监控边界溢出警告。
这里的预搜索特别重要。我曾经在一个推荐系统项目里，第一次边界设得太宽，预搜索帮我发现了有效区域集中在非常窄的区间，这才及时调整过来。
一句话总结：搜索空间的维度数量决定你的天花板，边界划定决定你的落地效率。两者缺一不可。
维度与边界的知识图谱
下面这张图把搜索空间的维度、边界、分类和设定流程串起来了。仔细看看，能帮你建立整体思维。
最常见的边界错误
根据我这些年的观察，工程师在边界划分时最容易犯三个错：
- 边界太松：以为宽覆盖就有好结果，结果大部分搜索都落在无效区域。
- 边界太紧：怕浪费资源，设得太窄，最优解根本不在里面。
- 忘记条件约束：子参数在父参数不满足时依然被搜索，白白浪费算力。
我曾经在一个声音识别项目里，把学习率下边界设成1e-6，上边界0.1，总以为这样万无一失。结果预搜索发现，所有好结果都集中在0.001~0.01之间。边界里80%的区间根本没有搜索价值。
改进建议：用对数均匀采样替代均匀采样。很多连续维度在全对数刻度下表现更好。比如学习率、正则化强度这类参数。
写在最后
搜索空间的维度与边界，是整个调优工作的地基。地基没打好，后面无论用多先进的搜索算法，都很难出好结果。嗯，我希望你能把今天讲的这些，真正用到项目里去。多跑几次预搜索，多看看采样点的分布，边界设定就会越来越有感觉。