课程导论：协同优化概述
做算法久了，你会发现一个有意思的现象：很多人把参数调优和特征工程当成两件独立的事。调参数的时候，特征固定；做特征的时候，参数随便找个默认值就行。嗯，我当初也是这么干的。直到有一次项目，我用同样的特征、同样的模型，换了三个搜索策略，AUC 差了 8 个点。为什么？因为特征和参数之间不是孤立的，它们是「拧在一起」的。
什么是协同优化？
说白了，就是同时考虑特征构建和参数搜索，把两者当成一个联合优化问题。传统做法是按顺序来：先做特征，再调参数。但你会发现，最优特征组合可能不在默认参数下表现好，最优参数组也可能只对特定特征生效。我把它叫做「先开枪再画靶子」——等你发现靶子位置变了，枪已经开完了。
核心洞察：参数空间和特征空间存在交互效应。忽略交互，等于放弃了一部分模型能力。
举个例子。在一个电商点击率预估项目中，我用了一组用户行为特征的聚合窗口——3 天、7 天、14 天。单独调参时，默认窗口是 7 天，AUC 0.73。后来我把窗口长度也作为一个参数扔进搜索空间，配合学习率和 L2 正则一起调，AUC 最终到了 0.79。这 6 个点，就是协同优化带来的。
为什么参数与特征需要协同？
道理其实很简单。特征决定了模型能「看到」什么信息，参数决定了模型如何「利用」这些信息。你给模型再好的特征，如果参数没选对，信息就被浪费了；反之，参数再精准，特征覆盖率不够，也是巧妇难为无米之炊。
我整理了一个对比表，帮你快速看清差异：
| 维度 | 传统串行优化 | 协同优化 |
|---|---|---|
| 搜索路径 | 先特征后参数，单向 | 特征与参数联合搜索 |
| 开销 | 较低，但容易陷入局部最优 | 较高，但全局收益显著 |
| 适用场景 | 特征稳定、参数敏感度低 | 特征与参数存在强交互 |
| 工程复杂度 | 低，分步进行 | 中等，需要统一搜索框架 |
| 实际收益 | 通常提升 1-3 个点 | 通常提升 3-8 个点 |
你看，收益差距摆在那。我自己的经验是：当特征数量超过 50 个，或者模型参数超过 10 个时，基本就别想着分步走了，一定要协同。
一个小技巧：如果资源有限，可以先跑一轮粗粒度的联合搜索（比如随机搜索），找出最敏感的特征维度和参数维度，再聚焦做精细协同。我经常用这种方法来「砍维度」。
课程目标
这门课不是讲理论数学的，而是讲怎么在工程里落地。具体来说，我希望你学完后能：
- 识别协同机会：能快速判断当前项目里哪些特征和参数存在交互。
- 搭建搜索框架：用 Python 和 Shell 脚本把你现有的流程改造成联合搜索。
- 高效搜索：学会贝叶斯优化、进化算法、多保真度搜索这些实用技术。
- 避坑：知道什么时候不要协同，什么时候必须协同。
我记得有一次帮客户做 CTB 预测模型，他们坚持先做特征工程再调参，折腾了三周没进展。后来我用一个周末重构了搜索流程，加了协同优化，AUC 直接涨了 5%。其实就改了几行代码。所以，这些东西真的很「实在」。
案例简介
整门课我会带着你跑 5 个完整案例，覆盖不同场景：
- 金融风控：逻辑回归 + 特征交叉项 + 正则参数协同搜索。
- 推荐系统：GBDT + 特征组合策略 + 树参数联合调优。
- 图像分类：CNN + 数据增强策略 + 学习率调度参数。
- 时序预测：LSTM + 滞后阶数 + 隐藏单元数量。
- NLP 文本分类：Transformer + 词向量维度 + 注意力头数。
每个案例我都会贴出可运行的代码和配置，你直接改改数据就能用。
注意：协同优化会显著增加搜索空间。如果特征维度超过 1000，参数超过 20，建议先降维或使用代理模型。我曾经在一个项目里盲目扩大搜索空间，结果单次搜索跑了 3 天还没收敛……嗯，从此学会了「量力而行」。
协同优化的知识体系
下面这张图总结了本章的核心逻辑，也是整门课的框架。你可以把它当作一个「路线图」：
你会看到，参数优化、特征工程、模型评估三个模块通过一个协同搜索引擎连接起来，最终输出最优的特征和参数组合。这也是整门课要反复强调的「一体化」思路。
举个接地气的例子
假设你手头有个 LightGBM 模型，特征一共 30 个。传统做法是：先手工做特征筛选，然后固定特征，用 GridSearch 调参。但如果你把特征选择开关（比如要不要用某个聚合特征）也编码成参数，和 learning_rate、num_leaves 一起丢进搜索空间，结果往往更好。
代码看起来大概是这样（只展示思想，细节后面章节会讲）：
# 传统方式：分开搜索
features = select_features(data) # 固定特征
model = LGBMClassifier()
grid = {'lr': [0.01,0.1], 'leaves': [15,31]}
model = GridSearch(model, grid).fit(features, y)
# 协同方式：特征选择也是参数
def build_model(**params):
feat_mask = choose_features(params['feat_mask']) # 根据参数选择特征
model = LGBMClassifier(**params['model_params'])
return model.fit(X[:, feat_mask], y)你看，关键就在于把特征选择和参数搜索「拧」到一个循环里。别小看这个改动，很多项目就是靠这个思路打开局面的。
实操建议：刚开始不要一次把所有东西都塞进去。先选 3-5 个最敏感的参数和 2-3 个特征开关，跑一个简单的随机搜索，看看效果。好的协同是「可控的联合」，不是「乱炖」。
好了，这一章我们理清了「协同优化」到底在说什么，也看到了它和传统串行方式的核心不同。接下来的每一章，我都会用实际案例和代码，带你一步步掌握这个能力。