3. AutoML核心概念

在金融建模中，一个可用的模型往往不是“训练”出来的，而是被“搜索”出来的。AutoML 的价值，正是把数据预处理、特征构造、超参数调优、网络结构设计以及模型融合这些原本依赖专家经验的环节，转化为可定义、可搜索、可比较的自动化流程。本节围绕五个核心概念展开：自动化特征工程、超参数优化、神经架构搜索、集成学习与元学习，并说明它们在金融场景中的协作方式。

一、自动化特征工程：让数据自己“说话”

金融数据具有低信噪比、强时序性和高维度稀疏性。自动化特征工程的目标，是在有限的人工干预下，自动生成、筛选和变换特征。常见手段包括：对数值型变量做分箱、交叉、多项式展开；对时序变量做滑窗统计、差分、滚动均值与波动率；对类别变量做目标编码或频率编码；再通过方差过滤、相关性剔除、递归特征消除或基于模型的重要性排序完成特征选择。

在信用评分场景中，原始字段可能只有“近6个月查询次数”“当前逾期金额”等，自动化流程可以派生出“查询次数/账龄”“逾期金额/授信额度”“近3月查询趋势”等组合特征，并自动保留对违约标签区分度最高的子集。需要注意的是，金融特征工程必须防止未来信息泄露，所有滑窗和统计量只能使用当前时点之前的数据。

二、超参数优化：在参数空间中寻找稳健解

超参数优化（HPO）关注的是模型外部参数的搜索，例如学习率、树深度、正则系数、批大小等。常用方法包括网格搜索、随机搜索、贝叶斯优化、Hyperband 以及基于种群的训练。金融数据噪声大，最优超参数往往并不等于最稳健参数，因此目标函数通常需要同时考虑验证集 AUC、回撤、换手率或稳定性惩罚。

# 以 Optuna 为例的金融风控超参数搜索片段
import optuna

def objective(trial):
    params = {
        "learning_rate": trial.suggest_float("lr", 1e-4, 0.1, log=True),
        "max_depth": trial.suggest_int("max_depth", 3, 10),
        "subsample": trial.suggest_float("subsample", 0.6, 1.0),
        "reg_lambda": trial.suggest_float("reg_lambda", 1e-3, 10.0, log=True),
    }
    score = train_and_validate(params)  # 返回时间序列交叉验证 AUC
    return score

study = optuna.create_study(direction="maximize")
study.optimize(objective, n_trials=80)
print(study.best_params)

该片段展示了如何把超参数搜索嵌入金融验证流程。实际项目中，还应记录每次试验的验证曲线与资源消耗，避免只盯住单一指标。

三、神经架构搜索与集成学习：结构搜索与模型融合

神经架构搜索（NAS）用于自动设计神经网络的结构，包括层数、连接方式、卷积核大小、注意力模块等。在金融时序预测中，NAS 可以搜索适合多尺度窗口的时序卷积结构或 Transformer 变体。但 NAS 计算成本高，通常需要配合权重共享、代理模型或早停策略。

集成学习则是在已有模型基础上做“组合优化”。金融场景常用 Bagging 降低方差、Boosting 提升弱学习器、Stacking 融合异质模型。AutoML 系统会自动尝试不同基模型与融合策略，并依据验证集表现选择最终集成方案。二者关系可概括为：NAS 搜索“单个模型的结构”，集成学习搜索“多个模型的组合”。

四、元学习：让搜索本身“学会搜索”

元学习关注的是“如何更快地学习”。在 AutoML 中，元学习可以利用历史任务的经验，为新数据集推荐合适的模型、超参数区间或特征变换策略。例如，当系统识别到新任务具有“高维稀疏、类别不平衡、时序依赖”等元特征时，可以优先尝试此前在相似金融任务上表现良好的配置，从而减少搜索次数。

元学习与超参数优化的区别在于：HPO 在单个任务内搜索，元学习跨任务积累经验。对于需要频繁建模的信贷、反欺诈、量化选股团队，元学习能显著降低重复试错成本。

五、常见误区与复盘清单