3. 基线模型选择：如何选择合理的基线模型
在AML对照实验中，基线模型是衡量所有改进模型效果的“标尺”。一个不合理的基线会导致两种严重后果：高估模型效果（基线太弱）或低估改进空间（基线太强）。本章系统阐述基线模型的选择原则、常见类型及其核心特征。
3.1 基线模型的三类候选
根据AML业务场景的成熟度与数据规模，基线模型通常从以下三个层次中选择：
| 层次 | 典型代表 | 适用阶段 | 优势 | 劣势 |
|---|---|---|---|---|
| 规则引擎 | 阈值规则、黑名单、专家评分卡 | 冷启动、数据量小、可解释性要求极高 | 完全可解释、部署快、无数据依赖 | 泛化能力弱、维护成本高、难以捕捉复杂模式 |
| 传统机器学习 | 逻辑回归、随机森林、XGBoost | 有标注数据、特征工程成熟、需要平衡效果与解释性 | 效果优于规则、可解释性中等、训练成本低 | 特征工程依赖高、对非线性时序模式捕捉有限 |
| 简单深度学习 | MLP、浅层LSTM、简单GNN | 数据量大、存在时序/图结构特征、追求更高召回 | 自动特征提取、模式拟合能力强 | 可解释性差、训练成本高、需要更多调参 |
关键原则：基线模型应选择与实验模型同一层次或低一个层次的成熟方案。例如，若实验模型是图神经网络（GNN），基线应选择XGBoost或浅层LSTM，而非直接使用规则引擎。
3.2 基线模型应具备的五大特征
一个合格的基线模型必须同时满足以下特征，否则对照实验的结论将缺乏说服力：
- 可复现性：固定随机种子、数据切分、超参数，确保任何人在相同条件下能复现基线结果。
- 业务合理性：基线模型使用的特征、样本定义、评估窗口必须与业务场景一致，不能为了“显得强”而引入未来信息。
- 效果稳定性：在训练集、验证集、测试集上的性能波动应小于5%（以AUC或F1衡量），避免因随机性导致基线虚高或虚低。
- 计算可负担：基线模型的训练与推理时间应在业务可接受范围内，通常不超过实验模型训练时间的1/3。
- 可解释性：基线模型应能输出特征重要性或决策路径，便于后续分析实验模型相比基线“改进在哪里”。
实操建议：在正式实验前，先对基线模型进行3次独立重复训练，取平均性能作为基线值。若3次结果的标准差超过0.02（AUC），说明基线不稳定，需要检查数据切分或模型收敛问题。
3.3 基线选择决策流程
下图展示了从业务需求出发，逐步确定基线模型类型的决策路径：
3.4 不同场景的基线推荐
以下表格总结了AML领域常见实验场景的基线选择建议：
| 实验场景 | 推荐基线 | 备选基线 | 注意事项 |
|---|---|---|---|
| 交易级异常检测（时序） | 浅层LSTM（1-2层） | XGBoost + 滑动窗口特征 | 基线必须使用相同的时间窗口长度 |
| 账户关联网络分析（图） | 逻辑回归 + 图手工特征 | GCN（2层） | 手工特征需包含节点度、聚类系数等 |
| 客户风险评分（表格数据） | XGBoost | 随机森林 | 确保类别不平衡处理方式与实验模型一致 |
| 可疑交易报告生成（NLP） | TF-IDF + 逻辑回归 | Word2Vec + MLP | 基线应使用相同的文本预处理流程 |
| 冷启动新业务线 | 规则引擎（专家阈值） | 相似业务线迁移模型 | 规则引擎的阈值需通过业务专家评审 |
3.5 基线选择的常见误区
避坑指南：
- 误区一：选择“最差”模型作为基线，以凸显实验模型效果。→ 纠正：基线应代表当前业务可接受的最低标准，而非最低可能。
- 误区二：基线模型与实验模型使用不同的特征集。→ 纠正：基线应使用实验模型特征集的子集或等价手工特征，确保对比公平。
- 误区三：基线模型不做超参数调优。→ 纠正：基线应经过基本的网格搜索或贝叶斯调优，避免因欠拟合导致基线虚低。
- 误区四：在测试集上反复调整基线。→ 纠正：基线一旦确定，在实验过程中不得修改，否则会引入数据泄露。
3.6 基线模型效果验证清单
在正式启动对照实验前，请逐项确认基线模型满足以下条件：
- 数据一致性：基线与实验模型使用完全相同的训练/验证/测试集划分（按时间或按客户ID分层抽样）。
- 评估指标一致：使用相同的评估指标（如AUC、Precision@K、F1），且计算代码经过单元测试。
- 随机种子固定：在模型训练、数据打乱、样本采样等环节固定随机种子（如seed=42）。
- 基线性能记录：记录基线在验证集上的完整性能分布（均值、标准差、95%置信区间）。
- 业务合理性检查：邀请业务专家评审基线模型的Top特征与决策规则，确保没有明显反业务逻辑的模式。
最终建议：基线模型不是“最弱模型”，而是“当前业务条件下最合理的可复现基准”。在AML领域，一个经过良好调优的XGBoost基线往往比一个未经调优的深度学习模型更有对照价值。选择基线时，优先考虑业务可解释性与实验可复现性，其次才是模型复杂度。