模型选择概述：为什么需要模型选择？

做机器学习这几年，我见过最常踩的坑就是：拿到数据就往模型上怼，哪个跑得快用哪个。说实话，这么搞十有八九要翻车。你想想看，回归、分类、排序，每种场景的底层逻辑都不一样，随机森林、SVM、XGBoost这三兄弟各有脾气。选错了模型，再怎么调参都是白费力气。

我记得刚入行那会儿，接了一个用户购买预测的回归任务。我看XGBoost在Kaggle上风头正劲，二话不说开了个超级参数搜索。折腾了两天，效果还不如一个带正则的线性回归。后来才发现，数据量只有几百条，特征全是稀疏的类别变量——XGBoost这种树模型在这种场景下很容易过拟合。从那以后，我养成了一个习惯：动手之前先问自己三个问题——任务类型是什么？数据长什么样？我需要模型解释给谁听？

一个简单的自检清单：
  • 任务目标——回归、分类还是排序？
  • 样本量和特征维度——小样本还是高维稀疏？
  • 可解释性要求——业务要“黑盒”还是“白箱”？
  • 训练时间限制——线上服务还是离线分析？

一个模型打天下？不可能

很多初学者会问：为什么不直接选一个最强的模型？说白了，没有“最强”，只有“最合适”。你且看下面这个对比表，就清楚了。

场景 随机森林 SVM XGBoost
回归（连续值预测） 稳健，对异常值不敏感 需要调核函数，稀疏数据表现好 精度高，但易过拟合小样本
分类（二分类/多分类） 默认基线，特征重要性直观 高维特征下线性核快，RBF核调参复杂 多数竞赛分类冠军，但超参多
排序（LTR，搜索/推荐） 不直接支持，需额外包装 通过RankSVM可实现，但效率低 原生支持pairwise/listwise排序目标

这个表是我在几个实际项目中反复验证过的。你看排序那一行，XGBoost原生支持rank:ndcg目标函数，做搜索排序的时候，SVM还得自己写Pairwise损失，随机森林更是连排序损失函数都没有。所以，场景定了，模型的候选就少了一半。

下面这个流程图能帮你快速定位该试哪个模型。

模型选择决策流程 开始：新任务 任务类型：回归 / 分类 / 排序 数据量 < 500 / ≥ 500 特征维度：低 < 100 / 高 ≥ 100 需要可解释性？是 / 否 最终候选模型 （RF / SVM / XGB） 说明： - 小样本 + 低维 → 优先试线性SVM或带正则的LR；试试随机森林也不错。 - 大样本 + 高维 + 不要求解释 → 直接上XGBoost，调好学习率和树深度。 - 排序任务 → 首选XGBoost rank:ndcg，别在SVM上死磕。

这个流程图是我在团队里常用的一个决策模板。当然，它不是绝对的，但能帮你第一个实验就从最可能的方向入手，省掉很多试错成本。

回归场景下的考量

做回归，说白了就是预测一个连续值。比如销量预测、房价预测、温度预测。这三种模型在回归上的表现差异很大。

  • 随机森林回归：不用做特征缩放，处理缺失值能力不错。但它在边界预测上很保守——永远跳不出训练集最大值和最小值的范围。我遇到过客户要预测下季度销售额可能超过历史峰值，随机森林直接认怂了。这种情况，XGBoost加上线性基学习器反而能给出外推。
  • SVM回归（SVR）：适合中等规模、特征维度不高的数据集。核函数选RBF时，需要仔细调gamma和C。我在一个工业传感器预测项目中用过SVR，精度比随机森林高3%，但训练时间花了10倍。
  • XGBoost回归：目前在结构化数据回归上很能打。它原生支持reg:squarederror和reg:logistic，还能通过自定义目标函数处理比如分位数损失。但要注意：样本量少于1000时，很容易过拟合，必须配合早停策略。
避坑指南：我曾经在一个回归比赛中照搬了XGBoost默认参数，结果验证集和测试集差了20%。后来把max_depth从6降到3，learning_rate设成0.01，加上500轮早停，才稳定下来。小样本、高噪声场景，树深度最好控制在4以下。

分类场景下的考量

分类是机器学习最经典的任务。二分类、多分类、不平衡分类，模型的差异很值得琢磨。

分类子场景 推荐首选 为什么？
二分类，特征少（<50） SVM（线性核或RBF核） 边界清晰，泛化能力强，调参少
多分类，样本均衡 XGBoost 可并行训练，支持softmax，准确率通常最高
类别极不平衡 随机森林（class_weight=balanced） 对不敏感，能自然处理小类别；XGBoost需调scale_pos_weight
高维稀疏（文本分类） 线性SVM 速度快，稀疏数据上表现好；树模型容易过拟合

有一次我做一个企业客户的风控模型，二分类，但好客户和坏客户比例是100:1。当时用的XGBoost，怎么调scale_pos_weight效果都不理想。后来换成了随机森林，设了class_weight='balanced'，KS值直接涨了0.15。碰到不平衡，多试试Bagging类模型，别只盯着Boosting。

排序场景下的考量

排序学习（Learning to Rank）在搜索、推荐、广告里太常见了。给定一组候选，目标是输出一个最优排序。三种模型在这一领域的原生支持完全不同。

  • 随机森林：没有直接支持排序损失函数。你需要自己构建pairwise样本（比如query: x_i 比 x_j 更相关），然后用回归或分类包装。效率低，效果好不到哪去。我不建议在排序任务上浪费精力调随机森林。
  • SVM (RankSVM)：经典的了，通过约束w·x_i > w·x_j来学习排序。但训练复杂度是O(n^2)样对级别，数据量一大就爆炸。我在一个百万级URL排序任务上跑过RankSVM，跑了三天没出结果，果断放弃了。
  • XGBoost：天生为排序优化。内置rank:ndcg、rank:map、rank:pairwise等目标。训练时只需传入qid（查询分组），模型自动在组内计算排序损失。我现在遇到的排序项目，基本无脑选XGBoost。
# 快速体验XGBoost排序（使用Python）
import xgboost as xgb

# 假设train_data有特征X，分组qid，标签label（二分类相关/不相关）
dtrain = xgb.DMatrix(X, label=label)
dtrain.set_group(qid)  # 每个qid对应一个query的样本数

params = {
    'objective': 'rank:ndcg',
    'learning_rate': 0.1,
    'max_depth': 6,
    'eval_metric': 'ndcg@5'
}
model = xgb.train(params, dtrain, num_boost_round=100)

代码里那个set_group很容易被忽略。我曾经忘了设分组，XGBoost当成回归跑，NDCG只有0.5。加上分组之后直接蹦到0.78。排序场景下，数据必须带query分组信息，这个细节千万别漏。

注意：排序任务的评价指标建议用NDCG或MAP，不要只看准确率。准确率在排序里没有任何意义，因为用户只看Top K的结果排序质量。

一点个人经验

说了这么多，其实就一句话：模型选择不是玄学，是一套可复用的决策框架。我建议你每次拿到新任务，先对着这张表和流程图过一遍，选出两三个候选模型，然后做个快速交叉验证对比。三四个小时就能确定方向，而不是盲试一周。

← 上一章 📖 返回目录 下一章 →