3. 线性核与多项式核：原理、参数调优、适用场景与代码实现
说到核函数，线性核和多项式核是最基础的两个。我刚开始接触SVM时，总觉得核函数很玄乎，说白了就是“升维打击”的工具。但用久了你会发现，选对核函数比调参重要十倍。
3.1 线性核：最朴素的分类器
线性核的数学形式很简单：K(x, y) = x · y。就是两个向量的内积。嗯，它其实等价于没有使用核技巧的原始SVM。
核心特点：
- 参数极少：只有一个惩罚系数C
- 训练速度快：尤其适合高维稀疏数据
- 可解释性强：权重向量w可以直接解读
我在项目中遇到过这样一个场景：做文本分类时，特征维度动辄上万，用线性核训练只需要几秒钟，换成RBF核直接卡死。你想想看，当特征维度已经很高时，数据在高维空间里本身就容易线性可分，何必多此一举去升维？
3.2 多项式核：引入非线性
多项式核的公式：K(x, y) = (γ · x · y + r)^d。这里有三个参数要调：γ（gamma）、r（coef0）、d（degree）。
我个人习惯把多项式核理解为“在原始特征上做多项式组合”。比如二维特征(x1, x2)，degree=2时，相当于映射到了(x1², x2², x1·x2, x1, x2, 1)这个六维空间。
参数调优经验：
- degree一般不超过5，否则容易过拟合
- r默认0，但处理非负数据时建议设为1
- γ通常取1/n_features或更小
3.3 适用场景对比
| 场景 | 推荐核函数 | 原因 |
|---|---|---|
| 文本分类（高维稀疏） | 线性核 | 维度高，线性可分概率大 |
| 图像识别（低维密集） | 多项式核/RBF | 需要捕捉特征交互 |
| 生物信息学（中等维度） | 多项式核 | 特征间存在多项式关系 |
| 大规模数据 | 线性核 | 训练速度快，内存占用小 |
我曾经犯过一个错误：在基因表达数据上直接用RBF核，结果调参调了三天效果还是不行。后来换成多项式核，degree=3，效果立竿见影。为什么？因为基因间的调控关系本质上就是高阶多项式组合。
3.4 代码实现与调参实战
下面我用scikit-learn演示线性核和多项式核的用法。注意看参数传递方式。
from sklearn.svm import SVC
from sklearn.datasets import make_classification
from sklearn.model_selection import GridSearchCV
# 生成模拟数据
X, y = make_classification(n_samples=1000, n_features=20,
n_informative=15, random_state=42)
# 线性核SVM
linear_svm = SVC(kernel='linear', C=1.0)
linear_svm.fit(X, y)
print(f"线性核准确率：{linear_svm.score(X, y):.3f}")
# 多项式核SVM
poly_svm = SVC(kernel='poly', degree=3, gamma='scale', coef0=1.0)
poly_svm.fit(X, y)
print(f"多项式核准确率：{poly_svm.score(X, y):.3f}")
# 网格搜索调参（多项式核）
param_grid = {
'degree': [2, 3, 4],
'gamma': ['scale', 'auto', 0.1, 0.01],
'coef0': [0.0, 1.0, 2.0]
}
grid = GridSearchCV(SVC(kernel='poly'), param_grid, cv=5)
grid.fit(X, y)
print(f"最佳参数：{grid.best_params_}")
print(f"最佳得分：{grid.best_score_:.3f}")避坑指南：
我曾经在多项式核的degree上踩过坑。当时为了追求高准确率，把degree设到了10，结果训练集准确率99%，测试集直接掉到60%。记住：多项式核的degree越高，模型越复杂，过拟合风险呈指数级增长。
3.5 知识体系结构
下面这张图展示了线性核与多项式核在整个核函数体系中的位置，以及它们之间的核心区别。
这张图把两个核函数的核心要素都列出来了。我个人建议：当你面对一个新数据集时，先用线性核跑一遍，如果效果不理想再考虑多项式核。别一上来就上复杂的核函数，那是给自己找麻烦。
我的调参口诀：
线性核只调C，从0.1到100按数量级试。多项式核先定degree（2或3），再调γ和r。记住：degree每增加1，模型复杂度翻倍。
最后说一句：核函数的选择没有银弹。我在不同项目里试过各种组合，最终发现最好的方法就是交叉验证+网格搜索。别嫌麻烦，这步省了，后面调参更痛苦。
想要更多资料，联系可可