📚 课程目录第4章数据划分与评估指标

4、数据划分与评估指标：训练集/验证集/测试集划分策略、回归（RMSE、R²）与分类（准确率、F1）指标

在光谱特征波段筛选与机器学习建模实战中，数据划分与评估指标是连接模型训练与业务落地的关键桥梁。光谱数据通常具有高维度、强共线性、样本量相对有限等特点，若划分策略不当，极易导致模型过拟合或评估结果失真；若评估指标选择错误，则可能掩盖模型在特定类别或极端值上的缺陷。本章将系统讲解训练集、验证集、测试集的科学划分方法，并深入剖析回归任务中的RMSE、R²以及分类任务中的准确率、F1指标的内涵、适用场景与计算陷阱，帮助读者建立一套严谨的模型验证与效果评估体系。

4.1 数据划分的核心原理与策略

光谱建模中的数据划分并非简单的随机抽样，而是需要综合考虑样本分布、类别平衡、时间序列特性以及光谱采集条件等多重因素。训练集用于拟合模型参数，验证集用于模型选择与超参数调优，测试集则模拟未来未知样本，评估模型的真实泛化能力。三者必须严格隔离，任何数据泄漏都会导致评估结果虚高。

4.1.1 三种数据集的职责边界

训练集（Training Set）承担模型权重学习任务，在光谱建模中通常用于PLS、SVM、随机森林等算法的参数拟合。验证集（Validation Set）在训练过程中反复使用，用于监控过拟合、调整正则化参数、选择最优特征子集或决定早停时机。测试集（Test Set）仅在模型完全确定后使用一次，模拟实际部署场景中的未知样本。需要特别强调的是，验证集参与模型选择过程，因此其评估结果仍存在一定的乐观偏差，只有测试集才能给出无偏的泛化性能估计。

4.1.2 划分比例与样本量考量

对于光谱数据，常见的划分比例为60%训练、20%验证、20%测试。但当样本总量较少（如少于100个样本）时，简单的比例划分可能导致验证集或测试集样本过少，统计意义不足。此时可考虑采用分层抽样（Stratified Sampling）保证各类别样本比例一致，或采用K折交叉验证（K-Fold Cross-Validation）替代单一的验证集划分。对于时间序列光谱数据（如过程监测中的在线光谱），必须按时间顺序划分，禁止随机打乱，否则会引入未来信息泄漏。

划分策略	适用场景	优点	缺点
简单随机划分	样本量大、类别均衡	实现简单、计算快	小样本下可能分布不均
分层随机划分	分类任务、类别不平衡	保持各类别比例一致	需预先知道类别标签
K折交叉验证	样本量有限、需稳定评估	充分利用数据、评估稳定	计算开销大
时间序列划分	在线监测、过程分析	避免未来信息泄漏	无法随机化、受时间漂移影响
Kennard-Stone算法	光谱样本代表性选择	基于欧氏距离最大化样本多样性	计算复杂度较高

4.1.3 光谱数据特有的划分注意事项

光谱数据常存在同源样本（如同一批次、同一采样点）之间的高度相关性。若这些样本被同时分入训练集和测试集，模型会因"记忆"相似光谱而获得虚高的评估结果。因此，在划分时应尽量保证同一来源的样本只出现在一个数据集中。此外，光谱采集时的环境条件（温度、湿度、仪器状态）可能引入系统漂移，划分时应考虑将不同批次的光谱均匀分配到各数据集中，避免测试集与训练集存在明显的条件分布差异。

风险提示：切勿在特征筛选或数据预处理（如标准化、降维）之前划分数据集。正确的流程是：先划分训练集、验证集、测试集，再在训练集上计算均值和标准差，并将该均值和标准差应用于验证集和测试集的标准化。若先对全数据集做标准化再划分，会造成信息泄漏，使测试集评估结果偏乐观。

4.2 回归任务评估指标：RMSE与R²

光谱建模中回归任务极为常见，如利用近红外光谱预测物质浓度、水分含量、硬度等连续变量。评估回归模型的核心指标包括RMSE（均方根误差）和R²（决定系数），两者从不同角度刻画模型预测精度。

4.2.1 RMSE的计算与解读

RMSE（Root Mean Square Error）定义为预测值与真实值之差的平方和的平均值的平方根，计算公式为：

RMSE = sqrt( (1/n) * Σ(y_i - ŷ_i)² )

其中y_i为第i个样本的真实值，ŷ_i为模型预测值，n为样本数。RMSE的单位与目标变量一致，因此可以直接反映预测误差的大小。例如，若预测水分含量，RMSE=0.5%表示平均预测误差约为0.5个百分点。RMSE对大误差敏感，因为误差被平方后放大，这意味着RMSE能够有效惩罚那些偏差较大的预测结果。然而，这也导致RMSE容易受离群点影响，若数据中存在少量异常样本，RMSE可能显著增大。

4.2.2 R²的决定系数含义

R²（Coefficient of Determination）表示模型解释的方差占目标变量总方差的比例，计算公式为：

R² = 1 - SS_res / SS_tot

其中SS_res为残差平方和（Σ(y_i - ŷ_i)²），SS_tot为总平方和（Σ(y_i - ȳ)²），ȳ为目标变量的均值。R²的取值范围通常为0到1，R²=1表示模型完美拟合，R²=0表示模型预测效果等同于直接用均值预测。在实际光谱建模中，R²大于0.9通常被认为模型具有较好的预测能力，但需结合RMSE一起判断。值得注意的是，R²可能为负值，当模型预测效果比简单用均值预测还差时，R²为负，这通常意味着模型严重过拟合或数据存在异常。

4.2.3 回归指标的综合应用案例

假设我们使用近红外光谱预测玉米粉末中的蛋白质含量，训练集包含120个样本，验证集30个，测试集30个。经过特征波段筛选（如CARS算法）和PLS回归建模后，得到以下结果：

训练集：RMSE = 0.32%，R² = 0.97
验证集：RMSE = 0.45%，R² = 0.94
测试集：RMSE = 0.51%，R² = 0.92

从训练集到测试集，RMSE逐渐增大、R²逐渐降低，这是正常现象，说明模型存在轻微的过拟合但整体泛化能力良好。若测试集RMSE远大于验证集（如超过1.5倍），则需检查是否存在数据泄漏或测试集分布与训练集差异过大。若验证集R²远低于训练集（如从0.97降至0.80），则说明模型过拟合严重，需要增加正则化或减少特征数量。

经验建议：在光谱建模中，建议同时报告RMSE和R²，并补充RPD（Residual Prediction Deviation，残差预测偏差）指标。RPD = SD / RMSE，其中SD为目标变量的标准差。RPD大于3表示模型预测能力优秀，2-3之间表示良好，1.5-2之间表示可用，小于1.5则模型基本不可用。

4.3 分类任务评估指标：准确率与F1

光谱分类任务包括品种鉴别、真伪识别、等级判定等。分类评估指标中，准确率（Accuracy）是最直观的指标，但在类别不平衡时可能产生误导，此时F1分数更为可靠。

4.3.1 混淆矩阵与基础指标

分类评估的基础是混淆矩阵（Confusion Matrix），对于二分类问题，包含四个基本元素：真正例（TP）、假正例（FP）、真负例（TN）、假负例（FN）。基于混淆矩阵，可以计算以下指标：

准确率（Accuracy） = (TP + TN) / (TP + FP + TN + FN)，表示所有样本中被正确分类的比例。
精确率（Precision） = TP / (TP + FP)，表示被预测为正类的样本中实际为正类的比例，衡量查准率。
召回率（Recall） = TP / (TP + FN)，表示实际为正类的样本中被正确预测的比例，衡量查全率。
F1分数 = 2 × Precision × Recall / (Precision + Recall)，是精确率和召回率的调和平均。

4.3.2 类别不平衡场景下的指标选择

在光谱分类中，类别不平衡问题十分常见。例如，在农产品真伪鉴别中，正品样本可能有500个，而假冒样本仅有50个。若模型将所有样本都预测为正品，准确率仍高达90.9%，但该模型毫无实用价值。此时，F1分数能更真实地反映模型对少数类的识别能力。对于多分类问题，可计算宏平均F1（Macro-F1，各类别F1的算术平均）或微平均F1（Micro-F1，基于全局混淆矩阵计算）。宏平均F1对少数类更敏感，微平均F1受多数类影响更大。

4.3.3 分类评估实战案例

假设我们使用拉曼光谱对三种食用油（花生油、橄榄油、玉米油）进行品种鉴别，共采集300个样本，每类100个。采用支持向量机（SVM）建模，测试集包含60个样本（每类20个）。模型预测结果如下：

实际类别	预测花生油	预测橄榄油	预测玉米油	召回率
花生油（20个）	18	1	1	90%
橄榄油（20个）	0	19	1	95%
玉米油（20个）	2	0	18	90%

整体准确率 = (18+19+18)/60 = 91.7%。各类别精确率分别为：花生油18/(18+0+2)=90%，橄榄油19/(19+1+0)=95%，玉米油18/(18+1+1)=90%。宏平均F1 = (90%×90%×2/(90%+90%) + 95%×95%×2/(95%+95%) + 90%×90%×2/(90%+90%))/3 = 91.7%。该结果表明模型对三类油的鉴别能力均衡且良好。

4.4 常见误区与总结复盘

在数据划分与评估指标应用中，初学者常犯以下错误，需要特别警惕：

  误区一：先预处理后划分。对全数据集进行标准化、降维后再划分，导致测试集信息泄漏。正确做法是先划分，再在训练集上拟合预处理参数。
  
  误区二：多次使用测试集。反复用测试集调参或选择模型，使测试集逐渐"变成"验证集，最终评估结果失去客观性。测试集应只使用一次。
  
  误区三：仅关注准确率。在类别不平衡时，准确率可能虚高。应结合F1分数、混淆矩阵综合判断。
  
  误区四：忽略RMSE与R²的矛盾。有时R²很高但RMSE也不小，这是因为目标变量方差大。应同时关注两个指标，并结合业务需求判断可接受的误差范围。

总结复盘：数据划分是模型评估的基石，必须遵循"训练-验证-测试"三集分离原则，并根据光谱数据特性选择分层抽样或Kennard-Stone等高级划分方法。回归任务中，RMSE提供误差度量，R²提供相对解释能力度量，两者互补使用。分类任务中，准确率适合类别均衡场景，F1分数更适合类别不平衡场景。在实际项目中，建议建立标准化的评估流程：先划分数据集，再在训练集上做特征筛选和模型训练，用验证集调优，最后用测试集做一次性的最终评估，并记录所有关键指标供后续对比。