4. 回归模型评价体系
在材料性能机器学习回归工程中，模型训练完成只是起点，真正决定模型能否进入材料研发流程的，是评价体系是否与材料问题的物理意义和工程需求对齐。一个在测试集上R²达到0.95的模型，如果对关键成分区间预测偏差超过工程允许范围，依然不能用于合金设计。因此，本节围绕四个核心问题展开：用什么指标评价、指标之间如何取舍、数据如何划分、以及如何把统计指标翻译成工程语言。
一、四类回归指标的分工与适用边界
MAE（平均绝对误差）计算预测值与真实值绝对偏差的平均，单位与目标性能一致，例如硬度预测中MAE=12 HV，意味着模型平均偏离12个维氏硬度单位。MAE对异常值不敏感，适合描述“典型误差水平”，在材料数据中常用来判断模型是否达到可接受的常规精度。
RMSE（均方根误差）对较大误差施加平方惩罚，因此对离群样本更敏感。当材料数据中存在少量极端值（如某炉次成分偏析导致的异常强度），RMSE会显著高于MAE。若RMSE远大于MAE，说明误差分布中存在少数大偏差样本，需要检查数据质量或模型是否在特定成分区间失效。
R²（决定系数）衡量模型解释的方差比例，取值越接近1越好，但R²高不代表误差小。例如目标性能本身波动范围很大时，R²=0.98仍可能对应较大的绝对误差。因此R²适合作为“整体拟合优度”的快速判断，但不能单独作为工程验收依据。
MAPE（平均绝对百分比误差）将误差归一化为百分比，便于跨性能量纲比较。但材料性能中若存在接近零的数值（如某些电阻率或膨胀系数），MAPE会被放大甚至失去意义。使用MAPE前应确认目标值不接近零，或改用对称MAPE（sMAPE）。
二、指标组合与工程验收逻辑
单一指标容易产生误导，推荐采用“1个主指标+2个辅助指标+1个工程指标”的组合。以材料性能预测为例：主指标选RMSE（关注大误差风险），辅助指标选MAE（描述典型误差）和R²（判断整体趋势），工程指标选ETE命中率。若RMSE=18 MPa、MAE=11 MPa、R²=0.94、ETE命中率=93%（ETE=25 MPa），则模型在统计和工程两个层面均通过验收。
当指标之间出现矛盾时，优先级应为：ETE命中率 > RMSE > MAE > R²。因为工程容忍误差直接对应材料是否可用，RMSE反映最坏情况风险，MAE和R²用于诊断模型是否还有改进空间。
三、训练集、验证集与测试集划分策略
材料数据通常样本量有限（几十到几千条），且存在成分、工艺、性能之间的强相关性。简单的随机划分会导致同一批次或同一成分体系的样本同时出现在训练集和测试集中，造成数据泄漏，使测试指标虚高。针对材料性能预测，推荐以下划分策略：
- 按材料体系分组划分：若数据包含多个合金系或材料家族，应按体系分组，确保测试集中的材料体系在训练集中未出现过。例如研究高温合金时，用GH4169和GH4738训练，用GH4099测试，检验模型对未见体系的泛化能力。
- 按工艺批次划分：若同一批次内样本高度相似，应按批次划分，避免同批次样本跨集。
- 分层抽样：对目标性能进行分箱，按箱分层抽样，保证训练集、验证集、测试集的性能分布一致。例如将屈服强度按四分位数分箱，每箱按7:1.5:1.5比例分配。
- 时间外推划分：若数据有时间顺序（如不同年份的实验数据），用早期数据训练、后期数据测试，模拟真实研发中的“用历史数据预测新实验”场景。
典型比例为训练集70%、验证集15%、测试集15%。若样本量少于200条，可采用5折交叉验证替代固定验证集，但必须保留一个独立的测试集用于最终验收。测试集在模型开发全过程中不得参与任何调参或特征选择。
四、从统计指标到工程判断的落地示例
假设某团队用梯度提升树预测镍基合金的屈服强度，数据集包含1200条记录，覆盖5个合金体系。按体系分组后，训练集840条（4个体系）、验证集180条（1个体系）、测试集180条（1个体系）。训练后得到：训练集RMSE=8 MPa、验证集RMSE=15 MPa、测试集RMSE=18 MPa。训练集与验证集差距明显，说明模型存在一定过拟合，但测试集RMSE仅比验证集高3 MPa，泛化能力尚可。
进一步计算测试集ETE命中率（ETE=25 MPa）：180条中167条落在±25 MPa内，命中率92.8%，满足≥90%的工程要求。此时可以判断：模型虽然R²=0.94并非极高，但工程可用性达标，可进入候选材料筛选阶段。若ETE命中率低于85%，即使R²=0.97，也应优先检查数据划分是否泄漏，或目标性能是否在特定成分区间存在系统性偏差。
五、划分策略与指标选择的协同检查清单
| 检查项 | 推荐做法 | 不通过时的风险 |
|---|---|---|
| 数据泄漏 | 按材料体系或批次分组划分 | 测试指标虚高，实际预测失效 |
| 分布一致性 | 对目标性能分层抽样 | 测试集偏向某性能区间，指标失真 |
| 指标组合 | RMSE+MAE+R²+ETE命中率 | 单一指标误导模型选择 |
| 工程阈值 | 由应用场景定义ETE，如±25 MPa | 统计达标但工程不可用 |
| 测试集纪律 | 仅最终验收使用一次 | 指标乐观，泛化能力被高估 |
总结来说，材料性能回归的评价体系不是选一个指标算一个数，而是把数据划分、指标组合和工程容忍误差串成一条验收链。划分策略决定指标是否可信，指标组合决定诊断是否全面，工程容忍误差决定模型是否可用。三者缺一不可，共同构成材料机器学习回归工程的评价闭环。