2. 科学数据基础与实验设计

代理模型的精度上限,几乎在数据采集阶段就已经被决定了。无论后续选用多么复杂的网络结构或核函数,如果训练数据在输入空间中分布稀疏、存在系统性偏差,或者混入了未标记的异常样本,模型都只能忠实地复现这些缺陷。因此,本节围绕四个相互衔接的环节展开:数据从哪里来、如何在输入空间中布点、如何把原始数据整理成可训练的形式,以及如何划分数据集才能得到可信的泛化评估。

一、三类数据来源及其固有偏差

科学代理模型的数据来源通常分为仿真、实验和观测三类,它们的成本结构、噪声特性和覆盖范围差异显著,直接决定了后续采样策略的选择。

仿真数据由数值求解器(如有限元、CFD、分子动力学)产生,优点是可以在任意输入点取值、可重复、无测量噪声,缺点是存在模型形式误差——代理模型学到的是求解器的行为,而非真实物理。此外,高保真仿真单次计算可能耗时数小时至数天,因此采样预算往往以“仿真次数”而非“数据条数”计量。

实验数据来自风洞、材料试验机、台架等物理装置,反映真实物理但受测量噪声、装置系统误差和工况漂移影响。实验点通常稀少且昂贵,重复性有限,同一工况多次测量可能给出不同的输出值。

观测数据来自传感器网络、遥感、现场监测,特点是样本量大但信噪比低、采样位置不可控、常存在缺失值和量纲不一致问题。例如气象站数据的时间分辨率固定,但空间分布受地形和行政区划影响,天然带有聚集性。

实践中常见的做法是“低保真仿真铺面 + 高保真仿真或实验点校正”的多保真组合。此时必须记录每个样本的保真度标签和来源,否则后续无法进行分层建模或加权融合。

二、采样方法:让有限预算覆盖输入空间

采样方法的核心目标是在给定样本数 N 下,使样本点在 d 维输入空间中尽可能均匀地分布,避免聚集和空洞。三种常用方法各有适用场景。

拉丁超立方采样(LHS)将每个输入维度等分为 N 个区间,在每个区间的每一层中恰好取一个样本,再随机配对各维度的层号。以一维为例,若 N=5,则样本分别落在 [0,0.2)、[0.2,0.4)……五个区间内,保证了一维投影的均匀性。LHS 实现简单,适合中低维(d ≤ 10)问题。其缺点是随机配对可能产生维度间的偶然相关,通常需要配合“最大化最小距离”准则做多次随机重启,从若干候选设计中挑选最小样本间距最大的一个。

正交设计基于正交表安排试验,使各因素的水平组合满足“均衡分散、整齐可比”,能够独立估计各因素的主效应。它特别适合因素数不多、需要做方差分析或筛选显著因素的场景。但正交表的样本数受水平数约束(如三水平正交表至少需 9 次试验),且在高维非线性问题中覆盖能力不如 LHS。

自适应采样不预先固定全部样本点,而是先用少量初始样本(如 10d 个 LHS 点)建立初始代理模型,再根据模型的不确定性或误差指标,在“最值得补充”的位置追加样本。常用准则包括:预测方差最大处(适合高斯过程)、预期改进量最大处、或残差较大的区域加密。自适应采样能把预算集中在响应面剧烈变化或模型置信度低的区域,对存在局部峰谷的响应特别有效,但实现复杂度高,且需要可靠的误差估计。

选择建议:若输入维度低、响应平滑,LHS 加最大最小距离优化即可;若需分析因素显著性,用正交设计;若单次仿真昂贵且响应存在局部剧烈变化,优先考虑自适应采样,初始样本量建议不少于 10 倍维度。

三、数据预处理与质量控制

原始数据进入训练前,需要完成一致性检查和标准化。质量控制至少应覆盖以下几项:

  • 缺失与异常识别:对每个输入维度和输出统计分位数,标记超出物理合理范围的值(如负的温度、超过材料强度的应力)。异常点不能简单删除,应先判断是录入错误还是真实的极端工况。
  • 量纲与量级统一:输入各维量级差异过大会导致距离度量失真。常用做法是对每个维度做 z-score 标准化(减均值除标准差)或归一化到 [0,1],标准化参数必须只用训练集统计量计算,再应用到验证集和测试集,防止信息泄漏。
  • 重复点与冲突处理:同一输入点存在多个输出时(实验重复测量),应保留全部记录并标注,或取均值并记录标准差作为噪声估计,而不是随意保留一条。
  • 来源与保真度标注:为每条样本附加来源字段(仿真/实验/观测)、保真度等级、采集时间,便于后续分层抽样和误差溯源。

一个常见的错误是先用全部数据做标准化再划分数据集,这会让测试集的均值信息提前进入训练过程,导致泛化误差被低估。正确顺序永远是:先划分,再仅用训练集拟合预处理器。

四、训练/验证/测试集划分原则

划分的目标是让评估结果逼近模型在未见输入上的真实表现。三条原则需要同时满足:

分布一致性:三个子集的输入分布应尽量接近总体分布。随机划分在样本量充足时自然满足,但样本稀少时可能造成某子集缺失关键区域。此时可采用分层抽样,按输出值分箱后在各箱内按比例抽取。

独立性:测试集样本不得以任何形式参与训练或超参数选择。若数据来自时间序列或空间相邻点,随机划分会造成“近邻泄漏”——相邻样本高度相关,模型在测试集上的表现会虚高。此时应按时间切分(用早期数据训练、后期数据测试)或按空间区块切分(留出整片区域)。

比例合理:常规比例为 70/15/15 或 80/10/10。当样本量少于数百时,验证集过小会导致超参数选择不稳定,可改用 k 折交叉验证(k=5 或 10),在训练折内部完成验证,最终用独立测试集做一次最终评估。测试集只能使用一次,反复用测试集调参等同于把它变成了验证集。

科学数据从采集到评估的完整链路 数据来源 仿真(可重复、有模型误差) 实验(真实、噪声大、昂贵) 观测(量大、缺失多、不均) 标注来源与保真度 采样设计 LHS:分层均匀,中低维首选 正交设计:因素显著性分析 自适应:误差大处加密 预处理与质控 缺失/异常识别 z-score 标准化 重复点与冲突处理 标准化参数仅用训练集拟合 数据集划分 训练 70% 验证 15% 测试 15% 先划分后标准化 划分三原则与常见陷阱 分布一致性 样本少时按输出分箱分层抽样 避免某子集缺失关键输入区域 陷阱:纯随机划分导致覆盖不均 独立性 时序数据按时间切分 空间数据按区块留出 陷阱:近邻泄漏使测试误差虚低 比例与使用纪律 小样本用 5~10 折交叉验证 测试集只做一次最终评估 陷阱:反复用测试集调参

以一个具体示例说明上述流程。假设要为一维热传导问题建立代理模型,输入为材料导热系数 k ∈ [0.1, 5.0] W/(m·K) 和热源强度 q ∈ [10, 1000] W/m³,输出为峰值温度。若仿真预算为 60 次,可先用 LHS 生成 60 个二维样本点,对每个维度做分层后随机配对,并做 20 次重启取最小间距最大的设计。随后按 42/9/9 划分训练、验证、测试集,仅用 42 个训练样本计算 k 和 q 的均值与标准差,将三个子集统一标准化。若发现峰值温度在 q 接近 1000 且 k 较小时变化剧烈,可在该区域追加 10 个自适应样本,但追加样本只能进入训练集,测试集保持冻结。最终在测试集上报告均方根误差,并同时给出该误差对应的输入区域,才能判断模型是否在整个设计空间内可信。

测试集一旦用于任何决策(包括决定是否追加样本、选择模型结构),其评估结果就不再是无偏估计。若必须迭代,应预留第二个独立测试集,或改用交叉验证在训练集内部完成所有选择。

把以上环节串起来看,数据基础工作的产出不是一堆数字,而是一份可追溯的数据清单:每条样本带有来源、保真度、预处理记录和所属子集标签。这份清单的质量,直接决定了后续训练与验证结论是否站得住脚。