4. 数据预处理与物理一致性检查
在实验数据与物理方程融合建模中,原始测量数据几乎不可能直接进入模型。传感器噪声、采样丢点、量纲差异、异常尖峰都会干扰参数辨识与方程约束。更隐蔽的问题是:数据在统计上"干净",却违反了质量守恒、能量守恒或几何相容性等物理规律。因此,预处理不仅要让数据"好看",更要让数据"讲物理"。本节围绕清洗、去噪、归一化三步预处理,以及基于守恒律的一致性检验与异常检测展开。
一、数据清洗:先保证样本可信
清洗的目标是识别并处理三类问题:缺失值、重复采样点和明显越界的野值。以某换热实验为例,温度采集通道以 10 Hz 采样,记录中出现连续 3 个采样点为空、某时刻进出口温差为负、以及同一时间戳重复两次的情况。处理策略应分情况:
- 缺失值:短缺口(少于 5 个采样点)用线性插值或三次样条补齐;长缺口不插值,直接标记为无效段,避免伪造动态信息。
- 重复点:同一时间戳保留均值或首值,并记录重复次数作为质量标记。
- 野值:先用物理量程粗筛(如水温不可能低于 0 ℃ 或高于 100 ℃),再用统计准则细筛。对近似正态的残差可用 3σ 准则;对偏态数据改用中位数绝对偏差(MAD),阈值取 \(|x_i-\tilde{x}|>3\times1.4826\times\mathrm{MAD}\)。
清洗后应保留一份"掩码"记录哪些点被修改、哪些被剔除,后续一致性检验要基于掩码判断异常是测量问题还是物理问题。
二、去噪:区分噪声与真实动态
去噪不能一味平滑。实验数据中常混有高频电磁噪声与真实的高频动态(如阀门切换引起的压力波动)。常用方法有三类:滑动平均适合缓变信号但会引入相位滞后;Savitzky-Golay 滤波在窗口内做低阶多项式拟合,能较好保留峰形,示例取窗口 11 点、二阶多项式;小波阈值去噪适合非平稳信号,对突变保留更好。选择依据是信号的截止频率与噪声频带是否分离。若采样率 10 Hz、关心的动态低于 0.5 Hz,而噪声集中在 3 Hz 以上,则低通滤波即可;若两者频带重叠,应优先用 Savitzky-Golay 或小波方法,并在去噪前后对比残差的自相关,确认没有把物理动态当噪声抹掉。
三、归一化:让不同量纲的通道可比
融合建模中,温度(℃)、流量(kg/s)、压力(kPa)量级相差数个数量级,直接进入优化会让大数值通道主导残差。常用两种归一化:最小-最大归一化 \(x'=(x-x_{\min})/(x_{\max}-x_{\min})\) 把数据映射到 [0,1],适合边界明确的工况;Z-score 标准化 \(x'=(x-\mu)/\sigma\) 适合近似对称分布。关键原则是:归一化参数只能由训练段统计得到,再应用到验证段,否则会造成信息泄漏。同时要记录反归一化映射,因为物理方程中的守恒关系是在原始量纲下成立的,检验时必须还原。
四、基于守恒律的一致性检验
物理一致性检验的核心思路是:把守恒律写成残差,再看残差是否落在测量不确定度允许的范围内。以稳态换热段为例,质量守恒要求进口流量之和等于出口流量之和,能量守恒要求换热量等于流量乘比热乘温差。设某时刻测得冷侧流量 0.42 kg/s、热侧 0.40 kg/s,两侧流量计精度均为 ±1.5%,则质量残差 0.02 kg/s 相对 0.41 kg/s 约 4.9%,已超过合成不确定度(约 2.1%),应判为可疑点。此时不要急着删数据,而应结合掩码判断:若该时刻恰有清洗标记,可能是插值引入的偏差;若无标记,则可能是流量计漂移或存在未记录的旁路泄漏。
能量残差检验同理。用 \(r_E = \dot{m}c_p\Delta T - \dot{Q}\) 计算逐点残差,再以滑动窗口统计残差的均值与标准差。若残差均值显著偏离零,说明存在系统性偏差(如比热取值不当、传感器标定偏移);若残差标准差突增,说明该时段动态剧烈或噪声增大。阈值可设为 \(3\sigma_r\),其中 \(\sigma_r\) 由稳定工况段估计,而不是全段估计,避免异常段污染基准。
五、异常检测与处置
异常检测可分层进行:第一层是物理层,用守恒残差和量程约束筛出"不可能"的点;第二层是统计层,用 MAD 或 3σ 找出偏离分布的孤立点;第三层是时序层,用滑动窗口残差均值检测持续性漂移。三层结果合并后,按"物理违反优先"原则处置:物理层报警的点不参与参数辨识,统计层报警的点降权使用,时序层报警则触发传感器复核。
处置后要形成可追溯的记录,至少包含时间戳、通道、残差数值、阈值、判定层级和处置动作。这份记录既是数据质量的证据,也是后续模型残差分析的输入——如果融合模型在某些时段残差偏大,回查这份记录往往能发现是数据侧的问题而非模型侧的问题。
综上,预处理与一致性检验是一条闭环链路:清洗保证样本可信,去噪保留真实动态,归一化统一尺度,守恒检验把数据拉回物理约束,异常检测则给出可追溯的处置依据。只有这条链路走通,后续的物理方程融合建模才有可靠的数据基础。