4、数据清洗与预处理：缺失值处理、异常值检测、数据平滑、降噪、重采样、坐标变换与单位统一
仿真计算完成后，原始结果数据往往不能直接用于分析、对比或报告。无论是CFD流场、有限元应力分布，还是多体动力学响应，仿真输出都可能包含无效网格节点、发散残差导致的异常跳变、高频数值振荡、非均匀时间步长，以及不同坐标系或单位制下的数据混杂。数据清洗与预处理是连接“仿真计算”与“工程决策”的桥梁，其质量直接决定后处理结论的可靠性。本章围绕六大核心任务——缺失值处理、异常值检测、数据平滑与降噪、重采样、坐标变换与单位统一，系统讲解其原理、方法、操作流程及工程注意事项。
4.1 缺失值处理：从“补全”到“不引入偏差”
4.1.1 核心原理与缺失来源
仿真结果中的缺失值（NaN、Inf或空值）通常源于三类情况：网格质量问题（如负体积单元导致该处物理量无法计算）、求解器发散（某时间步或迭代步未收敛，输出为无效值）、数据导出截断（后处理软件在插值到新网格时，超出原始域范围产生空洞）。缺失值不能简单忽略，因为多数后处理算法（如云图绘制、积分计算、FFT变换）要求输入数据完整。
4.1.2 处理方法选择矩阵
| 方法 | 适用场景 | 优点 | 风险 |
|---|---|---|---|
| 直接删除 | 缺失点<5%且非关键区域 | 简单快速 | 破坏网格拓扑，积分结果偏差 |
| 线性插值 | 时间序列或规则网格 | 保持局部趋势 | 在梯度剧烈区产生平滑误差 |
| 样条插值 | 光滑物理场（温度、压力） | 二阶连续，精度高 | 过冲（Runge现象） |
| 邻近填充 | 空间离散点云 | 稳健 | 在边界层或激波处失真 |
| 物理模型外推 | 已知控制方程（如边界层） | 符合物理规律 | 实现复杂，需专业判断 |
4.1.3 操作流程与案例拆解
以某离心压气机叶轮CFD结果为例，在叶尖间隙区域存在约3%的网格节点压力值为NaN。初始现象：后处理计算等熵效率时，积分结果异常偏低。分析判断：缺失值集中在叶尖泄漏涡核心，该区域压力梯度极大，直接删除会导致泄漏流质量流量计算偏差15%。实际操作：采用径向基函数（RBF）插值，以周围三层有效节点的压力值作为输入，同时限制插值范围不超过当地网格尺寸的2倍。结果对比：插值后等熵效率恢复至设计值87.3%（与实验值87.1%吻合），而直接删除法得到84.9%。风险与代价：RBF插值耗时约20分钟，但避免了重新求解整个算例（约6小时）。复盘经验：对于叶轮机械，叶尖区域缺失值必须优先处理，且插值后需检查当地马赫数分布是否连续。
4.2 异常值检测：区分“物理真实”与“数值噪声”
4.2.1 核心原理与检测维度
异常值（Outlier）指明显偏离整体分布的数据点。在仿真中，异常值可能是真实物理现象（如激波后压力突升、接触应力集中），也可能是数值伪影（如迭代未收敛的残差尖峰、网格畸变导致的应力奇点）。检测的核心在于区分物理信号与数值噪声，不能机械地套用统计阈值。
4.2.2 检测方法对比
| 方法 | 原理 | 适用数据类型 | 局限 |
|---|---|---|---|
| 3σ准则 | 超出均值±3倍标准差 | 正态分布数据 | 对非对称分布失效 |
| 箱线图（IQR） | 超出Q1-1.5×IQR或Q3+1.5×IQR | 偏态分布 | 对重尾分布不敏感 |
| MAD（中位数偏差） | 中位数±3×1.4826×MAD | 含少量强异常 | 计算稍复杂 |
| 局部离群因子（LOF） | 基于局部密度 | 空间场数据 | 需设定邻域参数 |
| 物理边界校验 | 与理论极限/实验范围对比 | 所有类型 | 需先验知识 |
4.2.3 实战场景：瞬态冲击响应中的异常尖峰
某汽车碰撞仿真中，B柱加速度传感器输出在t=12ms处出现一个幅值达80g的尖峰（相邻点约35g）。初始判断：这可能是真实的碰撞二次冲击。但进一步检查发现，该时刻恰好对应沙漏能控制参数调整的步长，且该单元变形模式异常。分析过程：首先用3σ准则标记该点为异常；然后检查该时刻的单元应变能分布，发现局部单元畸变严重；最终确认是网格畸变导致的伪响应。处理方案：将该点替换为前后各5个点的中值滤波结果（约38g），并重新计算该区域的沙漏能占比（从12%降至4%）。复盘经验：异常值检测必须结合时间-空间双维度验证，单一统计方法可能误判真实物理信号。
4.3 数据平滑与降噪：保留特征，去除伪振荡
4.3.1 核心原理与噪声来源
仿真数据中的噪声主要来自：数值振荡（高阶格式在间断附近的Gibbs现象）、网格尺度效应（粗网格无法分辨小尺度涡）、时间步长不匹配（CFL数过大导致的时间锯齿）。平滑的目标是去除高频伪振荡，同时保留对工程分析重要的低频特征和峰值信息。
4.3.2 方法选择与参数设置
| 方法 | 核心理念 | 关键参数 | 适用场景 |
|---|---|---|---|
| 移动平均 | 窗口内等权平均 | 窗口宽度N | 平稳信号，快速预览 |
| 高斯滤波 | 加权平均，权重按高斯分布 | σ（标准差） | 光滑场，保留趋势 |
| Savitzky-Golay | 局部多项式拟合 | 窗口宽度+多项式阶数 | 峰值保持，光谱分析 |
| FFT低通滤波 | 频域截断 | 截止频率fc | 周期性信号，模态分析 |
| 小波降噪 | 时频域联合分析 | 小波基+阈值 | 非平稳信号，瞬态冲击 |
4.3.3 案例：风洞测压数据的光滑处理
某机翼表面压力系数Cp分布沿弦向存在高频锯齿，幅值约±0.02，而设计人员关心的是前缘吸力峰（Cp=-1.2）和后缘恢复区的细节。初始尝试：直接使用窗口宽度为5的移动平均，结果吸力峰被削平至-1.05，损失了关键气动信息。改进方案：采用Savitzky-Golay滤波（窗口11，3阶多项式），在保持峰值幅值（-1.19）的同时，锯齿幅值降至±0.005。进一步验证：对滤波后的Cp曲线进行积分得到升力系数CL=0.523，与风洞实验值0.518偏差0.9%，满足工程精度。复盘经验：对于含强峰值的信号，移动平均和高斯滤波会系统性低估极值，SG滤波是更安全的选择。
4.4 重采样：统一时间步与空间分辨率
4.4.1 核心原理与触发场景
重采样是将数据从原始采样网格映射到目标网格的过程。常见触发场景包括：时间步长不均匀（自适应时间步导致Δt变化）、多源数据对齐（CFD结果与实验采样率不同）、空间网格转换（从加密网格映射到均匀网格以便对比）。重采样的本质是插值，但需注意信息损失和混叠效应。
4.4.2 操作流程与关键决策
- 确定目标采样率：根据Nyquist准则，目标频率应至少为感兴趣最高频率的2倍；空间上应能分辨最小涡尺度。
- 选择插值方法：时间序列常用线性或三次样条；空间场推荐使用径向基函数或Kriging插值（考虑空间相关性）。
- 执行重采样并验证：对比重采样前后关键统计量（均值、方差、峰值）和频谱特征。
- 记录变换参数：保存原始时间戳/坐标与目标网格的映射关系，便于追溯。
4.4.3 实战：非均匀时间步的FFT分析
某转子动力学仿真采用自适应时间步，在通过临界转速时Δt从1e-4s加密至1e-6s。直接对原始数据进行FFT，频谱中出现大量虚假频率成分。处理流程：首先将数据重采样至均匀Δt=5e-5s（对应采样率20kHz，满足分析至5kHz的振动需求）；使用三次样条插值，避免线性插值在加密区引入的高频噪声；重采样后FFT清晰显示1X（120Hz）、2X（240Hz）和0.5X亚同步分量。结果对比：重采样前频谱底噪为-30dB，重采样后降至-60dB，亚同步分量幅值从0.02mm提升至0.08mm（更接近真实值）。风险与代价：三次样条在数据两端存在边界效应，需丢弃首尾各5个点。
4.5 坐标变换与单位统一：确保数据可比性
4.5.1 坐标变换的核心场景
坐标变换在仿真后处理中主要解决三类问题：坐标系对齐（将局部坐标系下的结果转换到全局坐标系）、模型镜像或旋转（利用对称性扩展结果）、节点重排序（不同求解器输出的节点顺序不同，需统一以便对比）。变换矩阵必须保持正交性（旋转矩阵）或刚性（平移），否则会引入变形误差。
4.5.2 单位统一的关键原则
单位错误是仿真后处理中最隐蔽的错误来源。常见问题包括：长度单位混用（mm与m）、温度单位混用（K与℃）、力的单位混用（N与kgf）。量纲一致性检查是最后一道防线：例如，应力单位Pa = N/m² = kg/(m·s²)，若计算结果为MPa，需确认输入参数是否全部使用一致的单位制。
4.5.3 案例：多软件联合仿真的数据对齐
某流固耦合项目，CFD软件（Fluent）输出压力场单位为Pa，坐标原点在叶轮进口中心；结构软件（Abaqus）输出应力场单位为MPa，坐标原点在叶轮出口边缘。对比分析前需完成：①将Abaqus结果旋转180°并平移至与CFD坐标系重合；②将压力单位从Pa转换为MPa（除以1e6）；③检查两个模型的节点编号映射关系（通过坐标最近邻匹配）。操作后，在叶轮表面提取压力载荷施加于结构模型，计算变形量。结果对比：未对齐前最大变形位置偏差达30mm（完全错误），对齐后变形云图与实验测量吻合（最大偏差0.2mm）。复盘经验：坐标变换和单位统一必须在数据导入阶段完成，而不是在分析阶段临时处理，否则容易遗漏某些变量。
4.6 常见误区与总结复盘
| 误区 | 后果 | 正确做法 |
|---|---|---|
| 对所有缺失值一律删除 | 积分结果偏差，网格拓扑破坏 | 根据缺失比例和位置选择插值或填充 |
| 将统计异常值直接判定为无效 | 丢失真实物理信号（如激波） | 结合物理背景和求解器日志综合判断 |
| 过度平滑导致峰值衰减 | 低估最大应力/载荷 | 使用SG滤波或小波方法保留峰值 |
| 重采样后不验证频谱 | 混叠效应产生虚假频率 | 对比重采样前后功率谱密度 |
| 单位换算只做一次，不追溯源文件 | 隐蔽的数值错误 | 建立单位制检查清单，逐变量验证 |
数据清洗与预处理不是“锦上添花”的步骤，而是决定仿真结果可信度的关键环节。一个经过精心清洗的数据集，能够显著提升后处理分析的效率和准确性；反之，未经处理或处理不当的数据，即使后处理技术再先进，也可能得出误导性的工程结论。建议在实际项目中，将本章所述六大任务固化为标准操作流程（SOP），并记录每一步的处理参数和验证结果，形成可追溯的数据处理报告。这不仅有助于当前项目的质量把控，也为后续类似仿真积累了可复用的处理经验。