4、数据预处理：数据清洗、异常值检测、缺失值处理、数据变换与标准化
仿真系统输出的原始数据往往并不直接适合分析与可视化。无论是瞬态仿真、蒙特卡洛批量运行还是硬件在环测试，数据中都会混入因模型初始化、数值振荡、传感器噪声、通信丢包或人为操作失误产生的“脏数据”。如果跳过预处理直接绘图，轻则图表失真、误导判断，重则导致错误的参数标定或设计决策。本章围绕数据清洗、异常值检测、缺失值处理、数据变换与标准化四个核心环节，建立一套适用于仿真结果分析的规范化预处理流程。
4.1 数据清洗：从原始输出到可用数据
数据清洗是预处理的第一步，目标是消除格式问题、重复记录和明显噪声。仿真软件（如Simulink、AMESim、ANSYS）导出的数据常带有时间戳格式不一致、列名重复、单位混用等问题。清洗操作包括：统一时间戳为时间或相对时间基准；去除完全重复的行（例如因日志重复写入产生的相同记录）；修正列名使其语义清晰；将不同单位（如Pa与kPa、m/s与km/h）统一为同一度量体系。
实际操作中，建议先对数据做概要性检查：查看数据维度、列类型、前几行内容、描述性统计量。使用Python的pandas库或MATLAB的table工具可以快速完成这些操作。清洗过程中要保留原始数据备份，所有清洗步骤通过脚本或工作流记录，避免手工修改Excel后无法追溯。
4.2 异常值检测：识别真正的离群点
异常值检测需要区分“真实物理现象”与“数值伪影”。仿真中常见的异常来源包括：模型在极端工况下的数值发散、积分步长过大导致的振荡尖峰、传感器模型输出的饱和值、以及初始化阶段的瞬态冲击。常用的检测方法有三类：
| 方法 | 原理 | 适用场景 | 局限性 |
|---|---|---|---|
| 3σ准则 | 超出均值±3倍标准差视为异常 | 数据近似正态分布 | 对非正态分布不适用 |
| IQR（四分位距） | 超出Q1-1.5×IQR或Q3+1.5×IQR视为异常 | 偏态分布、含较多离群点 | 对样本量敏感 |
| 模型法（如孤立森林、LOF） | 基于密度或隔离难度判断 | 高维数据、复杂模式 | 计算量大、需调参 |
对于仿真数据，建议先绘制时间序列曲线或散点图进行目视检查，再结合统计方法量化判断。例如，某热管理仿真中冷却液温度在t=12s时出现-50°C的尖峰，经检查发现是该时刻换热系数插值表外推导致的数值振荡，属于模型问题而非真实物理现象，应标记为异常并追溯模型原因。
4.3 缺失值处理：填补还是删除
仿真数据中的缺失值通常由以下原因产生：仿真中途崩溃导致输出不完整、不同采样率的数据对齐时产生空位、传感器模型在特定条件下无输出。处理策略取决于缺失比例和后续分析需求：
- 删除法：当缺失比例小于5%且缺失位置随机时，可直接删除对应行或列。适用于数据量充足、缺失不影响整体分布的场景。
- 插补法：线性插值适用于时间序列的短间隔缺失；前向填充（forward fill）适用于状态保持型变量（如开关状态）；多项式插值或样条插值适用于平滑变化的物理量。
- 标记法：将缺失值作为独立类别处理，在可视化时用不同颜色或样式区分，避免掩盖缺失信息。
插补时要特别注意：对于仿真数据，如果缺失段恰好处于瞬态变化剧烈的区间，线性插值会低估峰值或斜率。此时应结合物理规律，例如使用相邻工况的稳态值或模型预测值进行填充。
4.4 数据变换与标准化：让数据可比较、可建模
仿真结果中不同物理量的量纲和数值范围差异巨大。例如，应力值可达数百MPa，而应变可能只有10⁻³量级；温度变化范围可能只有几十度，而压力变化可达数兆帕。直接将这些数据输入聚类算法或神经网络，会导致大数值变量主导模型训练。数据变换与标准化解决两类问题：一是消除量纲影响，二是改善数据分布形态。
常用的标准化方法包括：
- Z-score标准化：\( z = (x - \mu) / \sigma \)，适用于数据近似正态分布、后续使用距离度量或回归模型的场景。
- Min-Max归一化：\( x' = (x - x_{min}) / (x_{max} - x_{min}) \)，将数据映射到[0,1]区间，适用于有明确上下界的物理量（如效率、占空比）。
- 对数变换：\( x' = \ln(x) \) 或 \( \log_{10}(x) \)，适用于右偏分布（如疲劳寿命、裂纹扩展速率），可压缩大数值范围。
- 鲁棒标准化：使用中位数和IQR代替均值和标准差，对异常值不敏感，适合含离群点的数据。
选择变换方法时，要结合后续可视化需求。如果目的是绘制对比曲线，Z-score标准化后纵轴含义变为“偏离均值的标准差倍数”，需要额外标注；如果目的是热力图展示多变量相关性，Min-Max归一化更直观。
4.5 案例拆解：电机温升仿真数据预处理全流程
某永磁同步电机在额定工况下进行温升仿真，输出数据包含定子温度、转子温度、绕组温度、冷却液流量、转速、转矩等12个变量，采样频率为10Hz，仿真时长3600秒，共36001行数据。初始检查发现以下问题：
- 前200行数据为初始化阶段，温度从环境温度快速上升，属于瞬态过程，但转速和转矩尚未稳定，存在明显波动；
- 在t=1800s附近，冷却液流量传感器模型输出出现连续5个0值（应为8L/min），导致温度曲线出现异常台阶；
- 绕组温度变量在t=2700s~2750s之间有50行缺失（仿真日志显示该时段发生了一次数值重启动）；
- 各变量量纲差异大：温度约20~150°C，流量约0~10L/min，转矩约0~50N·m。
- 过度清洗：删除过多“异常值”导致数据失去真实波动特征，尤其是仿真中某些极端工况本身就是研究重点。
- 忽视数据泄漏：在对比多个工况时，如果分别对每个工况的数据独立做标准化，会破坏工况间的可比性。正确做法是使用基准工况的统计参数。
- 插补方法选择不当：对阶跃信号（如开关状态）使用线性插值会产生中间值，导致后续逻辑判断错误。
- 缺少记录：预处理操作不记录，导致结果无法复现，评审时无法解释数据变化。
处理过程如下：
| 步骤 | 操作 | 参数/方法 | 结果 |
|---|---|---|---|
| 1. 清洗 | 删除初始化前100行，统一时间基准为相对时间 | 保留t≥10s的数据 | 35901行 |
| 2. 异常值检测 | 对冷却液流量使用3σ准则 | 均值7.9，σ=0.3，阈值7.0~8.8 | 标记5个0值为异常 |
| 3. 异常处理 | 结合物理判断：流量为0不可能是真实工况 | 使用前向填充（前值8.0） | 流量曲线恢复连续 |
| 4. 缺失值插补 | 绕组温度缺失段使用三次样条插值 | 基于前后各100个数据点 | 插补后曲线平滑，无过冲 |
| 5. 标准化 | 对温度类变量使用Z-score，对流量/转速使用Min-Max | 保存均值和标准差参数 | 所有变量范围可比 |
预处理完成后，绘制温升曲线和冷却液流量对比图，发现插补后的绕组温度在t=2700s附近上升速率略高于前后区间，经复核确认是样条插值在数据段边界处的自然行为，不影响稳态温度判断。最终报告记录了每一步处理的原因和影响范围，确保结果可复现。
4.6 常见误区与总结
数据预处理看似简单，但实践中容易陷入以下误区：
总结而言，仿真数据预处理的核心原则是：保留物理真实性、确保可追溯性、维持数据可比性。每一步操作都应基于对仿真模型和物理过程的理解，而非机械套用统计方法。预处理完成后，建议输出一份数据质量报告，包含清洗记录、异常值清单、缺失值插补说明和标准化参数，作为后续分析和可视化的基础文档。