📚 课程目录第4章实时数据采集与预处理

4. 实时数据采集与预处理

在AVEVA工业监控系统中，实时数据采集与预处理是故障诊断体系的第一道关口。传感器信号从现场设备进入系统后，并不能直接用于诊断分析——原始数据往往夹杂着噪声、缺失、时间错位和异常跳变。如果跳过预处理直接送入诊断模型，误报率和漏报率都会显著上升。本节围绕一条完整的预处理链路展开：从传感器接入开始，经过数据清洗、滤波、时间对齐，最终完成异常值处理，形成可供诊断使用的“干净”数据流。

一、传感器接入：从物理量到数字信号

传感器接入的核心任务是把现场物理量（温度、压力、振动、流量等）转换为系统可读取的数字信号。在AVEVA架构中，常见接入方式包括OPC UA、Modbus TCP、MQTT以及PLC直连。以一台离心泵的振动监测为例，加速度传感器输出4-20mA模拟信号，经变送器转换为0-10V电压，再由采集卡以10kHz采样率数字化。接入配置时需要明确几个关键参数：采样率、量程、工程单位、死区（Deadband）和扫描周期。

采样率的选择遵循奈奎斯特准则——至少为信号最高频率分量的2倍。对于振动信号，若关注频率上限为2kHz，采样率应不低于4kHz，工程上通常取5-10倍以保证波形质量。死区设置用于抑制微小波动造成的无效数据上报，例如温度死区设为0.2℃，只有当变化超过0.2℃时才推送新值。扫描周期则决定了数据进入系统的节奏，典型值为100ms至1s。

接入阶段最常见的错误是量程与工程单位不匹配。例如变送器输出4-20mA对应0-1.6MPa，但系统配置为0-2.5MPa，会导致所有压力读数系统性偏低36%。接入后必须用标准信号源做一次量程校验。

二、数据清洗：处理缺失、重复与格式错误

数据清洗针对的是“数据本身不合法”的问题，主要包括三类：缺失值、重复记录和格式错误。缺失值在工业现场非常普遍，原因可能是网络抖动、采集卡缓冲区溢出或传感器临时掉线。处理策略取决于缺失比例和诊断需求：

短时缺失（<3个采样点）：采用线性插值或前值保持（Last Value Carry Forward），适用于温度、压力等缓变量。
中等缺失（3-10个点）：用同工况历史均值或样条插值填补，需标记数据质量位。
长时缺失（>10个点）：不填补，直接标记为无效段，避免引入虚假信息。

重复记录通常由网络重传或采集程序重复写入造成。清洗时按“时间戳+传感器ID”去重，保留首次到达的记录。格式错误包括时间戳格式不一致、数值超出量程、字符串混入数值字段等，需要在入库前用校验规则拦截。

# 数据清洗示例（Python伪代码）
def clean_sensor_data(df):
    # 1. 去重
    df = df.drop_duplicates(subset=['timestamp','sensor_id'], keep='first')
    # 2. 量程校验
    df.loc[df['value'] > df['range_max'], 'value'] = np.nan
    df.loc[df['value'] < df['range_min'], 'value'] = np.nan
    # 3. 短时缺失插值
    df['value'] = df['value'].interpolate(method='linear', limit=3)
    # 4. 标记质量位
    df['quality'] = df['value'].notna().astype(int)
    return df

三、滤波：抑制噪声，保留真实趋势

滤波的目的是在保留信号真实变化的前提下抑制高频噪声。工业监控中常用的滤波方法有三类：移动平均、一阶低通滤波和中值滤波。选择哪种方法，取决于信号特征和诊断需求。

移动平均适合缓变信号，如温度、液位。窗口越大，平滑效果越强，但响应延迟也越大。例如窗口N=10、采样周期1s时，阶跃响应的滞后约为5s。一阶低通滤波用递推公式 y(k)=α·x(k)+(1-α)·y(k-1) 实现，α越小滤波越强。α=0.2时，截止频率约为采样频率的3.5%。中值滤波对脉冲噪声特别有效，取窗口内中位数作为输出，能直接剔除孤立的尖峰干扰。

滤波不是越强越好。过度滤波会抹掉故障早期的微弱特征，例如轴承早期磨损的冲击脉冲。对于振动信号，建议先做频谱分析确认特征频带，再选择保留该频带的滤波器参数。

四、时间对齐：让多源数据“说同一时刻的话”

工业监控系统中，温度、压力、振动、电流等信号往往来自不同采集设备，采样率和时间基准各不相同。时间对齐就是把这些数据统一到同一时间轴上，否则诊断逻辑会因“用错时刻的数据”而误判。对齐方法主要有三种：

时间戳对齐：以主时钟为基准，将各信号按最近时间戳匹配。适用于采样率相近的场景。
重采样对齐：将高频信号降采样或低频信号升采样到统一频率，常用线性插值或样条插值。
事件对齐：以触发事件（如启停、报警）为锚点，对齐前后时间窗口的数据，适用于瞬态故障分析。

实际工程中，建议统一使用UTC时间戳并启用NTP对时，对时误差控制在10ms以内。对于振动与温度这类采样率差异大的信号，可先将振动信号做特征提取（如RMS、峭度），再与温度按1s对齐，而不是直接对齐原始波形。

五、异常值处理：识别并处置“坏数据”

异常值处理是预处理链路的最后一环，目标是识别那些明显偏离正常范围的数值，并决定是剔除、替换还是保留但标记。常用的判定方法有三种：

3σ准则：假设数据服从正态分布，超出均值±3倍标准差的点视为异常。适用于温度、压力等平稳信号。但工业数据往往不满足正态分布，此时3σ会误判。IQR四分位距法：计算Q1和Q3，超出[Q1-1.5×IQR, Q3+1.5×IQR]范围的点为异常。该方法对非正态分布更稳健。物理阈值法：根据设备物理极限设定硬边界，例如轴承温度不可能超过150℃，超出即判定为传感器故障或接线问题。

识别出异常值后，处置策略需要结合上下文。对于孤立的单点跳变，可直接用前值或中值替换；对于连续异常段，应标记为无效并触发报警，而不是强行填补。在AVEVA系统中，建议为每个传感器配置质量位（Quality Flag），诊断模块根据质量位决定是否使用该数据。

实战示例：某离心泵轴承温度传感器在14:23:15连续出现3个采样点，数值分别为82℃、145℃、83℃，而前后正常值在80-84℃之间。判定逻辑：145℃超出物理阈值120℃，且为孤立跳变，判定为异常值。处置：用前值82℃替换，质量位标记为“可疑”，同时触发一次传感器自检。若后续10分钟内再次出现类似跳变，则升级为传感器故障报警。

六、预处理链路的工程落地要点

把上述环节串成一条稳定运行的链路，需要注意几个工程细节。第一，预处理顺序不能随意调整——必须先清洗再滤波，否则缺失值会污染滤波窗口；必须先滤波再异常检测，否则噪声尖峰会被误判为异常。第二，所有预处理步骤都应保留原始数据和中间结果，便于故障回溯。第三，参数配置应集中管理，不同设备类型使用不同的预处理模板，避免“一刀切”。

在AVEVA系统里，可以利用其内置的脚本引擎或外部Python服务实现上述逻辑。建议将预处理链路封装为可复用的服务，输入为原始数据流，输出为带质量位的干净数据流，并通过消息队列（如Kafka或MQTT）与诊断模块解耦。这样既保证了实时性，也便于后续扩展和调试。

最后需要强调的是，预处理不是“一次性配置”，而是需要持续监控和调优的过程。建议定期统计各传感器的缺失率、异常率和滤波前后信噪比，当某项指标恶化时及时调整参数。只有把预处理做扎实，后续的故障诊断才能建立在可靠的数据基础之上。