3. 监测数据质量问题的识别与分类

海洋结构监测系统长期处于高盐雾、强振动、温度交变和电磁干扰的环境中,传感器、采集仪和传输链路都可能引入各类数据缺陷。在进入清洗与质控流程之前,工程人员首先要能够"看懂"数据中的问题:它长什么样、由什么引起、会对后续结构安全评估造成什么后果。本节围绕六类典型质量问题——缺失值、异常值、噪声、漂移、重复记录和时间戳不一致——说明其表现形式、判别依据与影响机理,并通过一段真实感较强的监测数据案例展示它们在同一测点上的叠加形态。

一、六类质量问题的表现形式与判别依据

缺失值指某一时刻或某一时段本应存在的数据记录为空、为 NaN,或整段采集窗口没有数据。表现形式有三种:单点缺失(偶发丢包)、连续块缺失(传感器掉线、供电中断、网关重启)和整段缺失(布放期未采集或数据文件损坏)。判别时不能只看空值,还要看时间轴上的采样间隔是否突然拉大。例如设计采样频率为 10 Hz,正常相邻时间戳间隔为 0.1 s,若某处间隔变为 3.7 s,则中间约 36 个采样点实际已丢失,即使文件里没有 NaN 也应记为缺失。

异常值(也称野值、尖峰)是数值明显偏离物理合理范围或局部变化规律的孤立点。典型来源包括传感器瞬时饱和、A/D 转换误码、雷击浪涌和通信误码。判别依据通常有三条:超出量程或物理上限(如应变超过材料屈服应变对应的量级)、超出统计阈值(如 |x−μ| > 3σ 或基于中位数绝对偏差的稳健阈值)、以及局部突变率过大(相邻两点差值远超正常变化速率)。异常值的关键特征是"孤立"——它往往只影响一两个点,前后数据恢复正常。

噪声是叠加在有效信号上的高频随机波动,表现为曲线"毛刺"变粗、方差增大,但整体趋势仍然存在。它与异常值的区别在于:噪声是持续性的、分布性的,异常值是偶发的、孤立的。海洋环境中波浪引起的动力响应本身含有真实高频成分,因此噪声判别要结合频谱:若功率谱在工频(50 Hz)或其倍频处出现窄带峰,多为电磁干扰;若高频段整体抬升且与结构模态无关,则更可能是传感器本底噪声。

漂移是传感器输出随时间缓慢、单调地偏离真值,表现为基线缓慢爬升或下降。应变片受温度影响产生的零点漂移、光纤光栅解调仪波长基准老化、加速度计偏置电压温漂都是常见原因。漂移的判别不能靠单点阈值,而要看长期趋势:对同一测点在无荷载工况(如夜间平静海况)下的基线做线性回归,若斜率显著非零(例如每天漂移超过满量程的 0.1%),即可判定存在漂移。漂移最危险之处在于它"看起来很正常",容易被误认为结构真实响应。

重复记录指同一时刻、同一测点的数据被写入多次,常见于采集软件重传、数据库主键设计不当或断点续传逻辑缺陷。表现为时间戳完全相同而数值相同或略有差异的多条记录。它会虚增样本量、扭曲统计分布,并在做时间序列差分时产生零值或虚假突变。

时间戳不一致包括:时间戳重复、时间戳倒序、相邻记录时间间隔不均匀、多传感器之间时钟不同步。海洋结构监测常采用多台采集仪分布式布置,若各设备未统一对时(如未使用 NTP 或 GPS 授时),同一波浪事件在不同测点上会呈现不同的时间标签,导致相关性分析和模态识别出现相位错误。判别方法是检查时间戳序列的单调性和间隔分布,并抽查不同设备在同一激励事件(如一次明显的船撞或大浪)下的响应起始时刻偏差。

同一应变测点 24 小时数据中的典型质量问题形态 缺失值(连续块缺失) 时间间隔由 0.1s 拉大至 3.7s 判别:空值 + 采样间隔突变 影响:样本量不足、统计失真 异常值(孤立尖峰) |x−μ|>3σ 判别:超量程 / 统计阈值 / 突变率 影响:极值误报、疲劳评估偏差 噪声(高频毛刺) 判别:方差增大 / 工频窄带峰 影响:模态识别信噪比下降 漂移(基线缓慢偏移) 无荷载基线斜率显著非零 判别:长期趋势回归 / 温度相关 影响:被误认为真实结构响应 重复记录 t=10:00:00.1 ε=182.3 με t=10:00:00.1 ε=182.3 με t=10:00:00.1 ε=182.5 με 判别:时间戳+测点主键重复 影响:样本虚增、差分产生虚假突变 时间戳不一致 设备A 设备B 同一激励事件起始时刻偏差 0.8s 判别:单调性 / 间隔分布 / 事件对齐 影响:相关性分析相位错误 质量问题 → 统计特征失真 / 模态参数偏移 / 疲劳损伤累积误算 → 结构安全评估结论不可靠

二、质量问题对结构安全评估的影响机理

不同质量问题对评估结论的影响路径并不相同,理解这一点才能确定清洗的优先级。缺失值直接削减有效样本,使极值统计和疲劳循环计数不完整;若缺失恰好发生在风暴或船撞等关键事件期间,可能漏掉最不利响应,导致安全裕度被高估。异常值会污染极值统计和峰值因子,使疲劳损伤按雨流计数时出现虚假大循环,Davenport 谱或等效疲劳应力的计算结果偏大;反过来,若异常值被当作真实峰值用于报警阈值整定,又会造成频繁误报、降低系统可信度。

噪声本身不改变均值,但会抬高方差、降低信噪比,使模态参数识别(如随机子空间法)的稳定图变得模糊,阻尼比估计偏差尤为明显。漂移的影响最为隐蔽:它使基线缓慢偏移,若直接用于长期应变监测,会被误判为结构累积变形或预应力损失,进而触发不必要的加固决策;若用于温度补偿,则补偿系数被系统性带偏。重复记录会破坏时间序列的等间隔假设,使频谱分析出现虚假频率成分。时间戳不一致则直接破坏多测点之间的相位关系,使振型识别和损伤定位失效——这类问题在数据本身"看起来干净"时最难发现,却对基于相关性的损伤识别方法影响最大。

三、案例:某导管架平台应变测点的复合质量问题

下面以某导管架平台一处桩腿应变测点连续 24 小时的数据为例(示例数据,用于教学演示,非实测)。该测点设计采样频率 10 Hz,量程 ±1500 με,采用振弦式应变计配数据采集仪,各采集仪未统一授时。检查中发现以下现象:

  • 凌晨 2:14 至 2:19 共约 5 分钟无记录,时间戳从 02:14:07.3 直接跳到 02:19:22.8,判定为连续块缺失,疑为网关重启;
  • 上午 9:47 出现单点值 2874 με,远超量程,前后点均在 180 με 左右,判定为孤立异常值;
  • 全天数据高频段方差明显大于同平台其他测点,功率谱在 50 Hz 处有窄带峰,判定为工频干扰噪声;
  • 夜间平静海况下基线由 −12 με 缓慢升至 +35 με,24 小时漂移约 47 με,约为满量程的 3.1%,判定为温度引起的零点漂移;
  • 数据库中同一时间戳存在 2~3 条数值相同或相差 0.2 με 的记录,判定为采集软件重传导致的重复记录;
  • 与相邻测点对比,同一次大浪激励的响应起始时刻相差约 0.8 s,判定为设备间时钟不同步。

处理时按影响程度排序:先按"测点+时间戳"去重,再依据采样间隔重建等间隔时间轴并标记缺失区间,然后用稳健阈值(中位数 ± 4×MAD)剔除异常值,接着用带通滤波抑制 50 Hz 工频干扰,随后以夜间无荷载段拟合基线做漂移校正,最后以同一激励事件为基准对多设备时间戳做对齐。需要强调的是,每一步都应保留原始数据副本和处理日志,记录被剔除的点数、滤波参数和漂移拟合斜率,以便复核和追溯。

判别顺序建议:先查时间戳(去重、排序、间隔检查),再查缺失,然后处理异常值与噪声,最后做漂移校正。时间轴不正确时,后续所有统计和滤波都会建立在错误的基础上。
漂移校正必须使用无荷载或已知荷载工况下的基线,不能用含真实响应的全时段数据直接拟合,否则会把结构真实变形一并"校正"掉,造成安全隐患被掩盖。