4. 监测数据采集与预处理

尾矿库坝体位移监测的数据判读,第一步不是看曲线,而是确认“进入判读环节的数据本身是否可信”。自动化监测系统(GNSS表面位移、测斜仪、渗压计、激光位移计等)产生的原始数据,往往夹杂着电磁干扰、多路径效应、传感器漂移、通信丢包和瞬时冲击,如果直接拿来做趋势分析或预警判断,很容易把噪声当成突变、把丢包当成稳定。本节围绕采样频率设定、数据格式规范、异常值识别与剔除、缺失值处理、平滑去噪五个环节,说明一条从原始观测到可用位移序列的完整预处理链路。

一、采样频率:按变形速率与判读目的分级设定

采样频率不是越高越好。频率过高会放大噪声、增加通信与存储负担;频率过低则可能漏掉快速变形阶段的拐点。工程上通常按“变形速率量级 + 判读目的”分级设定。以某尾矿库在线监测系统为例(示例参数,非实测):GNSS表面位移在正常运营期取1次/小时,汛期或库水位快速上升期加密至1次/30分钟;测斜仪按1次/2小时采集;渗压计与库水位同步取1次/小时,便于做位移—水位相关性分析。判读时要注意,不同传感器的采样时刻必须能对齐到同一时间基准,否则后续做位移速率计算时会出现“时间错位”导致的假加速。

采样频率还需与报警阈值匹配:若某坝段位移速率报警阈值为2 mm/d,则采样间隔应保证单日样本数足以稳定估计日速率,通常不少于12个有效样本。频率调整应记录在监测方案中,避免判读时把“加密采样”误读为“变形加剧”。

二、数据格式:统一字段与时间戳规范

多源监测数据进入判读平台前,应统一为结构化记录。建议每条记录至少包含:测点编号、传感器类型、观测时间(统一为UTC+8并注明)、原始观测量、换算后位移值(mm)、单位、数据质量标志位。时间戳统一采用“YYYY-MM-DD HH:MM:SS”格式,避免Excel日期序列号与文本混用。对于GNSS,还需保留解算状态(固定解/浮动解/单点解),固定解质量最高,浮动解和单点解的位移值应降权或标记为可疑。下表为一条规范化记录的字段示例(示例数据):

字段示例值说明
测点编号TP-03坝顶3号GNSS测点
观测时间2024-06-18 08:00:00UTC+8
解算状态固定解浮动解/单点解需标记
累计位移18.6 mm相对首期基准
质量标志Q=11正常,2可疑,3剔除

三、异常值识别与剔除:三条判据组合使用

异常值分两类:一是物理上不可能的“粗差”,如单次跳变几十毫米后立即恢复;二是传感器故障或解算失败导致的持续偏离。常用识别方法有三条,建议组合使用而非单靠阈值:

  • 3σ准则(拉依达准则):对同一测点近期序列计算均值与标准差,超出均值±3σ的样本标记为可疑。适用于近似正态、样本量不少于30的情况。
  • 相邻差分判据:计算相邻两次观测的位移增量Δd,若|Δd|超过该测点历史增量的P99分位值(示例可取3倍中位绝对偏差MAD),判为跳变。该方法对缓慢漂移不敏感,专抓瞬时冲击。
  • 物理一致性判据:结合解算状态、信噪比、库水位与降雨记录交叉判断。例如暴雨期间GNSS多路径效应增强,浮动解样本应优先标记可疑而非直接采信。

剔除时不要“一删了之”,应保留原始值并置质量标志为3,便于追溯。对连续多个样本同时异常的情况,更可能是传感器故障而非单点粗差,应转入排障流程而不是简单剔除。

四、缺失值处理:先判断缺失机制,再选填补方法

缺失常由通信中断、供电异常或解算失败造成。处理前先看缺失是随机的还是成段的:孤立单点缺失可用线性插值或前值保持;成段缺失(如连续6小时以上)不宜强行插值,应标记为“数据空洞”,在速率计算时按有效样本数折算,避免用插值曲线制造虚假的平滑趋势。对于位移这类累积量,插值应作用于增量序列再累加,而不是直接对累计位移做插值,否则会破坏累计量的单调一致性。填补后的样本必须带“插值”标志,判读时与实测样本区分对待。

五、平滑与去噪:移动平均、中值滤波与Savitzky-Golay

平滑的目的是压制高频噪声、保留真实变形趋势,但过度平滑会削平突变拐点,反而延误预警。常用三种方法各有适用场景:移动平均实现简单,适合压制随机噪声,但会引入相位滞后;中值滤波对孤立尖峰抑制效果好,适合剔除残留跳变;Savitzky-Golay滤波在窗口内做低阶多项式拟合,能在去噪的同时较好保留曲线拐点和速率变化,适合位移—时间曲线的趋势提取。实际应用中建议先剔除粗差、再中值滤波去尖峰、最后用Savitzky-Golay做趋势平滑,窗口长度取奇数且不超过一个采样日的样本数,避免跨汛期平滑掩盖真实加速。

尾矿库坝体位移监测数据预处理链路 原始观测 → 格式规范 → 异常识别 → 缺失处理 → 平滑去噪 → 可用位移序列 原始观测 GNSS/测斜/渗压 1次/小时~30分钟 格式规范 统一时间戳 解算状态+质量标志 异常识别 3σ / 差分 / 物理 保留原值+标志3 缺失处理 增量插值/前值保持 成段空洞不硬插 平滑去噪 中值滤波+SG滤波 窗口≤1个采样日 异常值三条判据(组合使用) ① 3σ准则 |x−μ| > 3σ,样本≥30,近似正态 抓持续偏离,对缓慢漂移不敏感 ② 相邻差分判据 |Δd| > 3×MAD,专抓瞬时跳变 跳变后立即恢复→粗差;持续偏离→故障 ③ 物理一致性判据 解算状态/信噪比/降雨/库水位交叉 浮动解、暴雨期多路径→降权标记 缺失处理与平滑方法选择 缺失值 孤立单点→线性插值/前值保持;成段→标记空洞,按有效样本折算速率 移动平均 压制随机噪声,简单;引入相位滞后,慎用于加速段 中值滤波 + Savitzky-Golay 先去尖峰,再低阶多项式拟合;保留拐点,窗口取奇数≤1个采样日

需要强调的是,预处理链路中的每一步都应留下可追溯的标志位:被剔除的样本、被插值的样本、被平滑的序列,都要能与原始观测对应。判读人员看到一条“漂亮”的位移曲线时,应当能回答三个问题——这条曲线用了多高的采样频率、剔除了哪些点、平滑窗口多长。只有预处理过程透明,后续的位移速率计算、趋势外推和预警判断才站得住脚。

实操建议:把预处理参数(采样间隔、3σ倍数、MAD倍数、平滑窗口长度)写入监测方案并版本化管理。同一坝段在不同时期的判读,应尽量沿用同一套预处理参数,否则曲线形态的变化可能来自参数调整而非真实变形。
常见误区:用平滑后的曲线直接计算日位移速率并触发报警。平滑会滞后并削峰,建议速率计算使用剔除粗差后、未平滑的增量序列,平滑曲线仅用于趋势展示与人工判读。