3. 轨检车检测数据预处理基础

轨检车在运行中连续采集轨道几何、里程、速度、超限报警等多源数据,原始记录往往夹杂着停车段重复采样、传感器瞬时跳变、里程累计误差、不同采样率通道难以逐点对应等问题。若直接把这些原始数据送入超限判定或质量统计,很容易把一次电磁干扰误判为真实轨道病害,或把同一处病害重复计数。因此,预处理不是可有可无的“清洗一下”,而是决定后续分析结论是否可信的第一道关口。本节围绕数据清洗、缺失值与异常值识别、数据对齐与重采样、预处理流程设计四个环节展开,并给出一个可操作的案例。

一、数据清洗:先解决“记录本身不干净”的问题

清洗针对的是记录层面的明显缺陷,而不是数值层面的异常。常见情形包括:轨检车在车站或区间停车时,同一里程被反复记录,形成大量重复行;某通道因通信中断出现整段空值;里程字段因轮径磨耗或滑行出现跳变、回退;文件头尾存在无效的引导行或截断行。处理思路是先按“里程+采集时刻”去重,保留首次或质量标志最优的一条;再剔除里程单调性被破坏的记录段;对文件边界做完整性检查,确认首尾里程与运行交路一致。清洗阶段的原则是“只删明显错误、不轻易改数值”,任何删除都应记录删除条数与里程范围,便于回溯。

二、缺失值与异常值识别:区分“没有数”和“数不对”

缺失值表现为空字段或约定哨兵值(如 -9999)。识别容易,难点在处置:短缺口(例如连续少于 5 个采样点)可用线性插值或前值保持补齐;长缺口应标记为无效段,不参与统计,而不是强行填补,否则会平滑掉真实病害。异常值则要结合轨道几何的物理约束判断,常用三类判据:一是阈值判据,如轨距偏差绝对值超过设定限值;二是变化率判据,相邻采样点差值超过合理梯度,多为传感器跳变;三是统计判据,用滑动窗口的中位数与绝对偏差(MAD)识别离群点,比均值标准差更抗干扰。需要强调,超限报警本身可能就是真实病害,异常值识别只能标记“疑似”,最终需结合波形连续性和里程邻近点复核,不能一律剔除。

轨检车原始数据 → 预处理 → 可用数据集 原始采集 几何通道/里程/速度 含重复、空值、跳变 数据清洗 去重·里程单调性 边界完整性检查 缺失/异常识别 阈值·变化率·MAD 短缺口插值/长缺口标记 对齐与重采样 统一里程基准 按0.25 m重采样 可用 数据集 异常判据示意(轨距偏差通道,示例数据) 偏差 里程 单点跳变(变化率超限) 连续3点偏离(疑似真实病害) 红色:标记待复核 橙色:保留并人工确认

三、数据对齐与重采样:让多通道“站在同一把尺子上”

轨检车各通道采样率并不一致,几何通道常按 0.25 m 等间距采样,速度、报警等通道可能按时间或事件触发。对齐的核心是建立统一里程基准:以里程通道为主键,将各通道按里程插值或就近匹配到同一里程序列上。重采样时,几何量宜用线性插值,报警类离散量宜用“区间内取最严重值”而非插值,避免把“有报警”插成“无报警”。同时要处理里程累计误差,可用轨道上的已知标志物(如公里标、道岔)做分段校正,把误差控制在米级以内。对齐完成后应抽查若干里程点,确认各通道数值在物理上相互吻合,例如速度为零的区段不应出现连续超限。

四、预处理流程设计与案例操作

一个可复用的流程应固定顺序:读取与字段校验 → 去重与里程单调性修复 → 缺失标记与短缺口插值 → 异常值标记(不急于删除)→ 统一里程对齐与重采样 → 输出带质量标志的数据集与处理日志。顺序不能随意调换,例如先重采样再识别异常,会把跳变点扩散到邻近插值点,污染范围扩大。

以一个 2 km 区间的示例数据说明:原始记录 8600 行,去重后 8120 行;轨距偏差通道发现 3 处单点跳变(相邻差值超过 2 mm/0.25 m),标记为疑似干扰;发现 1 段连续 12 点偏离,结合波形连续性判断为真实轨距病害,保留并进入超限统计;某通道存在 40 点空值,因超过短缺口阈值,整段标记无效不参与均值计算。最终按 0.25 m 重采样输出 8000 条记录,每条附带“有效/插值/疑似/无效”质量标志。判断预处理是否达标的依据是:里程严格单调、无重复主键、质量标志覆盖率 100%、抽查点各通道物理一致。处理日志应记录每步的输入输出条数与删除/标记的里程范围,作为后续质量追溯的依据。

预处理的目标不是把数据“修得好看”,而是让每一条记录都能说明自己是否可信。保留质量标志、保留处理日志,比追求零缺失更有工程价值。