📚 课程目录第4章飞行数据预处理

4. 飞行数据预处理

无人机飞行数据来自飞控、IMU、GNSS、气压计、磁力计、RTK、图传与任务载荷等多个来源，采样率、时间基准、量纲和坐标定义各不相同。原始日志中常混有丢包、重复帧、跳变、漂移和时钟错位。若直接送入分析模型，后续的轨迹重建、能耗估计与故障诊断都会被污染。因此，预处理是飞行数据智能分析工程中决定上限的关键环节，其目标可概括为：让多源异构数据在同一时间轴、同一坐标系、同一量纲下可信可用。

一、核心原理：预处理的五道工序

完整的预处理链路通常包含五个前后衔接的工序，它们并非简单串行，而是存在反馈：异常检测结果会影响缺失值填补策略，时间同步精度又决定坐标变换能否正确对齐。

数据清洗：去除重复记录、无效字段、越界值与通信噪声，统一字段命名与单位。
缺失值处理：识别缺失模式（随机缺失、连续缺失、整段丢失），选择删除、插值或模型填补。
异常值检测：基于物理阈值、统计分布或时序模型识别跳变、卡死与漂移。
时间同步：将多源数据对齐到统一时间基准，处理时钟偏移与采样率差异。
坐标变换与标准化：完成 WGS-84、ECEF、ENU、机体坐标系转换，并做量纲归一化。

  预处理不是“清洗掉脏数据”这么简单，它的本质是在保留真实飞行动态的前提下，消除采集与传输引入的伪信息。过度平滑会抹掉真实机动，过度保留又会放大噪声，平衡点需由任务目标决定。

二、方法流程与关键参数

缺失值处理需区分场景：对于 IMU 高频短时缺失，线性插值或样条插值即可；对于 GNSS 长时间失锁，应标记为无效段而非强行填补，否则会伪造轨迹。异常值检测常用 3σ 准则、IQR 四分位距、中值滤波和卡尔曼新息检验。时间同步则依赖 PPS 脉冲、时间戳插值与动态时间规整（DTW）。坐标变换中，WGS-84 到 ECEF 再到 ENU 是轨迹局部化的标准路径，标准化则常用 Z-score 或 Min-Max。

# 典型预处理参数配置示例
sampling_rate: 100 Hz          # IMU 采样率
gnss_rate: 10 Hz               # GNSS 采样率
time_sync: PPS + linear_interp # 时间同步方式
outlier_method: IQR            # 异常检测方法
outlier_k: 1.5                 # IQR 系数
missing_strategy: spline       # 缺失填补策略
max_gap_interp: 0.5 s          # 最大可插值间隔
coord_chain: WGS84 -> ECEF -> ENU
normalize: z-score             # 标准化方式

三、多源数据预处理流水线

下图展示从原始日志到标准化数据集的完整处理链路，包含五个工序及其关键判断分支，帮助理解各环节的输入输出与依赖关系。

四、案例场景：一次测绘任务的预处理复盘

某测绘无人机执行 25 分钟航测任务，原始日志包含 IMU 100 Hz、GNSS 10 Hz、RTK 5 Hz 三路数据。初步检查发现：IMU 在第 8 分钟出现 0.3 秒连续丢包；GNSS 在第 15 分钟因遮挡产生 2 秒失锁；RTK 时间戳与飞控时钟存在约 40 ms 偏移。若不做处理，直接融合会导致轨迹在失锁段出现“飞点”，坐标变换后平面误差超过 3 米。

处理策略为：IMU 丢包段用三次样条插值填补；GNSS 失锁段标记为无效，不参与融合；RTK 通过 PPS 脉冲重新对齐，偏移从 40 ms 降至 2 ms 以内；最后统一转换到 ENU 坐标系并做 Z-score 标准化。处理后轨迹闭合误差从 3.2 米降至 0.4 米，满足 1:500 测图精度要求。

工序	输入	关键方法	输出	典型参数
数据清洗	原始日志	去重、字段统一、越界剔除	干净记录集	字段映射表、单位表
缺失值处理	干净记录集	样条插值、删除、标记	完整序列	最大插值间隔 0.5 s
异常值检测	完整序列	IQR、3σ、中值滤波	异常标记序列	IQR 系数 1.5
时间同步	多源序列	PPS、线性插值、DTW	统一时间轴	偏移阈值 10 ms
坐标变换与标准化	统一时间轴数据	WGS84→ECEF→ENU、Z-score	标准化数据集	残差阈值 1 m

实用建议：预处理每一步都应保留“处理前/处理后”双份数据与操作日志，便于回溯。异常检测的阈值不要一次写死，建议按任务类型（航测、巡检、物流）分别配置参数模板。

五、常见误区与排障要点

误区一：所有缺失都插值。长时间失锁段插值会伪造轨迹，正确做法是标记无效并让下游算法感知。
误区二：异常值直接删除。删除会破坏时间连续性，导致采样率不均，应优先标记并选择替换或保留。
误区三：忽略时间基准差异。飞控时钟、GNSS 时钟、载荷时钟各自独立，不统一会导致融合错位。
误区四：坐标变换只做一次。不同任务区域应使用对应投影带与椭球参数，跨区飞行需分段处理。
误区五：标准化在全数据集上做。应仅用训练集统计量，避免验证集信息泄漏。

排障提示：若预处理后轨迹出现规律性抖动，优先检查时间同步偏移是否残留；若轨迹整体平移，检查坐标变换的基准点与投影带；若局部跳变，检查异常检测是否漏检或误删。

预处理的质量直接决定后续特征工程与模型分析的可信度。工程实践中，建议将上述五道工序封装为可配置的流水线，每步输出质量指标（缺失率、异常率、同步残差、变换残差），形成可监控、可复现的数据处理闭环。