4、缺失值处理：缺失模式识别、插值方法（线性、样条、前向/后向填充）、基于时间权重的填充、多重插补
时序数据中的缺失值几乎是不可避免的——传感器掉线、网络丢包、设备维护、日志采集异常，都会在时间轴上留下“空洞”。与横截面数据不同，时序数据的缺失值处理不能简单套用均值填充或删除法，因为时间顺序本身携带信息：相邻时刻的观测值往往高度相关，且缺失位置（是随机散落还是连续成段）直接影响后续特征工程（如滑动窗口统计、滞后特征、频域变换）的可靠性。本章将系统讲解缺失模式的识别方法、四种主流插值策略的适用场景与数学原理，并通过一个工业案例展示如何组合使用这些方法。
4.1 缺失模式识别：从“有没有”到“怎么缺”
核心原理：缺失模式决定了后续处理策略的边界。统计上，缺失机制分为三类：完全随机缺失（MCAR，缺失与任何变量无关）、随机缺失（MAR，缺失与其他观测变量相关）、非随机缺失（MNAR，缺失与缺失值本身相关）。在时序场景中，还需额外区分散点缺失（单个时间点孤立缺失）与连续缺失（连续多个时间点缺失，如设备断电一小时）。散点缺失通常可以用简单插值解决，而连续缺失则需要更复杂的模型或业务规则介入。
判断方法：首先绘制缺失值热力图或游程图，观察缺失位置是否呈现周期性（如每天固定时段）、趋势性（如逐渐增多）或随机性。其次，计算缺失比例和最大连续缺失长度。最后，通过相关性分析判断缺失是否与其他特征相关（例如：温度传感器缺失时，湿度传感器是否也同时缺失）。
| 缺失模式 | 特征 | 推荐处理策略 | 风险等级 |
|---|---|---|---|
| MCAR（散点） | 缺失位置完全随机，无规律 | 线性插值、前向/后向填充 | 低 |
| MAR（条件缺失） | 缺失与已观测变量相关 | 多重插补、回归插补 | 中 |
| MNAR（非随机缺失） | 缺失与未观测值相关（如传感器超量程） | 需业务知识建模，谨慎处理 | 高 |
| 连续成段缺失 | 连续多个时间点缺失 | 样条插值、状态空间模型、分段填充 | 中高 |
4.2 插值方法详解：从线性到样条
线性插值是最基础的方法，假设缺失段内数据呈线性变化，适用于变化平缓的物理量（如室温、液位）。其数学形式为：y(t) = y(t0) + (y(t1)-y(t0)) * (t-t0)/(t1-t0)。实现简单、计算快，但在数据波动剧烈或缺失段较长时会产生“削峰”效应，低估真实波动。
样条插值（尤其是三次样条）通过分段多项式拟合已知点，保证插值曲线在已知点处连续且一阶、二阶导数连续。它比线性插值更平滑，能更好地保留局部趋势。但样条插值对异常值敏感，且外推能力差——如果缺失段位于数据序列的末端，样条插值可能产生不合理的振荡。
前向填充（ffill）与后向填充（bfill）本质上是“用最近邻值替代”，适用于缺失值持续时间短且变量变化缓慢的场景（如设备状态标志位、缓慢漂移的校准系数）。ffill用缺失点之前最近的有效值填充，bfill则相反。这两种方法不会引入新的数值，但会低估方差，且当缺失段较长时会造成平台效应。
# Python示例：Pandas中的插值方法对比
import pandas as pd
import numpy as np
# 构造含缺失的时序数据（每5分钟一个点）
ts = pd.Series([20.1, 20.3, np.nan, np.nan, 20.8, 21.0, np.nan, 21.5],
index=pd.date_range('2024-01-01 00:00', periods=8, freq='5min'))
# 线性插值
linear_filled = ts.interpolate(method='linear')
# 三次样条插值（需要设置order）
spline_filled = ts.interpolate(method='spline', order=3)
# 前向填充
ffill_filled = ts.ffill()
# 时间加权填充（按实际时间间隔加权）
time_filled = ts.interpolate(method='time')基于时间权重的填充是线性插值的变体，但权重由时间间隔决定而非等距索引。对于非均匀采样的时序数据（如事件驱动型采集），时间加权填充比普通线性插值更准确，因为它尊重了实际的时间距离。例如，若t0到t1间隔10分钟，t1到t2间隔2分钟，则t1.5处的值应更接近t2。
4.3 多重插补：不确定性感知的填充策略
核心原理：多重插补（Multiple Imputation, MI）的核心思想是：用模型预测缺失值，并生成多个不同的填充版本（通常5-10个），每个版本都包含对填充值不确定性的随机扰动。然后对每个完整数据集分别进行下游分析，最后合并结果（Rubin规则）。这种方法不仅填充了缺失值，还保留了填充带来的不确定性，避免了对后续模型置信区间的低估。
操作流程：在时序场景中，多重插补通常使用链式方程（MICE）实现。每一步用一个条件模型（如线性回归、随机森林）基于其他变量和时序滞后特征来预测当前缺失变量。关键点在于：必须将时间索引（如小时、星期、趋势项）作为特征纳入模型，否则会丢失时间依赖性。
4.4 案例拆解：风电齿轮箱温度传感器的连续缺失处理
背景与约束：某风电场的数据采集系统因通信模块故障，导致3号风机齿轮箱轴承温度传感器在2024年3月10日14:00至18:00连续缺失4小时数据（采样频率为1分钟，共240个缺失点）。该温度变量是后续预测性维护模型的关键输入，且缺失期间风机仍在运行，无法停机补采。
初始现象与目标：初步观察发现，缺失时段恰好覆盖了下午温度上升期（环境温度从18°C升至24°C），且齿轮箱负载稳定。目标是在不引入显著偏差的前提下，填充这240个点，使得填充后的数据能够支持后续的轴承退化趋势分析。
分析判断过程：首先，确认缺失机制——通信故障导致整段数据丢失，属于“连续成段缺失”，且与温度值本身无关（MCAR）。其次，检查同风场其他风机的同型号传感器数据，发现温度变化具有明显的日周期性。最后，评估各方法：线性插值会低估峰值温度；前向填充会造成4小时平台，严重失真；样条插值可能产生过冲。
实际操作步骤：
- 提取缺失时段前24小时和后6小时的正常数据，作为参考窗口。
- 使用三次样条插值（smooth=0.5）生成初步填充值，并记录置信区间。
- 利用同风场2号风机（负载相似）同时段的温度变化率作为先验知识，对样条插值结果进行修正：
修正值 = 样条值 × (1 + 0.3 × 参考变化率偏差)。 - 生成3个不同的填充版本（通过调整样条平滑参数和随机噪声），进行多重插补合并。
- 验证：将填充数据与修复后系统恢复的实测数据（延迟获取）进行对比，计算RMSE。
结果对比：线性插值RMSE为2.3°C，前向填充RMSE为4.1°C，样条插值RMSE为1.2°C，修正后的样条插值RMSE为0.8°C。最终采用修正样条插值结果，并保留多重插补的方差信息用于后续模型的不确定性传播。
风险与代价：该方法的代价是需要人工介入和领域知识（参考风机的选择），无法全自动执行。若参考风机负载不同，修正反而会引入偏差。因此，在自动化管道中，建议先运行样条插值，再通过异常检测模块标记高不确定性区域，由人工复核。
4.5 常见误区与总结复盘
误区一：盲目使用均值填充。时序数据的均值填充会破坏时间相关性，且当存在趋势或季节性时，均值填充会引入虚假的周期模式。例如，对具有日周期性的温度数据填充全天均值，会完全抹平昼夜差异。
误区二：忽略缺失值对特征工程的影响。滑动窗口统计（如滚动均值、滚动标准差）对缺失值极其敏感。若在填充前直接计算滚动窗口，窗口内的NaN会传播导致整个窗口无效。正确做法是：先填充，再计算窗口特征；或者使用支持NaN跳过的窗口函数（如min_periods参数）。
误区三：将插值方法视为“一次性操作”。在实际项目中，数据会持续到达，缺失模式可能随时间变化。建议建立缺失监控仪表盘，定期评估缺失比例和模式变化，动态调整插值策略。
误区四：忽视时间索引的规则性。如果时间戳存在重复或跳跃（如夏令时切换、闰秒），线性插值会错误地假设等间隔。此时必须先对时间索引进行规范化（重采样到固定频率），再进行插值。
| 方法 | 适用场景 | 优点 | 缺点 | 计算成本 |
|---|---|---|---|---|
| 前向/后向填充 | 状态量、缓慢变化量 | 简单、不引入新值 | 平台效应、低估方差 | 极低 |
| 线性插值 | 变化平缓的连续量 | 快速、稳定 | 削峰、不保留曲率 | 低 |
| 样条插值 | 有趋势或曲率的物理量 | 平滑、保留局部形状 | 过冲、外推差 | 中 |
| 时间加权填充 | 非均匀采样数据 | 尊重实际时间间隔 | 需精确时间戳 | 低 |
| 多重插补 | MAR机制、下游需置信区间 | 保留不确定性 | 计算重、假设强 | 高 |
总结复盘：缺失值处理不是“填空题”，而是“决策题”。正确的流程是：先识别缺失模式（比例、连续性、机制），再结合业务知识选择候选方法，然后通过可视化对比和下游任务验证来评估效果，最后将填充过程封装为可复用的管道组件。对于关键变量，建议同时保留原始缺失标记（mask）作为额外特征，让模型自行学习缺失模式与目标变量的关系。在工程实现上，务必记录每次填充的参数和版本，以便追溯和回滚。