3. 生物过程数据预处理工程
生物过程数据来自在线传感器、离线取样分析和人工录入三类通道，天然带有缺失、异常、噪声、批次错位和时间戳漂移。预处理不是“清洗一下再建模”的附属步骤，而是决定后续多变量分析能否成立的第一道工程关口。本节按“先诊断、再修复、后评估”的顺序，把六类问题串成一条可执行的数据处理链。
一、缺失值：先分清机制，再决定填补策略
缺失机制通常分三类：完全随机缺失（MCAR，如传感器偶发丢包）、随机缺失（MAR，如某批次离线取样次数偏少）、非随机缺失（MNAR，如高黏度导致取样失败而缺失）。机制不同，处理方式完全不同。工程上先做缺失图谱：按变量统计缺失率，按时间统计连续缺失长度。
常用策略与适用条件：
- 删除：变量缺失率 > 40% 且非关键变量，或整批缺失，可整列/整批剔除；
- 前向填充（LOCF）：适用于温度、pH 等缓变过程量，但连续缺失不宜超过 3～5 个采样点；
- 线性/样条插值：适用于离线浓度等稀疏但平滑的曲线；
- 模型填补：用同批次其他相关变量（如溶氧与搅拌、补料速率）做回归或 PCA 迭代填补，适合 MAR。
示例：某 120 h 批次，溶氧（DO）在 36～40 h 连续缺失 5 点（采样周期 1 min，即 5 min）。由于 DO 与搅拌转速、通气量强相关，采用同批次转速回归填补，而非简单前向填充，可避免把阶跃变化抹平。
二、异常值：区分“错误值”与“真实极端事件”
异常值检测不能只看统计离群。生物过程里，pH 骤降可能是加酸失控（错误），也可能是细胞代谢突变（真实事件）。工程做法是“统计检测 + 过程知识复核”双通道。
常用检测：3σ 与 MAD（稳健）、箱线图 IQR、滑动窗口残差、PCA 的 SPE/T² 贡献图。对每个候选异常点，回看其前后趋势、同批次其他变量是否同步变化、以及是否有操作记录（补料、取样、灭菌）。只有确认是测量或录入错误才修正；真实极端事件应保留并打标签，供后续故障诊断使用。
三、噪声：滤波要匹配信号带宽
在线传感器噪声主要来自电磁干扰、气泡、搅拌脉动。滤波目标不是“越平滑越好”，而是保留过程动态。常用方法：移动平均（窗口 5～15 点）、Savitzky-Golay（保峰）、一阶低通（截止频率取过程时间常数的 3～5 倍）、小波去噪（适合非平稳）。
判断依据：滤波后计算信噪比提升，同时检查关键拐点（如补料起始、pH 调控切换）是否被延迟或削峰。若拐点被明显平滑，说明截止频率过低，应放宽。
四、批次对齐与时间戳校正
不同批次接种时刻、取样时刻、传感器时钟各不相同。对齐分两层：时间戳校正先把各通道统一到同一时间基准（如以接种时刻为 t=0，统一为 UTC 或本地标准时间，处理夏令时与时钟漂移）；批次对齐再把不同批次映射到统一过程时间轴。
对齐方法：
- 事件对齐：以接种、补料、诱导、放罐等关键事件为锚点，适合阶段明确的批次；
- 时间规整（DTW）：适合曲线形状相似但时长不同的批次，注意约束窗口避免过度扭曲；
- 重采样：统一到固定采样周期（如 1 min），用插值或分箱聚合。
示例：批次 A 接种于 08:12，批次 B 接种于 09:05，若直接按绝对时间叠加，前 53 min 完全错位。以接种为 t=0 重采样到 1 min 后，两批次的 DO 下降段才可比较。
五、数据质量评估：用指标闭环
预处理后必须给出可量化的质量报告，至少包含：缺失率、异常点比例、滤波前后信噪比、批次对齐后的时间覆盖率、变量量纲一致性。建议为每个批次生成质量评分，低于阈值的批次进入人工复核，而不是直接进入建模。
六、可执行的质量检查清单
把上述流程固化为可复用的检查表，便于每批数据进入建模前逐项确认：
| 检查项 | 判定标准 | 不通过时的动作 |
|---|---|---|
| 变量缺失率 | ≤ 5%（关键变量 ≤ 2%） | 回归/插值填补，或剔除变量 |
| 连续缺失长度 | ≤ 5 个采样点 | 缩短填补窗口，改用模型填补 |
| 异常点比例 | ≤ 2% | 逐点复核，区分错误与真实事件 |
| 滤波后 SNR | 提升 ≥ 3 dB | 调整窗口/截止频率 |
| 时间戳一致性 | 各通道时钟偏差 ≤ 1 min | 统一基准，重采样 |
| 批次对齐偏差 | 关键事件对齐误差 ≤ 5% | 改用 DTW 或事件锚点 |
| 量纲一致性 | 单位、量级统一 | 换算并记录变换 |
完成上述六步后，数据才具备进入 PCA、PLS 或多向 PCA 等多元分析的基本条件。质量评估不是一次性动作，而应随批次持续运行，形成可追溯的数据质量档案。