3. 数据采集与预处理实战

概率分布建模的质量上限，在数据采集阶段就已经被决定了。无论后续选用正态、对数正态还是经验分布，如果原始样本存在系统性缺失、未识别的异常值或量纲混用，拟合出的分布参数都会偏离真实情况，而且这种偏差往往在建模阶段难以察觉。本节围绕一个具体场景展开：为某型工业减速器可靠性评估采集输入参数数据，包括输入扭矩、转速、环境温度、润滑油粘度与累计运行时间五个变量，完成从采集方案设计到可用性判断的完整处理链。

采集方案：先明确每个参数的"采集口径"

采集方案的核心不是"多采数据"，而是为每个参数定义可复现的采集口径。口径至少包含四项：测量对象与位置、采样方式（连续/定时/事件触发）、记录单位与精度、以及有效样本的判定条件。以输入扭矩为例，若在电机输出端与减速器输入端分别测量，两者因联轴器效率差异会带来约2%～5%的系统偏差，因此必须在方案中固定测点位置，并在元数据中记录。转速采用定时采样（如每10秒一次）时，需注意采样频率应显著高于转速波动的主频，否则会引入混叠。

下表给出本节示例场景的采集口径设计（参数为教学假设值，非实测）：

方案中还应约定缺失标记规则：传感器掉线记为NA，人工未记录记为MISSING，两者在后续处理中区别对待——前者可能是随机缺失，后者常与工况相关，属于非随机缺失。

缺失值处理：先判断机制，再选择方法

缺失值处理的第一步不是填补，而是判断缺失机制。若缺失与观测值无关（完全随机缺失），删除或均值填补的偏差可控；若缺失与未观测到的值相关（如高温工况下温度传感器更易失效），简单填补会系统性低估高温尾部，直接影响分布拟合的尾部参数。

实操中可按以下顺序处理：统计各参数缺失比例与缺失位置分布；检查缺失是否与时间、工况段相关；对缺失比例低于5%且无明显模式的参数，采用删除法或中位数填补；对缺失比例5%～20%的参数，优先使用同工况邻近样本的回归填补或插值；超过20%且呈聚集性缺失的参数，应判定为采集方案缺陷，回到采集环节补采，而不是强行填补。以本节示例为例，环境温度缺失8%，且集中在夜间停机时段，属于与运行状态相关的缺失，采用"仅保留运行时段样本"的策略比全局均值填补更合理。

异常值识别：三种判据的组合使用

异常值识别不能只依赖单一阈值。推荐组合使用三类判据：物理边界判据（如转速不可能为负、粘度不可能为零）、统计判据（如基于四分位距的1.5倍IQR规则，或对近似正态参数使用±3σ）、以及工况一致性判据（如扭矩突增但转速无对应变化，提示传感器故障而非真实工况）。

需要注意，统计判据对偏态分布参数（如累计运行时间、扭矩）容易误判：右偏分布的尾部真实值会被3σ规则错误剔除。此时应改用对数变换后的统计判据，或直接采用IQR规则。识别出的异常值应标记而非立即删除，保留原始记录与处理理由，便于追溯。

量纲统一与时间对齐

多源数据合并前必须统一量纲与时间基准。本节示例中，扭矩以N·m记录，若部分历史数据以kgf·m记录，需按1 kgf·m ≈ 9.80665 N·m换算；粘度必须注明测量温度，40℃与100℃的粘度值不可直接混用，统一到40℃基准时需依据油品粘温曲线换算。时间对齐方面，扭矩为1 Hz连续记录、温度为60 s定时记录，合并时应以较粗时间粒度为主键，对高频数据取区间均值，并记录聚合窗口长度，避免把聚合后的平滑值当作瞬时值参与分布拟合。

质量评估与可用性判断

质量评估应形成逐参数的量化档案，至少包含：有效样本量、完整率、异常值比例、量纲统一率、时间对齐覆盖率。可用性判断则设定明确门槛，例如：单参数有效样本量不少于30（满足基本拟合要求）、完整率不低于90%、异常值比例低于5%且无聚集性、时间对齐覆盖率不低于85%。任一参数不达标，应退回补采或重新设计采集方案，而不是通过填补"凑够"样本。这一判断必须在建模前完成并留档，因为分布拟合本身不会暴露输入数据的采集缺陷。

完成上述步骤后，得到的是一份带有质量档案的干净数据集：每个参数都有明确的采集口径、缺失与异常处理记录、统一量纲和时间基准，以及可追溯的可用性结论。这份数据集才是输入参数概率分布建模的合法起点。