3. 数据采集异常导致计算结果偏差
可靠性计算的可信度,首先取决于喂给模型的数据是否“干净且语义正确”。在工程实践中,寿命试验、现场故障记录、维修工单和传感器监测是可靠性数据的主要来源,而这些来源几乎不可避免地带有三类问题:缺失值(该记录的时刻或状态没记下来)、异常值(记录明显偏离物理规律,如寿命为负、时长为 0 或大得离谱)、截尾数据误处理(把未失效的右截尾样本当成失效样本,或把区间截尾当成精确失效)。这三类问题对计算结果的影响方向不同,识别手段和修正方式也不同,必须分开处理。
一、先判断“数据是什么类型”,再谈清洗
可靠性数据按观测完整性可分为精确失效时间、右截尾(试验结束时仍未失效)、左截尾(只知道在某个时刻之前已失效)和区间截尾(只知道失效发生在两个检查时刻之间)。很多计算偏差并非来自数值错误,而是来自类型标注错误。例如某批轴承台架试验共 20 套,试验进行到 5000 小时结束,其中 14 套已失效、6 套仍运行。若把 6 套未失效样本的“5000 小时”直接当作失效时间代入威布尔拟合,会人为拉高寿命均值、压低早期失效率,得到的形状参数 β 明显偏小。正确做法是给这 6 条记录打上右截尾标记(如 status=0),让似然函数只贡献生存概率项,而不是密度项。
因此第一步不是删数据,而是建立一张数据字典:每条记录至少包含样本编号、观测时间、事件状态(失效/右截尾/左截尾/区间截尾)、失效模式、数据来源。状态字段是后续一切修正的基准,缺失它就无法判断该条记录应进入似然函数的哪一项。
二、缺失值的识别与修正策略
缺失值分两种:结构性缺失(该字段本就不适用,如未失效样本没有失效原因)和随机缺失(本应记录却漏记,如某台设备的投运日期空白)。结构性缺失不应填补,只需在分析时排除对应字段;随机缺失才需要处理。判断方法是看缺失是否与样本特征相关:若缺失集中在某一批次、某一供应商或某一时间段,往往不是随机缺失,直接删除会引入选择偏差。
对随机缺失,常用三种修正方式,按保守程度递增:
- 完整案例分析:只保留字段完整的记录。适用于缺失比例低(经验上低于 5%)且缺失随机的情形,代价是样本量减少、置信区间变宽。
- 多重插补:对寿命这类右偏分布数据,用威布尔或对数正态分布拟合后做条件插补,生成多组完整数据集分别计算再合并,能保留不确定性。简单均值插补会压缩方差,导致寿命置信区间偏窄,不建议用于可靠性计算。
- 把缺失当作截尾:若只知道样本“至少运行到某时刻”,可将其作为右截尾处理,这比凭空插补一个寿命值更符合物理事实。
三、异常值的判定与处置
异常值不等于错误值。可靠性数据中的长寿命样本可能是真实的“幸运样本”,直接删除会低估寿命、高估失效率。判定异常值应结合物理约束和统计准则两层:物理层检查寿命是否为负、是否小于 0、是否超过设备设计寿命的数量级、时间戳是否倒序;统计层可用箱线图(IQR 准则,超出 Q1−1.5IQR 或 Q3+1.5IQR)或对对数寿命做 Grubbs 检验。
处置原则是“先查来源,再决定去留”。若异常值源于录入错误(如把 1200 小时录成 12000 小时)、单位混用(小时与天混记)或时间基准错误(投运日期与故障日期取自不同时区),应修正而非删除。若确认是真实的长寿命样本,应保留;只有当它与同批次样本的失效机理明显不同(例如混入了另一型号产品)时才剔除,并在报告中记录剔除理由和剔除前后的结果对比。
四、截尾数据误处理的典型场景
截尾误处理是三类问题中最隐蔽、对结果影响最大的一类。常见情形包括:把右截尾当失效、把区间截尾的中点当精确失效、以及忽略左截尾导致的“幸存者偏差”。以区间截尾为例,设备每 500 小时巡检一次,某台设备在第 3 次巡检(1500 小时)发现已失效、第 2 次巡检(1000 小时)时正常,则真实失效时间落在 (1000, 1500] 区间内。若直接取 1250 小时作为失效时间,会人为引入 ±250 小时的误差,在样本量小时会明显扭曲 β 的估计。正确做法是在似然函数中用 F(1500)−F(1000) 作为该样本的贡献项。
下图归纳了从原始记录到修正后数据的判断路径,以及三类问题对计算结果的主要影响方向,可作为排障时的对照参考。
五、修正后的验证:用对比而非感觉判断
修正是否有效,不能只看“数据看起来顺眼了”,而应做修正前后对比。建议至少输出三组结果:修正前、修正后、以及仅剔除异常值但不做插补的敏感性方案。对比指标包括样本量、形状参数 β、特征寿命 η、B10 寿命及其置信区间。若修正后 β 变化超过 10% 或 B10 置信区间明显收窄,应回溯检查是哪一类修正主导了变化,并在报告中说明。对于截尾数据,还应检查修正后生存曲线的尾部是否仍与工程经验相符——右截尾样本被正确保留时,尾部不应出现不合理的陡降。
最后强调一点:数据采集异常的排障,本质上是语义校验而非单纯的数值清洗。先确认每条记录“代表什么观测”,再决定它“该不该改、该怎么改”,才能让后续的可靠性计算建立在可信的输入之上。