4、数据预处理：数据清洗、异常值检测、缺失值处理、数据变换（对数、Box-Cox）在可靠性数据中的应用
可靠性测试数据的质量直接决定了后续统计分析结论的可信度。无论是寿命试验、加速老化试验还是现场失效数据，原始数据中往往混杂着记录错误、传感器漂移、截尾信息缺失以及量纲差异等问题。若未经预处理直接进行分布拟合或参数估计，轻则导致模型拟合优度下降，重则使可靠性指标（如B10寿命、MTBF）产生数量级偏差。本章围绕数据清洗、异常值检测、缺失值处理与数据变换四大核心环节，结合可靠性工程中的典型场景，系统阐述其方法论与实操要点。
上图展示了可靠性数据预处理的完整技术路线：原始数据经过清洗、异常值检测、缺失值处理和数据变换四个环节后，方可进入分布拟合与参数估计阶段。值得注意的是，各环节并非严格串行，实际工程中往往需要多次迭代——例如异常值检测后可能需要重新审视清洗规则，数据变换后也可能发现新的异常模式。下面逐一展开各环节的核心原理与操作方法。
4.1 数据清洗：从原始记录到可用数据集的“第一道闸门”
核心原理
数据清洗的目标是消除原始数据中的系统性错误、冗余记录和格式不一致问题。在可靠性测试场景中，常见问题包括：时间戳格式混乱（如“2024/1/5”与“2024-01-05”混用）、试验条件记录缺失（温度/湿度/应力水平未填写）、重复录入的失效记录、以及因传感器故障导致的物理量纲错误（如温度显示-999℃）。清洗不是简单的删除，而是基于工程逻辑对数据进行校验和修正。
判断方法与操作流程
- 格式统一：将时间、温度、应力等字段统一为国际单位制（SI），时间戳统一为ISO 8601格式。
- 去重处理：基于试验样品编号+失效时间+失效模式组合键识别重复记录，保留唯一值。
- 逻辑校验：检查物理合理性——例如温度值不应超过试验箱极限（如-70℃~+200℃），失效时间不应大于试验截止时间。
- 范围检查：对连续变量设定工程上下限，超出范围的值标记为“待审查”。
| 清洗类型 | 典型问题 | 处理方法 | 可靠性场景示例 |
|---|---|---|---|
| 格式统一 | 日期格式混用 | 正则表达式批量转换 | 将“2024/1/5”转为“2024-01-05” |
| 去重 | 同一失效记录录入两次 | 按样品ID+失效时间去重 | 样品S-012在100h处失效被重复记录 |
| 逻辑校验 | 失效时间早于试验开始时间 | 标记并人工复核 | 记录显示-5h失效，实为时钟未校准 |
| 范围检查 | 温度传感器漂移导致-999℃ | 剔除或插补 | 高温试验箱温度记录异常 |
4.2 异常值检测：识别“真异常”与“假异常”
核心原理
异常值（Outlier）是指与数据总体分布显著偏离的观测值。在可靠性数据中，异常值可能来自真实的极端失效（如早期失效）或记录错误。区分二者至关重要——将真实极端失效误判为异常值而删除，会低估产品的早期失效率；反之，将记录错误保留则会扭曲分布拟合结果。常用的检测方法包括基于统计假设的Grubbs检验、基于分布可视化的箱线图法，以及基于工程经验的物理判据法。
判断方法
- Grubbs检验：适用于近似正态分布的数据，检验统计量G = (max|xi - x̄|)/s，查表判断是否超出临界值。
- 箱线图法：以Q1-1.5×IQR和Q3+1.5×IQR为界，超出范围的点视为潜在异常值，适用于偏态分布。
- 工程判据：结合试验条件设定物理极限，例如振动试验中加速度超过设定值±20%即标记。
案例拆解：某型连接器高温老化试验数据
某连接器在85℃/85%RH条件下进行500h老化试验，记录接触电阻变化值（mΩ）。初始数据中第47号样品在200h时电阻突增至500mΩ，远超其他样品（均值约15mΩ）。初步判断为异常值，但进一步检查发现该样品在试验前曾经历插拔操作，可能已造成机械损伤。经与试验工程师确认，该样品属于“真实异常失效”，应保留并单独分析其失效模式。若直接删除，将低估连接器在插拔应力下的退化风险。
4.3 缺失值处理：截尾数据与随机缺失的差异化策略
核心原理
可靠性数据中的缺失值具有特殊性：一是右截尾（Right-censored）数据——试验结束时仍未失效的样品，其失效时间未知但已知“大于某个值”；二是随机缺失——因记录遗漏或传感器故障导致的个别数据点缺失。右截尾数据是可靠性分析的宝贵信息，不能删除，必须采用极大似然估计（MLE）等方法纳入分析；随机缺失则需根据缺失机制选择删除或插补。
处理方法对比
| 缺失类型 | 处理方法 | 适用场景 | 注意事项 |
|---|---|---|---|
| 右截尾 | 保留并标记为截尾数据 | 定时截尾试验、定数截尾试验 | MLE可充分利用截尾信息 |
| 左截尾 | 标记起始时间不确定 | 现场数据中产品已使用一段时间 | 需估计延迟时间 |
| 随机缺失 | 删除（列表删除） | 缺失比例<5%且完全随机 | 可能损失样本量 |
| 随机缺失 | 均值/中位数插补 | 缺失比例5%-20% | 会降低方差估计 |
| 随机缺失 | 多重插补（MICE） | 缺失比例>20% | 计算复杂但更稳健 |
4.4 数据变换：对数变换与Box-Cox变换的工程应用
核心原理
可靠性数据常呈现右偏态分布（如失效时间、退化量），直接使用正态分布假设的统计方法（如t检验、ANOVA）会失效。数据变换通过单调函数将原始数据映射到近似正态分布的空间，从而满足参数检验的前提条件。最常用的两种变换为：对数变换（y' = ln(y)）适用于对数正态分布数据，Box-Cox变换（y' = (y^λ - 1)/λ，λ≠0；y' = ln(y)，λ=0）通过极大似然估计自动选择最优λ值，适用范围更广。
操作流程
- 绘制原始数据的直方图或Q-Q图，判断偏态程度。
- 若数据呈对数正态分布特征（右偏且取对数后对称），直接采用对数变换。
- 若不确定分布类型，使用Box-Cox变换，通过MLE估计λ值（通常λ在-2到2之间搜索）。
- 变换后重新绘制Q-Q图验证正态性，并检查变换是否稳定了方差。
案例拆解：LED光通量衰减数据分析
某LED灯具进行6000h光通量维持率试验，记录光通量衰减百分比。原始数据呈明显右偏分布，直接计算均值与标准差会受少数快速衰减样品影响。采用Box-Cox变换，MLE估计得λ≈0.3，变换后数据近似正态。基于变换后数据计算均值和95%置信区间，再反变换回原始尺度，得到光通量维持率的稳健估计。若直接使用原始数据，均值会被极端值拉低约8%，导致误判产品寿命不达标。
4.5 常见误区与总结复盘
- 误区一：将所有异常值一律删除。正确做法是结合失效物理判断，真实极端失效应保留。
- 误区二：忽略右截尾数据，直接删除未失效样品。这会导致寿命估计严重偏短。
- 误区三：盲目使用Box-Cox变换而不检查变换后的分布形态。λ值选择不当反而会引入新的偏差。
- 误区四：清洗和变换后不进行验证。应始终通过Q-Q图、概率图等可视化手段确认预处理效果。
总结而言，可靠性数据预处理不是机械化的“数据清理流水线”，而是需要结合试验设计、失效物理和统计诊断的综合性工程活动。每一步操作都应记录在案，并保留原始数据以便追溯。经过充分预处理的数据，才能为后续的分布拟合、加速模型建立和可靠性预测提供坚实依据。