3. 可靠性数据清洗与预处理实战

材料可靠性数据往往来自多个渠道：拉伸试验机导出的 CSV、疲劳试验台记录的循环日志、老化箱的温湿度巡检表、供应商随炉质保书，以及人工抄录的失效时间。这些数据在进入寿命建模之前，必须先经过一轮系统性的清洗与预处理。本节以一个假想的“某批次 6061-T6 铝合金疲劳与拉伸联合数据集”为教学对象，完整走一遍从原始表到可建模数据集的加工链路。所有数值均为教学示例，不代表真实实测结果。

一、先看清数据集的“病灶”

假设原始数据集包含 240 条记录，字段有：试样编号、材料牌号、批次号、热处理状态、抗拉强度 Rm、屈服强度 Rp0.2、延伸率 A、应力幅 Sa、应力比 R、失效循环数 Nf、试验温度 T、试验湿度 RH、试验日期、设备编号。初步扫描后，典型问题如下：

• 缺失值：Nf 缺失 12 条（试样未失效即停机），RH 缺失 31 条（早期设备无湿度记录），A 缺失 5 条。
• 异常值：Rm 出现 78 MPa 和 612 MPa 两个明显离群点；Nf 出现 3 次循环和 2.1×10⁷ 次循环。
• 测量误差：两台拉伸机对同一批试样给出的 Rm 系统偏差约 8 MPa；部分 Nf 由人工按对数插值估算。
• 批次效应：批次 B01 与 B02 的 Rp0.2 均值相差约 15 MPa，但热处理状态标注相同。
• 数据对齐：疲劳试验的试样编号与拉伸试验的试样编号规则不一致，需按“炉号+试样序号”重新映射。
• 单位不统一：温度同时存在 ℃ 与 K，应力同时存在 MPa 与 ksi，循环数存在“次”与“千次”。

这些问题如果不处理，会直接污染 S-N 曲线拟合、Weibull 参数估计和加速寿命模型。下面按“缺失—异常—误差—批次—对齐—单位—质量评估”的顺序展开。

二、缺失值处理：先判断机制，再选策略

缺失值不能一律删除或一律填充。先判断缺失机制：Nf 缺失属于“右删失”，即试样在停机时尚未失效，它携带“寿命至少达到某值”的信息，应作为删失数据处理，而不是简单删除。RH 缺失属于随机缺失，可用同批次同日期其他设备的均值填充，或按试验季节分组填充。A 缺失仅 5 条，且 A 与 Rm 存在弱相关，可用同批次同热处理状态的 Rm-A 回归预测填充。

教学示例中，对 Nf 缺失的 12 条记录，保留其“已运行循环数”作为下限，并在建模时标记为右删失；对 RH 缺失，按“批次+月份”分组均值填充；对 A 缺失，用同批次线性回归 A = 0.021·Rm - 3.4 预测后取整到 0.5%。填充后需新增一列 fill_flag，记录每条记录的填充来源，便于后续敏感性分析。

三、异常值识别：统计准则与物理准则并用

异常值识别不能只看箱线图。对 Rm，先用四分位距法：Q1=295 MPa，Q3=325 MPa，IQR=30 MPa，则正常范围为 [250, 370] MPa，78 MPa 和 612 MPa 均超出，判定为录入错误或单位混淆。对 Nf，3 次循环可能是装夹滑移导致的无效试验，2.1×10⁷ 次循环可能是未断停机，两者都应结合试验日志复核。

更稳妥的做法是“统计准则+物理准则”双筛：统计上超出 3σ 或 IQR 1.5 倍；物理上 Rm 必须落在材料标准区间内，Nf 必须大于 10³ 且小于 10⁸。对确认的异常值，优先回查原始记录；无法回查时，按缺失值处理，而不是直接替换为均值。

四、测量误差与批次效应：区分系统偏差与真实差异

两台拉伸机的系统偏差可通过重复测量同一标准试样评估。教学示例中，设备 A 与设备 B 对 10 个标准试样的 Rm 差值均值为 8.2 MPa，标准差 1.1 MPa，说明存在稳定系统偏差，应对设备 B 的数据统一减去 8.2 MPa 后再合并。若偏差随载荷水平变化，则需建立设备间的线性校准关系。

批次效应更隐蔽。B01 与 B02 的 Rp0.2 均值差 15 MPa，但热处理状态相同。此时应检查：是否同炉号？是否同淬火延迟？是否同自然时效时间？若确认是批次间真实差异，则应在模型中把“批次”作为随机效应或分层变量，而不是强行合并。若确认是标注错误，则修正批次标签。

五、数据对齐与单位统一：把“同一件事”合并到同一行

数据对齐的核心是建立稳定的连接键。教学示例中，拉伸表用“炉号-试样序号”，疲劳表用“炉号-试样序号-F”，两者可通过字符串截取统一为“炉号-试样序号”。对齐后，每条记录同时拥有拉伸性能和疲劳寿命，才能做“强度—寿命”关联分析。若无法一一对应，则只能按批次均值做分组匹配，此时必须记录匹配层级，避免把批次均值误当作个体值。

单位统一要建立“字段—单位—换算”对照表。温度：K = ℃ + 273.15；应力：1 ksi = 6.895 MPa；循环数：1 千次 = 1000 次。所有换算应在数据加载阶段完成，并在数据字典中固定单位，禁止在建模代码中临时换算，否则极易出现量纲错误。

六、材料数据集质量评估：用指标说话

清洗完成后，需要一套可量化的质量评估。建议至少计算以下指标：

质量评估不是一次性的。每次新增数据、更换设备或调整试验标准后，都应重新跑一遍评估脚本，并对比关键分布（如 Rm 直方图、Nf 对数分布）是否发生漂移。若发现漂移，应优先排查设备校准、批次变更和单位换算，而不是直接进入建模。

经过上述处理，教学示例中的 240 条记录最终保留 236 条有效记录，其中 12 条标记为右删失，4 条因无法回查且物理上不合理而剔除。数据集字段统一为：试样ID、批次、热处理状态、Rm(MPa)、Rp0.2(MPa)、A(%)、Sa(MPa)、R、Nf(次)、删失标记、T(℃)、RH(%)、设备编号、填充标记。此时的数据集才适合用于 S-N 曲线拟合、Weibull 分布参数估计和后续的加速寿命建模。