3. 材料数据清洗基础
材料数据往往来自多种渠道：文献表格、实验记录、设备导出文件、数据库接口以及人工录入。这些数据在进入特征工程之前，通常同时存在缺失、异常、重复和不一致四类问题。清洗的目标不是把数据“改得好看”，而是让每一条记录在物理意义、量纲和统计分布上都可信，并且让清洗过程可追溯、可复现。本节围绕这四类问题展开，并给出可落地的判断依据与质量评估方法。
一、缺失值：先判断机制，再选择策略
缺失值处理的第一步不是填补，而是判断缺失机制。材料数据中常见的缺失有三类：完全随机缺失（MCAR），例如某次测试仪器临时故障导致硬度值丢失；随机缺失（MAR），例如低熔点合金的密度数据更容易缺失，因为制样困难；非随机缺失（MNAR），例如性能不达标的样品被有意不记录。机制不同，处理策略完全不同。
对于材料数据，建议按缺失比例和特征重要性分档处理。缺失比例低于 5% 且为 MCAR 时，可直接删除缺失样本；缺失比例在 5%～30% 时，优先使用物理约束下的插补，例如同族材料按成分相似度加权平均，或用回归模型基于成分、工艺参数预测缺失值；缺失比例超过 30% 且无强相关特征时，应谨慎保留该特征，必要时将其作为“缺失指示变量”单独编码，而不是强行填补。
需要特别注意的是，材料性能之间往往存在物理关系，例如弹性模量与熔点、密度与原子量之间存在相关性。利用这些关系做插补，比单纯用全局均值更合理。例如某高温合金数据集中，密度缺失 8 条，可根据同系列合金的密度—成分线性关系进行回归插补，而不是用全体均值填充。插补后应记录插补方法、参与插补的特征和插补前后分布变化，便于后续审计。
二、异常值：区分错误值与真实极端值
异常值检测的核心是区分“数据错误”和“真实极端材料”。材料数据中，异常可能来自单位错误（如把 GPa 写成 MPa）、小数点错位、测量漂移或录入错误，也可能是真实存在的高性能或特殊组织材料。因此，异常值不能一律删除。
常用检测方法包括：基于统计的 Z 分数和四分位距（IQR），基于距离的 KNN 距离，基于密度的 LOF，以及基于模型的孤立森林。对于材料数据，建议先用 IQR 做快速筛查，再用物理范围做二次判断。例如某铝合金抗拉强度数据，IQR 上界为 620 MPa，但已知该系列合金经 T6 处理后最高可达 650 MPa，则 640 MPa 不应被简单判为异常，而应结合热处理状态确认。
异常值修正应遵循“先核实、再修正、后记录”的顺序。若确认是单位错误，按量纲换算修正；若确认是录入错误，回溯原始记录更正；若无法核实但明显偏离物理范围，可标记为缺失并按缺失值处理；若确认为真实极端值，应保留并单独标注，避免在标准化或归一化时被压缩。修正后建议保留原始值、修正值、修正原因和操作人字段，形成可追溯的清洗日志。
三、重复数据：识别同一材料的不同表述
重复数据在材料数据中非常隐蔽。同一条记录可能因为成分写法不同（如 Fe-0.2C 与 Fe-0.20C）、单位不同（wt% 与 at%）、材料牌号别名（如 304 与 06Cr19Ni10）而被误认为两条独立样本。重复数据会放大某些成分—性能关系的权重，导致模型偏向重复样本。
重复消除应分两步：先做精确重复检测，再做近似重复检测。精确重复可基于全部字段哈希比对；近似重复则需要定义相似度。对于成分数据，可将成分向量归一化后计算欧氏距离或余弦相似度；对于工艺数据，可将温度、时间、冷却速率等数值标准化后计算距离。建议设置阈值，例如成分余弦相似度大于 0.995 且关键工艺参数相对偏差小于 2% 时判为重复，保留信息更完整的一条，并合并其余记录中的补充信息。
四、一致性校验与清洗质量评估
一致性校验关注三类问题：量纲一致、范围一致、逻辑一致。量纲一致要求同一特征在所有记录中使用相同单位，例如密度统一为 g/cm³，强度统一为 MPa；范围一致要求数值落在物理合理区间，例如密度在 0.5～25 g/cm³，熔点高于 0 K；逻辑一致要求成分总和接近 100%，且工艺参数之间不矛盾，例如时效温度不应高于固溶温度。
清洗质量评估建议从四个维度量化：完整性、准确性、一致性和唯一性。完整性用非缺失率衡量；准确性用通过物理范围校验的记录比例衡量；一致性用通过量纲和逻辑校验的比例衡量；唯一性用去重后剩余记录比例衡量。可以定义一个综合清洗质量分数，例如四项指标的加权平均，权重根据后续任务调整。若用于训练性能预测模型，准确性和一致性权重应更高；若用于数据探索，完整性权重可适当提高。
实际执行时，建议按“重复消除 → 一致性校验 → 缺失值处理 → 异常值检测与修正 → 质量评估”的顺序推进。先去重可以避免重复样本干扰后续统计；先做一致性校验可以防止单位错误被误判为异常；缺失值处理放在异常值之前，是因为部分异常值可能由缺失插补引入，需要统一评估。每一步都应输出清洗日志，记录操作类型、影响记录数、参数和结果，最终形成可复现的清洗流水线。
最后需要强调，材料数据清洗不是一次性工作。当新增实验数据或文献数据时，应复用同一套校验规则和阈值，并定期重新评估清洗质量。只有把清洗规则、参数和日志固化下来，才能保证不同批次数据在进入特征工程时具有可比性，也才能让后续的模型结果真正反映材料本身的规律，而不是数据噪声。