2. 材料数据采集与初步审查

材料数据清洗的第一步不是“清洗”，而是把数据从不同来源收拢到同一张工作表中，并完成一次系统性的初步审查。这一步决定了后续特征工程的上限：如果采集阶段遗漏了关键字段，或者审查阶段没有识别出单位、量纲、重复记录等问题，后面再精细的算法也难以补救。本节围绕四类常见来源——实验、文献、数据库和计算——说明如何获取数据，并识别缺失值、异常值、重复记录和单位不一致这四类高频问题。

四类数据来源的采集要点

实验数据通常来自材料制备与表征过程，例如拉伸试验、硬度测试、热重分析、X射线衍射等。采集时要保留“条件—过程—结果”三层信息：条件包括温度、时间、气氛、加载速率；过程包括原始曲线或中间记录；结果包括屈服强度、抗拉强度、延伸率、晶格常数等派生量。只记录最终结果而丢掉条件，会导致后续无法判断数据是否可比。

文献数据主要来自论文、专利和手册。文献中常见的问题是数据以图形式给出、单位混用、有效数字不统一。采集时应优先提取表格数据，对图形数据要注明“由图中读取”，并记录读取误差范围。文献数据还必须记录出处、年份和测试标准，否则不同标准下的同一性能指标可能不可比。

数据库数据来自 Materials Project、OQMD、NIST 等平台。这类数据通常结构规整，但要注意版本差异和计算参数差异。例如同一化学式在不同数据库中的形成能可能因泛函选择不同而相差数十 meV/atom。采集时应记录数据库名称、版本号、查询日期和关键计算参数。

计算数据来自第一性原理、分子动力学或相场模拟。计算数据的采集重点是输入参数和输出量的一致性：交换关联泛函、截断能、k点网格、赝势类型都会影响结果。建议在采集表中单独设置“方法标签”列，把计算方法和参数作为数据的一部分保存。

缺失值的识别与分级处理

缺失值不只是空单元格。材料数据中常见的“伪缺失”包括：用“—”表示未测、用“N/A”表示不适用、用“0”表示未检出、用“待补”表示计划补充。这些占位符如果不统一处理，后续统计会把它们当成有效值。建议在采集表中增加一列“缺失标记”，把缺失分为三类：结构性缺失（该材料本就不需要该指标）、随机缺失（测试遗漏或仪器故障）、系统性缺失（某来源长期不提供某字段）。

处理策略取决于缺失比例和缺失类型。以一份包含 120 条合金性能记录的数据表为例，若“延伸率”字段缺失 8 条（约 6.7%），且缺失集中在同一批次样品，可优先回查原始记录；若无法回查，可考虑用同材料体系的中位数填充，并新增一列“延伸率_是否填充”作为标记。若某字段缺失超过 40%，通常不建议强行填充，而应评估该字段是否值得保留。

异常值的判断：先物理，后统计

材料数据的异常值判断必须优先考虑物理合理性。例如室温下金属材料的弹性模量通常在 10–400 GPa 量级，若某条记录出现 8500 MPa，可能是单位写错（应为 8.5 GPa）；若出现 0.85 GPa，则可能是数量级录入错误。再如密度字段，若某铝合金记录为 2.7 g/cm³ 而另一条同牌号记录为 2700 kg/m³，两者数值相差 1000 倍，但物理上等价，属于单位不一致而非异常值。

统计方法可作为辅助。对同一材料体系的性能数据，可用箱线图或 3σ 准则标记离群点，但必须结合样本量判断。样本量小于 10 时，3σ 准则容易误判；此时更适合用中位数绝对偏差（MAD）或直接人工复核。建议在审查表中对每个疑似异常值记录“判断依据”，例如“超出该体系文献范围”“与同批次其他样品偏差超过 5 倍”“原始记录中该行有涂改痕迹”。

重复记录的识别与合并

重复记录分为完全重复和近似重复。完全重复指所有字段完全一致，通常由多次导入或复制粘贴造成，可直接去重。近似重复更隐蔽：同一样品在不同时间测试，数值略有差异；同一材料在不同文献中报道，测试条件不同。识别近似重复需要定义“关键字段组合”，例如“材料牌号 + 测试标准 + 温度 + 性能指标”。若关键字段组合相同但数值不同，应保留全部记录并新增“来源”和“测试日期”列，而不是简单删除。

一个实用的检查方法是：先按关键字段组合分组，统计每组记录数和数值范围。若某组记录数异常多（例如同一牌号同一温度下有 15 条屈服强度记录），应逐条核对来源。若确认是同一实验的多次录入，保留最早或最完整的一条；若来自不同实验，则全部保留，并在后续特征工程中考虑用均值或分布特征表达。

单位不一致的系统性排查

单位问题是材料数据中最容易造成“隐性错误”的环节。常见的不一致包括：强度用 MPa 与 GPa 混用、密度用 g/cm³ 与 kg/m³ 混用、成分用 wt% 与 at% 混用、温度用 ℃ 与 K 混用、能量用 eV 与 kJ/mol 混用。排查时建议建立“字段—标准单位—换算关系”对照表，对每个数值字段强制记录原始单位，再统一换算到标准单位。

以成分字段为例，wt% 与 at% 的换算需要知道各元素的原子量。若某合金标注为“Fe-18Cr-8Ni（wt%）”，换算为 at% 时需按原子量加权计算，结果约为 Fe-19.5Cr-7.5Ni（at%）。如果直接混用两种单位做统计分析，成分与性能之间的关系会被严重扭曲。因此，在初步审查阶段就应把单位字段拆分为“原始单位”和“标准单位”两列，并保留换算公式或换算记录。

采集与初步审查不是一次性动作，而是贯穿整个数据准备过程的循环。每引入一批新数据，都应重新检查四类问题是否出现新的变体。只有把来源、单位、缺失和重复都标记清楚，后续的填充、变换和特征构造才有可靠的基础。