2. 材料数据来源与采集任务

材料数据库的质量上限，在数据被写入数据库之前就已经被决定了。无论后续的清洗、标注、检索算法多么精巧，如果源头采集环节丢失了成分、工艺、测试条件或单位信息，这些数据在数据库中就只能成为无法复现、无法比较的“孤岛记录”。因此，材料数据采集不是简单的“把数据抄进表格”，而是一项需要明确渠道边界、统一字段语义、并在入库前完成质量拦截的工程任务。

四类主要采集渠道及其数据特征

材料数据通常来自四条渠道，它们的数据形态、可信度和采集难点差异显著，不能用同一套采集策略处理。

实验记录是最贴近真实材料行为的数据源，包括实验室原始记录本、电子实验记录（ELN）、测试设备导出的原始文件（如拉伸试验机的 .csv、XRD 的 .raw、DSC 的 .txt）。其优势是数据完整、可追溯，劣势是格式高度异构、命名随意、单位混用。例如同一课题组可能同时存在“抗拉强度 520 MPa”和“Rm=520N/mm²”两种写法，若不在采集时归一化，后续无法直接比较。

文献数据覆盖范围最广，但存在“二次加工”风险。期刊论文中的材料性能往往经过筛选、平均或拟合，且常以图表而非表格形式呈现。采集文献数据时，必须同时记录文献 DOI、图表编号、原始测试标准（如 ASTM E8 或 GB/T 228.1）以及是否为单次测量值或统计均值。对于从图中读取的数据，应标注“图形提取”并估算读取误差，不能与表格直接给出的数值同等对待。

计算模拟数据包括第一性原理计算（VASP、Quantum ESPRESSO）、分子动力学（LAMMPS）和相图计算（Thermo-Calc）的输出。这类数据的采集重点不是“结果数值”，而是“计算条件”：泛函类型、截断能、k 点网格、赝势、温度与压力、收敛判据。同一材料在不同泛函下带隙可能相差 0.5 eV 以上，若采集时丢失这些参数，数据将失去可比性。

工业检测数据来自生产线在线检测、出厂检验和第三方检测报告。其特点是批量大、字段规整，但常包含商业敏感信息，且检测标准可能与企业内控标准绑定。采集时应优先保留检测标准编号、批次号、抽样方案和判定阈值，而非仅保留“合格/不合格”结论。

采集流程：从原始记录到可入库记录

一个可复现的采集流程通常包含五个动作，顺序不能颠倒。

第一步，来源登记。在采集任何数值之前，先为数据源分配唯一标识。实验记录用“课题组缩写-记录本编号-页码”，文献用 DOI，计算数据用“项目名-任务ID-计算日期”，工业检测用“企业代码-批次号-检测日期”。这个标识将贯穿整条数据链，是后续追溯的锚点。

第二步，字段映射。将不同来源的字段名映射到数据库的统一字段。例如实验记录中的“屈服强度”“Rp0.2”“YS”统一映射为 yield_strength；文献中的“band gap”“Eg”映射为 band_gap_eV。映射表应作为采集配置的一部分固化下来，而不是每次靠人工判断。

第三步，单位归一。所有物理量在入库前转换为数据库约定的基准单位。建议力学性能统一为 MPa，长度统一为 mm，温度统一为 K（或 ℃，但全文一致），能量统一为 eV。转换时保留原始值和原始单位，转换后的值写入标准字段，避免“转换后无法还原”。

第四步，条件补全。材料性能必须与测试或计算条件绑定。拉伸性能需补全应变速率、试样标距、试验温度；计算带隙需补全泛函、k 点网格、是否含自旋轨道耦合。缺失关键条件的记录应标记为“条件不完整”，而不是直接入库为可用数据。

第五步，质量标记。根据校验结果给每条记录打上质量标签：verified（来源明确、字段完整、单位正确）、pending（部分字段缺失或需人工复核）、rejected（明显矛盾或无法追溯）。质量标记不是惩罚，而是让后续使用者在检索时能按可信度筛选。

质量控制要点：三个最容易出问题的环节

单位与量纲。这是最高频的错误来源。例如将 GPa 误写为 MPa，数值会差 1000 倍；将纳米压痕硬度（GPa）与洛氏硬度（HRC）混在同一字段，则完全失去可比性。建议在采集模板中对每个数值字段设置单位白名单，并在入库脚本中做量纲检查。

条件缺失。同一材料在不同热处理状态下的性能可能相差数倍。如果采集时只记录“抗拉强度 800 MPa”，却不记录“固溶+时效”或“轧制态”，这条数据在数据库中几乎无法被正确使用。条件字段应设为必填或至少设为高优先级补全项。

来源可信度分层。实验原始记录、同行评议文献、计算模拟、工业检测报告的可信度并不相同。数据库应保留来源类型字段，并在检索结果中允许按来源类型过滤。对于从文献图表中提取的数据，应额外标注提取方法和估计误差，不能与表格直接给出的数值混同。

一个可参考的采集字段清单（示例）

以下字段清单以“金属材料拉伸性能”为例，展示采集模板应包含的最小字段集。实际使用时可根据材料体系和数据来源扩展。

这张表的关键不在于字段多少，而在于每个字段都有明确的填写规则和校验方式。例如 temperature_K 必须为数值且范围在 0～2000 之间；quality_flag 只能取三个枚举值之一；raw_file_ref 必须指向实际存在的文件路径或哈希值。把这些规则写入采集脚本或表单验证逻辑，才能在源头拦住大部分质量问题。

采集完成后，建议对每批数据做一次简单的统计核查：记录总数、各来源类型占比、必填字段缺失率、单位异常数量、质量标记分布。如果 pending 比例超过 20%，说明采集模板或培训需要调整；如果某来源类型的缺失率显著偏高，应优先排查该渠道的采集规范。这些数字不需要复杂工具，用采集脚本输出一份汇总即可，但它能让采集质量从“凭感觉”变成“可度量”。