4. 数据采集与准备：配方迭代中需要收集的数据类型与数据清洗标准化
配方迭代的本质，是在“未知”中寻找“确定”的过程。每一次调整成分比例、更换工艺参数，都相当于一次小规模的科学实验。而实验结论的可靠性，完全取决于输入数据的质量。如果采集的数据维度不全、口径不一、噪声过大，再先进的趋势分析模型也会得出误导性结论。本章将系统梳理配方迭代中必须关注的四大数据类型，并给出可落地的数据清洗与标准化操作框架。
4.1 配方迭代中的四大数据类型
配方迭代不是单一维度的调整，而是多变量耦合作用下的系统工程。要支撑趋势分析，至少需要覆盖以下四类数据，它们共同构成完整的证据链。
4.1.1 成分数据：配方迭代的“自变量”
成分数据是配方迭代中最核心的输入变量，记录了每一次实验中各原料的种类、用量、纯度、批次来源等信息。需要特别注意的是，成分数据不仅仅是“加了多少克”，还应包括原料的供应商、批次号、到货日期等追溯信息。因为同一原料在不同供应商、不同批次之间可能存在细微差异，这些差异有时会显著影响最终产品性能。
| 数据子类 | 关键字段 | 采集频率 | 典型来源 |
|---|---|---|---|
| 主料配方 | 原料名称、CAS号、用量（g/kg）、质量分数（%） | 每次实验 | 配方表、BOM系统 |
| 辅料/添加剂 | 种类、用量、添加顺序 | 每次实验 | 实验记录本 |
| 原料批次 | 供应商、批号、到货日期、质检报告 | 每批原料 | 采购系统、质检部 |
| 原料物性 | 纯度、水分含量、粒径分布、粘度 | 每批或定期 | COA报告 |
4.1.2 工艺数据：配方发挥效能的“催化剂”
同样的配方，在不同工艺条件下可能产生完全不同的产品性能。工艺数据记录了从投料、混合、反应、成型到后处理的全过程参数。在采集工艺数据时，不仅要记录设定值，更要记录实际值——因为设备老化、环境波动等因素会导致实际值与设定值之间存在偏差，而这些偏差往往是批次间差异的重要来源。
- 时间序列参数：温度曲线、压力变化、搅拌速度、pH值随时间的变化。
- 节点参数：各阶段的起始/结束时间、持续时间、升温速率。
- 环境参数：车间温度、湿度、洁净度等可能影响反应的环境因素。
- 设备状态：设备编号、运行状态、维护记录、能耗数据。
4.1.3 性能数据：配方迭代的“因变量”
性能数据是衡量配方优劣的直接标尺，也是趋势分析中需要预测和优化的目标变量。性能数据的采集需要特别注意测试方法的标准化——不同测试仪器、不同操作人员、不同环境条件下得到的性能数据可能不完全可比。
4.1.4 市场反馈数据：配方迭代的“最终裁判”
市场反馈数据将配方迭代从实验室延伸到真实使用场景。这类数据往往是非结构化的，需要经过额外的加工才能纳入分析体系。市场反馈数据包括客户投诉记录、退货原因分析、竞品对比测试结果、客户满意度评分等。在采集市场反馈数据时，建议建立标准化的分类体系，例如将投诉原因分为“性能不达标”“外观缺陷”“加工困难”“储存不稳定”等类别，便于后续量化分析。
4.2 数据清洗：从“原始数据”到“可用数据”
数据清洗是配方迭代数据分析中最耗时、最容易被低估的环节。根据行业经验，数据清洗通常占整个数据分析工作量的 50%-70%。清洗的目标不是简单地删除“坏数据”，而是识别数据中的问题模式，并采取合理的策略进行处理。
4.2.1 缺失值处理策略
配方数据中的缺失值可能来自仪器故障、人工记录遗漏、系统对接失败等原因。处理缺失值前，首先要判断缺失机制：是随机缺失还是系统性缺失？例如，如果某一台测试仪器在特定时间段内频繁故障，导致该时间段内的性能数据大量缺失，这就是系统性缺失，不能简单地用均值填充。
- 删除记录：当缺失比例较低（<5%）且缺失机制为随机时，可直接删除该条记录。
- 均值/中位数填充：适用于数值型变量且缺失比例在 5%-20% 之间的情况，但会降低数据变异性。
- 多重插补：利用其他相关变量的信息预测缺失值，适合关键变量缺失的情况。
- 标记缺失：将缺失本身作为一个类别或特征，保留缺失信息供模型学习。
4.2.2 异常值检测与处理
配方数据中的异常值可能是真实的极端情况（如某批次原料异常导致性能骤降），也可能是记录错误（如小数点错位、单位混淆）。区分这两者至关重要——前者是宝贵的信息，后者是必须清除的噪声。
4.2.3 重复记录与矛盾数据处理
当同一批次的数据被多次录入，或不同系统间数据不一致时，需要建立去重和冲突解决规则。建议以“批次号+测试项目+测试时间”作为唯一标识键，保留时间戳最新且来源可信度最高的记录。对于矛盾数据，应追溯原始记录或重新测试确认。
4.3 数据标准化：让不同来源的数据“说同一种语言”
数据标准化包括两个层面：一是单位与量纲的统一，二是数据编码与格式的规范化。配方迭代中常见的问题包括：同一成分在不同记录中分别使用“g”“kg”“%”表示；温度有的用摄氏度有的用华氏度；粘度有的用 mPa·s 有的用 cP（数值相同但单位名称不同）；原料名称有的用商品名有的用化学名。
4.3.1 单位与量纲标准化
建议建立统一的单位字典，所有数据在入库前自动转换为标准单位。例如：质量统一为 g，温度统一为 ℃，粘度统一为 mPa·s，浓度统一为 wt%。对于百分比数据，需明确是质量分数还是体积分数，避免混淆。
4.3.2 编码与命名规范化
原料名称建议采用“CAS号+标准名称”的双重标识，避免使用商品名或简称。工艺参数命名建议采用“工序_参数名_单位”的格式，例如“mixing_speed_rpm”“reaction_temp_C”。性能指标命名建议采用“测试标准_指标名_单位”的格式，例如“ASTM_D638_tensile_strength_MPa”。
4.3.3 数据格式统一
日期时间统一为 ISO 8601 格式（YYYY-MM-DD HH:mm:ss），数值统一保留两位小数，文本字段统一去除首尾空格和特殊字符。对于多批次实验数据，建议增加“实验批次号”和“实验目的”两个辅助字段，便于后续按实验系列进行分组分析。
4.4 实战案例：某涂料配方迭代中的数据清洗与标准化
某涂料企业进行水性丙烯酸乳液配方迭代，目标是提升涂膜的耐擦洗性能。研发团队收集了 6 个月内的 120 批次实验数据，但在分析初期发现数据质量堪忧。
初始现象：直接使用原始数据进行相关性分析，发现“乳液玻璃化转变温度（Tg）”与“耐擦洗次数”之间呈现不合理的负相关，与理论认知相悖。
问题排查过程：团队对数据进行了逐项审查，发现三个关键问题：
- 单位不一致：Tg 数据中，部分记录使用 ℃，部分使用 K，导致数值差异巨大。
- 异常值干扰：有 3 个批次的耐擦洗次数超过 10000 次，经查是测试仪器校准偏差导致，实际值应在 3000-5000 次范围。
- 缺失值集中：某两个月内的“乳液粒径”数据缺失率高达 40%，原因是该时间段粒径仪送修，使用了备用仪器但未记录数据。
清洗与标准化操作：
- 将所有 Tg 数据统一转换为 ℃，并标记原记录单位。
- 对耐擦洗次数异常值，回溯原始测试报告，确认 3 个批次数据无效并删除。
- 对于粒径缺失数据，采用多重插补法，利用“单体配比”和“乳化剂用量”两个变量进行预测填充。
- 统一原料名称：将“BA”“丙烯酸丁酯”“n-BA”统一为“Butyl acrylate (CAS: 141-32-2)”。
- 增加“实验目的”字段，将 120 批次分为“对照实验”“变量筛选”“优化验证”三类。
结果对比：清洗后的数据重新进行相关性分析，Tg 与耐擦洗次数呈现合理的正相关（r=0.62），且模型预测精度显著提升。更重要的是，清洗过程中发现的“备用仪器未记录”问题，推动了实验室数据管理规范的完善。
4.5 常见误区与总结复盘
在配方迭代的数据采集与准备环节，研发团队常陷入以下误区：
| 误区 | 后果 | 正确做法 |
|---|---|---|
| 只采集成功批次的数据 | 模型无法学习失败模式，迭代方向偏颇 | 成功与失败批次同等重要，全部纳入 |
| 忽视原料批次差异 | 将原料波动误判为配方效果 | 记录原料批次号，必要时作为协变量 |
| 过度清洗导致数据失真 | 丢失真实变异信息，模型过于理想化 | 清洗规则需与研发人员确认，保留合理变异 |
| 标准化滞后于采集 | 后期返工成本高，且可能丢失原始信息 | 在实验设计阶段就确定数据模板和编码规范 |
总结复盘：数据采集与准备不是“一次性”工作，而是需要持续维护的体系。建议每季度对数据质量进行一次全面审计，检查字段完整性、单位一致性、异常值比例等指标。同时，将数据清洗规则文档化、版本化，确保不同人员在不同时间处理数据时遵循相同标准。只有建立了可靠的数据基础，配方迭代中的趋势分析才能从“经验猜测”走向“数据驱动”。