4. 匹配前的数据准备

把产品清单直接丢进排放因子数据库去匹配,几乎必然得到大量“匹配失败”或“错误匹配”。原因往往不在数据库,而在清单本身:同一产品在不同工厂、不同表格里可能写成“铝合金型材 6063”“铝型材6063”“AL-6063”,单位可能混用“t”“kg”“吨”,分类可能按企业内部习惯而非行业口径。匹配前的数据准备,本质上是把一份“人能看懂但机器难对齐”的清单,转换成“字段规范、口径统一、属性可检索”的结构化输入。本节围绕清洗、标准化、关键属性提取三个动作展开,并给出可直接套用的处理流程与字段设计。

一、先明确目标:为匹配服务的“最小可用清单”

数据准备不是把表格做得漂亮,而是让每一行产品都具备可匹配的“身份信息”。一个适合匹配的产品清单,至少应包含四类字段:产品标识(名称、规格型号)、数量与单位(活动数据)、分类归属(行业/产品大类)、关键属性(材质、工艺、牌号、尺寸、用途等决定因子取值差异的特征)。缺少关键属性时,即使名称匹配成功,也可能选到错误的因子——例如同为“钢材”,粗钢、热轧板、冷轧板的排放因子差异显著。

因此建议在清洗前先定义目标字段结构,再反向检查原始清单缺什么。下面是一个可直接参考的字段模板(示例,字段可按行业裁剪):

字段作用示例值是否必填
产品名称(标准名)匹配主键之一铝合金建筑型材必填
规格/牌号区分因子差异6063-T5必填
材质/成分关键属性铝-镁-硅系合金必填
生产工艺关键属性挤压+阳极氧化建议
数量活动数据1200必填
计量单位统一口径kg必填
分类代码缩小匹配范围C33 有色金属压延加工建议
数据来源/备注追溯与复核2024年采购台账建议

二、数据清洗:处理“脏、缺、重、混”

清洗阶段重点解决四类问题。脏:名称含多余空格、全半角混用、特殊符号(如“★”“(新)”)、不可见字符;数值列混入“约”“≈”“1,200”等文本。缺:单位缺失、规格为空、数量为空白或“—”。重:同一产品因录入批次不同重复出现,需按“名称+规格+单位”去重并合并数量。混:一行内塞入多个产品,或名称与规格写在同一单元格(如“铝型材6063 6米”)。

实际操作中,可先用表格工具的“分列”把“名称+规格”拆开,再用公式统一去空格与全角转半角;数值列统一去除千分位后转为数字类型。对缺失单位的数据,不能默认按“吨”处理,应回到采购台账或物料主数据核对,无法核实的单独标记为“待确认”,避免污染后续匹配。清洗完成后应保留一份原始备份,所有修改可追溯。

三、标准化:单位、命名、分类三条线

单位标准化是匹配正确性的前提。排放因子通常以“kgCO₂e/kg”“kgCO₂e/t”“kgCO₂e/kWh”等单位给出,清单数量必须换算到与因子一致的口径。建议在清单中固定一个基准单位(如质量类统一为 kg,能源类统一为 kWh),并保留原始单位列以便复核。换算时注意“吨”有公吨与短吨之别,电力需区分“kWh”与“MWh”,避免数量级错误。

命名标准化的核心是建立“标准名 + 别名”的映射。做法是先对清单中的名称做词频统计,把高频写法归并为一个标准名,其余写法登记为别名。例如把“铝型材”“铝合金型材”“铝挤型材”统一为“铝合金型材”,把牌号“6063”“6063-T5”规范为“6063-T5”。命名规则建议遵循“材质+形态+用途”的结构,避免使用企业内部简称作为标准名。

分类标准化用于缩小匹配范围。可参照国民经济行业分类或数据库自带的分类体系,为每行产品打上大类代码。分类不必过细,但必须与数据库的检索维度对齐,否则会出现“分类正确但检索不到”的情况。

标准化不是一次性工作。建议维护一张“名称—别名—标准名—分类”的对照表,后续新清单先过对照表,再进入匹配,可显著降低重复劳动。

四、关键属性提取:决定因子取值差异的特征

关键属性是“同一标准名下仍需区分”的特征。提取方法是从产品名称、规格、工艺描述中识别对排放因子影响最大的维度。以铝合金型材为例,牌号(6063/6061)、表面处理(阳极氧化/粉末喷涂)、是否含再生铝,都会影响因子选择;以电力为例,电压等级、是否绿电、区域电网,都会影响因子。提取时应遵循“少而准”:属性过多会增加匹配难度,过少则无法区分。

可把属性分为“硬属性”和“软属性”:硬属性是必须精确匹配的(如牌号、电压等级),软属性是可用于近似匹配的(如用途、颜色)。在清单中为每个属性单独设列,避免全部塞进名称字段。对于无法从现有数据提取的属性,应标注“未知”并进入人工复核队列,而不是随意填充默认值。

产品清单数据准备:从原始台账到可匹配输入 原始产品清单 铝型材6063 6米 1.2吨 铝合金型材(新) 800kg AL-6063 约 0.5t 钢材 热轧板 2,000kg 问题:名称混写、单位混用、含文本 ① 清洗 去空格/全半角统一 拆分名称与规格 数值转数字、去千分位 按名称+规格+单位去重 缺失项标记“待确认” ② 标准化 单位:统一为 kg / kWh 命名:标准名+别名映射 分类:对齐数据库分类码 保留原始单位列备查 例:6063 → 6063-T5 ③ 关键属性提取 硬属性:牌号、电压等级 软属性:用途、表面处理 属性独立设列,不塞名称 未知属性进入人工复核 例:6063-T5 / 阳极氧化 输出:可匹配的结构化清单(字段示例) 标准名 规格/牌号 关键属性 数量 单位 铝合金型材 6063-T5 阳极氧化 1200 kg 热轧钢板 Q235B 热轧 2000 kg 注:表中数值为教学示例,非实测数据;实际清单需按企业台账核对

五、一个可复用的处理示例

假设原始清单中有一行“铝型材6063 6米 1.2吨”。处理过程如下:先拆分出名称“铝型材”、规格“6063”、长度“6米”、数量“1.2”、单位“吨”;名称经别名表映射为“铝合金型材”,规格规范为“6063-T5”;单位换算为 kg,数量变为 1200;从工艺描述中提取“挤压”作为工艺属性,表面处理若台账未记录则标“未知”。最终得到一行结构清晰的记录,进入匹配环节时,数据库可按“铝合金型材 + 6063-T5 + 挤压”检索,命中率与准确率都会明显提高。

需要强调的是,清洗、标准化、属性提取三步并非严格串行:属性提取中发现的新别名应回填到对照表,标准化中发现的单位异常应回到清洗环节修正。把这三步做成可重复执行的规则集,而不是一次性手工整理,才能支撑后续多批次清单的持续匹配。