2. ESG数据收集与清洗基础
ESG报告中的每一个定量指标，从范围一的吨二氧化碳当量，到员工流失率、董事会女性占比，最终都要落到一个可追溯、可比较的数值上。而数据从产生到进入报告表格，中间要经过收集、检查、修补、换算四个环节。这一节我们把这条链路拆开讲清楚：数据从哪里来、怎么判断它靠不靠谱、缺失和异常怎么处理、不同单位怎么统一。
三类常见数据源及其特征
ESG数据源大致可分为三类，它们的可靠性、采集频率和清洗难度差异很大，处理策略也应不同。
企业报表与内部系统是最主要的数据源，包括财务系统、ERP、HR系统、能源管理系统、采购台账等。这类数据通常已经过内部流程审核，结构化程度高，但存在口径问题——比如财务的“营业收入”与ESG披露要求的组织边界可能不一致，合并报表范围与碳排放核算边界也常常对不上。使用时要先确认统计边界（股权比例法还是运营控制权法）和统计期间。
传感器与计量设备提供高频、连续的实测数据，如电表、水表、燃气流量计、烟气在线监测（CEMS）。优点是客观、颗粒度细，缺点是会受设备故障、通讯中断、校准漂移影响，产生大量缺失和跳变。这类数据必须保留时间戳和设备编号，便于回溯。
调查问卷与人工填报常用于供应链、员工满意度、社区投诉等难以系统采集的领域。主观性强、格式不统一、回收率不稳定，需要设计带校验规则的模板，并保留填报人和填报时间以便复核。
数据质量检查：六个维度逐项过
拿到数据后不要急着算总量，先做一轮系统检查。实践中常用六个维度：完整性（应有字段是否齐全、缺失比例多少）、准确性（数值是否与原始凭证或设备读数一致）、一致性（同一指标在不同表中的口径是否相同）、时效性（数据期间是否覆盖报告期）、唯一性（是否存在重复记录）、边界匹配（组织边界与报告边界是否吻合）。
一个可操作的检查方式是建立“字段级检查规则表”。例如对能耗数据设定：电表读数必须为非负数；月度用电量相对上月波动超过±50%需人工复核；同一厂区同一月份只能有一条汇总记录；计量单位必须属于白名单（kWh、MWh、GJ）。把这些规则写成脚本或Excel条件格式，批量跑一遍，比逐条肉眼核对高效得多。
缺失值：先判断机制，再选方法
缺失不是一律填补。先看缺失机制：如果是设备停机导致的随机缺失，可用相邻时段插值或同类型设备均值填补；如果是某分公司系统性未上报，填补会掩盖管理漏洞，应标记为“待补”并推动补报；如果缺失比例过高（例如某指标缺失超过30%），更稳妥的做法是披露缺失情况并说明原因，而不是用模型硬凑。
常用方法及适用场景：均值/中位数填补适合分布较稳定的指标；线性插值适合时间序列中短缺口；同类均值（如按行业、按厂区规模分组后取均值）适合问卷类数据；回归填补适合有强相关辅助变量的情形。无论用哪种，都要在数据底稿中新增“填补标记”列，记录原值缺失、填补方法和填补值，保证可审计。
异常值：区分错误与真实极值
异常值处理最容易出错的地方，是把真实的极端情况当成错误删掉。比如某工厂因检修停产，当月能耗骤降，这是真实事件，删掉反而失真。正确顺序是：先识别、再核实、后处理。
识别可用统计规则：3σ法则适合近似正态分布的数据；四分位距（IQR）法则更稳健，把小于Q1−1.5×IQR或大于Q3+1.5×IQR的值标为疑似异常；业务阈值法则最直接，如排放浓度超过设备设计上限、员工人数为负值，直接判错。识别出来后回到原始记录核实：是录入错误（小数点错位、单位填错）、设备故障，还是真实事件。录入错误直接修正；设备故障用相邻正常时段数据替代并注明；真实极值保留，必要时在报告中加注说明。
标准化与单位统一
不同来源的数据单位五花八门：电有kWh和MWh，热有GJ和Gcal，燃料有吨和立方米，排放有kg和tCO₂e。进入汇总前必须统一到报告口径。做法是建立一张“单位换算与口径映射表”，逐字段规定源单位、目标单位、换算系数和口径说明。
以能源为例：1 MWh = 1000 kWh；1 GJ ≈ 277.78 kWh；1 Gcal = 4.1868 GJ。若某厂上报天然气用量为12万立方米，需先乘以该气源的低位热值（示例取35.5 MJ/m³）换算为能量，再折算为标准煤或直接计算排放。注意换算系数要注明来源（如IPCC缺省值、国家温室气体清单指南或实测热值），不同来源的系数不可混用。
除单位外，口径标准化同样重要：金额是否含税、人数是期末还是平均、排放因子对应的是哪个电网区域和年份。建议在数据底稿中为每个指标固定一组元数据字段：指标名称、统计期间、组织边界、单位、换算系数及来源、数据来源系统、责任人、最后更新时间。这样一份底稿既能支撑报告编制，也能应对后续审验。
完成上述四步后，得到的数据集应当满足：每个数值都有来源、有单位、有口径、有处理记录。这正是下一阶段开展指标计算与图表呈现的前提——数据底子不牢，再精美的可视化也只是把误差放大给人看。