4、因子数据ETL流程优化：批量导入、增量更新、数据去重与版本控制策略

排放因子库的ETL（Extract, Transform, Load）流程是碳足迹数据刷新的核心瓶颈。传统逐条写入方式在面对百万级因子记录时，单次全量刷新耗时可达数小时。本章聚焦于批量导入、增量更新、数据去重与版本控制四大策略，从数据库层面和调度层面实现ETL流程的加速与治理。

4.1 批量导入：从逐条INSERT到批量装载

批量导入的核心思路是减少数据库事务开销与网络往返次数。以下对比了三种常见批量导入方式的性能差异：

导入方式	单次写入记录数	10万条耗时（参考）	适用场景
逐条INSERT（循环提交）	1	~120秒	调试、极少量数据
批量INSERT（单条SQL多值）	500~2000	~8秒	日常增量、中等规模
COPY / LOAD DATA INFILE	全量文件	~1.5秒	全量初始化、月度刷新

# PostgreSQL 批量导入示例（使用COPY）
import psycopg2
conn = psycopg2.connect("dbname=emission_factors user=etl_user")
cursor = conn.cursor()

with open('factors_batch.csv', 'r') as f:
    cursor.copy_from(
        f,
        'emission_factors',
        sep=',',
        columns=('factor_id', 'source', 'value', 'unit', 'valid_from')
    )
conn.commit()
cursor.close()
conn.close()

4.2 增量更新：基于时间戳与变更日志的精准同步

全量刷新在数据量超过百万级后不再可行。增量更新策略通过只处理新增或变更的记录，将ETL窗口从小时级压缩到分钟级。常用的增量识别机制包括：

• 时间戳增量：源表维护 updated_at 字段，ETL仅拉取上次执行时间之后的记录。
• 变更数据捕获（CDC）：通过数据库日志（如PostgreSQL的WAL、MySQL的binlog）实时捕获变更。
• 增量标记表：在源端维护一张变更记录表，ETL完成后清空或标记已处理。

# 增量更新伪代码：基于时间戳
last_run = get_last_etl_timestamp()  # 从元数据表读取
sql = """
    SELECT * FROM source_factors
    WHERE updated_at > %s
    ORDER BY updated_at ASC
    LIMIT 5000
"""
new_records = execute_query(sql, (last_run,))
batch_upsert(new_records, target_table='emission_factors')
update_etl_metadata(last_run=datetime.utcnow())

4.3 数据去重：多键去重与合并策略

排放因子数据常因多源采集、重复上报或ETL重跑而产生重复记录。去重策略需在导入阶段或导入后立即执行，避免污染下游计算。

去重层级	去重键	保留规则	SQL示例
行级去重	所有字段完全一致	保留第一条	DISTINCT ON (factor_id, source, valid_from)
业务键去重	factor_id + source + valid_from	保留最新updated_at	ROW_NUMBER() OVER (PARTITION BY ... ORDER BY updated_at DESC)
版本去重	factor_id + version	保留最高版本号	MAX(version) GROUP BY factor_id

-- PostgreSQL UPSERT 去重合并示例
INSERT INTO emission_factors (factor_id, source, value, unit, valid_from, updated_at)
SELECT factor_id, source, value, unit, valid_from, NOW()
FROM staging_factors
ON CONFLICT (factor_id, source, valid_from)
DO UPDATE SET
    value = EXCLUDED.value,
    updated_at = NOW()
WHERE emission_factors.updated_at < EXCLUDED.updated_at;

4.4 版本控制策略：因子溯源与回滚能力

排放因子会随标准更新、行业调研或数据修正而变更。缺乏版本控制将导致历史碳足迹无法复现，审计时难以追溯。推荐采用以下版本控制模型：

• 有效日期区间模型：每条因子记录包含 valid_from 和 valid_to，查询时使用 WHERE now() BETWEEN valid_from AND valid_to。
• 快照表模型：每次ETL刷新时，将全量因子数据写入一张带时间戳的快照表，保留最近N个版本。
• 变更日志模型：仅记录每次变更的差异（diff），通过回放变更日志重建任意时间点的因子库。

4.5 综合策略：ETL调度与监控

将上述策略整合到统一的ETL调度框架中，可实现自动化、可观测的因子数据刷新流水线。推荐使用Apache Airflow或Prefect编排以下DAG步骤：

1. 检查源数据就绪：验证源文件或API是否可用。
2. 增量识别：读取上次ETL元数据，确定本次需处理的记录范围。
3. 批量导入至Staging区：使用COPY命令将数据快速装载到临时表。
4. 数据去重与合并：执行UPSERT或MERGE，将Staging数据合并至主表。
5. 版本归档：将变更前的记录快照写入历史表，更新版本号。
6. 元数据更新：记录本次ETL执行时间、处理记录数、耗时等指标。
7. 异常告警：当去重率超过阈值或导入耗时异常时触发通知。