📚 课程目录第1章课程导入

1. 课程导入：学习目标、课程结构、Delta Lake与Change Data Feed（CDF）简介、适用场景

1.1 学习目标与课程结构

本课程聚焦于 Delta Lake Change Data Feed（CDF） 这一核心特性，帮助数据工程师与数据架构师掌握如何高效捕获、管理和消费 Delta 表中的数据变更事件。通过本课程，你将能够：

理解 CDF 的底层实现原理及其与 Delta Lake 事务日志的关系；
熟练启用 CDF 并配置相关表属性；
使用 Spark SQL 和 DataFrame API 读取变更数据；
设计基于 CDF 的增量处理管道，实现下游同步、物化视图刷新与审计追踪；
识别 CDF 的版本保留、性能开销及并发冲突等常见陷阱。

课程共 30 章，按“基础原理 → 配置操作 → 实战案例 → 调优排障”四个阶段递进。前 5 章夯实概念与架构，第 6～15 章覆盖 API 操作与流批处理场景，第 16～25 章深入企业级应用（如数据湖仓同步、CDC 管道），最后 5 章聚焦性能调优与生产环境问题复盘。

1.2 Delta Lake 与 Change Data Feed 核心概念

Delta Lake 是一个开源存储层，为数据湖带来 ACID 事务、Schema 强制与时间旅行能力。其核心是 事务日志（Transaction Log），以 JSON 格式记录每次提交的原子操作。Change Data Feed 正是构建在这一日志之上的高级功能——它自动跟踪表中 行级变更（插入、更新、删除），并为每个变更生成包含 _change_type、_commit_version、_commit_timestamp 等元数据的记录。

启用 CDF 后，Delta Lake 会在每次事务提交时额外生成变更数据文件，存储在 _change_data 目录中。读取时，用户可指定起始与结束版本，高效获取增量变更，无需全表扫描或自定义比对逻辑。

关键表属性：

delta.enableChangeDataFeed = true
delta.deletedRowRetentionDuration = "interval 7 days"

第一个属性开启 CDF；第二个属性控制删除行变更的保留时长，需与 VACUUM 策略配合。

1.3 适用场景与业务价值

CDF 在以下场景中具有显著优势：

场景	传统方案痛点	CDF 解决方案
数据湖 → 数据仓库同步	全量比对耗时且浪费存储	按版本读取增量变更，分钟级同步
物化视图 / 特征存储刷新	需自定义变更捕获逻辑	内置行级变更，准确高效
审计与合规追踪	无法追溯历史行变更	记录每次操作的变更类型与版本
多系统双向同步	CDC 工具与数据湖割裂	统一在 Delta Lake 层完成捕获

1.4 常见误区与设计考量

误区一：CDF 会显著增加写入延迟。
实际上，CDF 的额外开销主要在于生成变更文件，对于大多数写入负载（<100MB/批次），影响可控制在 5% 以内。但高频小批量写入（如每秒数十次）会放大开销，建议合并写入批次。

误区二：CDF 可以无限回溯历史。
变更数据受保留周期约束，且 VACUUM 会物理删除过期文件。若需长期审计，应定期将 CDF 数据归档至独立存储。

设计建议： 在启用 CDF 前，评估表的数据量级与写入频率。对于超大表（>1TB），建议仅对关键业务表启用 CDF，并设置合理的保留窗口（如 7～14 天），平衡存储成本与回溯需求。

1.5 课程实践环境准备

本课程所有示例基于 Databricks Runtime 11.3 LTS 及以上 或 开源 Delta Lake 2.3+。建议使用以下环境：

# 使用 PySpark 初始化
from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("CDF_Demo") \
    .config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension") \
    .config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog") \
    .getOrCreate()

# 创建启用 CDF 的表
spark.sql("CREATE TABLE IF NOT EXISTS sales (id INT, amount DOUBLE) USING DELTA TBLPROPERTIES (delta.enableChangeDataFeed = true)")