01
CDC概念与原理
什么是CDC、在数据同步中的角色、与批量同步的区别，以及基于日志、触发器、时间戳等常见实现方式。
基础原理
02
埋点数据概述
埋点数据的定义、常见格式（JSON、Avro、Protobuf）、生命周期以及实时同步面临的挑战。
埋点格式
03
CDC工具选型
Debezium、Canal、Maxwell、Flink CDC对比，选型考量因素（数据源、延迟、一致性、运维成本）及经验分享。
选型对比
04
Debezium入门
架构、核心组件（Connector、Snapshot、Streaming）、支持的数据库，快速启动MySQL Connector。
Debezium入门
05
Debezium配置详解
连接器、数据库连接、表白名单/黑名单、快照模式、偏移量管理及错误处理配置。
配置运维
06
Debezium与Kafka集成
Kafka Connect架构、Source Connector、Topic命名规则、Change Event消息格式及Schema Registry集成。
Kafka集成
07
Debezium消息格式解析
Change Event结构（before、after、source、op），操作类型（c、u、d、r），时间戳与元数据字段。
消息格式
08
Debezium高级特性
单消息转换（SMT）、新记录提取、消息路由、过滤、数据脱敏及自定义转换器。
高级SMT
09
Canal入门
Canal架构、核心组件（Server、Instance、Parser、Sink）、工作原理及快速启动MySQL实例。
Canal入门
10
Canal配置详解
Instance配置、数据库连接、表过滤、binlog解析、消息投递及高可用配置。
配置高可用
11
Canal与消息队列集成
Canal + Kafka/RocketMQ/RabbitMQ，消息格式对比及序列化方式选择。
消息队列集成
12
Canal消息格式解析
Entry、RowChange、Column结构，事件类型、事务信息及自定义扩展字段。
消息解析
13
Maxwell入门
Maxwell架构、核心组件、工作原理、快速启动实例，与Debezium/Canal对比。
Maxwell对比
14
Maxwell配置详解
数据库连接、表过滤、Kafka配置、输出格式、bootstrap及监控配置。
配置监控
15
Flink CDC入门
Flink CDC概述、架构、核心组件（SourceFunction、DeserializationSchema），与Debezium的关系及快速启动Job。
Flink入门
16
Flink CDC Source详解
MySQL、PostgreSQL、MongoDB、SqlServer CDC Source及自定义Source实现。
Source多数据库
17
Flink CDC Deserialization
自定义反序列化、RowData/JSON/Avro格式、Schema推断及类型映射。
反序列化Schema
18
Flink CDC与Flink SQL
CDC Connector、CDC Table定义、时态表Join、维表关联及数据写入Sink。
Flink SQL时态表
19
Flink CDC状态管理与容错
Checkpoint配置、状态后端选择、Exactly-Once语义、故障恢复及动态加表。
状态容错
20
埋点数据实时同步架构设计
端到端架构、数据流转路径、延迟/一致性要求，Lambda vs Kappa架构选型。
架构设计
21
埋点数据采集层
埋点SDK设计、数据上报协议、缓冲策略、压缩、校验及去重。
采集SDK
22
埋点数据消息队列层
Kafka Topic设计、分区策略、消息可靠性/顺序性、积压处理及回溯。
Kafka消息队列
23
埋点数据CDC同步层
CDC工具选择、任务配置、监控告警、数据质量及延迟优化。
CDC同步
24
埋点数据存储层
数据湖（Hudi/Iceberg/Delta Lake）、数据仓库（ClickHouse/Doris/StarRocks）、OLAP引擎及存储格式选择。
存储OLAP
25
埋点数据实时ETL
数据清洗、转换、Enrichment、聚合、分桶及分区策略。
ETL实时
26
埋点数据实时同步监控
监控指标（延迟、吞吐量、错误率），Prometheus+Grafana、告警规则、日志收集与链路追踪。
监控Prometheus
27
埋点数据实时同步数据质量
完整性、一致性、准确性、时效性校验及数据质量监控看板。
数据质量校验
28
埋点数据实时同步性能优化
CDC工具、Kafka、Flink、存储性能调优及网络带宽优化。
性能调优
29
埋点数据实时同步最佳实践
生产部署建议、灰度发布、数据回滚、迁移方案及成本控制。
最佳实践运维
30
埋点数据实时同步案例实战
电商、游戏、金融、IoT埋点实时同步案例深度解析。
案例实战