VIP20
本课程属于：029-实时风控数据链路 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

实时风控CDC数据捕获与增量计算

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
第1章
CDC概念与场景
什么是CDC、为什么需要CDC、CDC与ETL的区别、常见应用场景（数据同步、实时数仓、缓存更新）。
基础概念
第2章
CDC核心原理
基于日志的CDC（Log-based）、基于轮询的CDC（Polling-based）、基于触发器的CDC（Trigger-based）、三种方案对比。
原理对比
第3章
Debezium入门
Debezium是什么、支持的数据源（MySQL、PostgreSQL、MongoDB）、架构组件（Connector、Snapshot、Streaming）。
Debezium入门
第4章
Debezium安装与配置
Kafka Connect环境搭建、Debezium MySQL Connector配置、启动与验证。
安装配置
第5章
Debezium Snapshot机制
Snapshot模式（initial、when_needed、never）、Snapshot流程详解、如何控制Snapshot行为。
Snapshot机制
第6章
Debezium Streaming机制
Change Event结构（before、after、op、ts_ms）、Offset管理、Exactly-Once语义保证。
StreamingOffset
第7章
Debezium高级特性
Schema History、Tombstone Events、Heartbeat、New Record State Extraction（SMT）。
高级SMT
第8章
Canal入门
Canal是什么、Canal架构（Server、Instance、Parser、Sink）、Canal与Debezium对比。
Canal对比
第9章
Canal部署与配置
Canal Server安装、Canal Instance配置（MQ模式、TCP模式）、启动与监控。
部署配置
第10章
Canal数据解析
Entry协议结构、RowChange数据模型、Event类型（INSERT、UPDATE、DELETE）、自定义Message。
解析协议
第11章
Flink CDC简介
Flink CDC是什么、Flink CDC Connector、Flink CDC与Debezium的关系、Flink CDC的优势。
Flink简介
第12章
Flink CDC环境搭建
Flink集群部署、Flink CDC Connector引入、MySQL CDC Connector配置、启动第一个Flink CDC作业。
环境搭建
第13章
Flink CDC核心API
DataStream API、Table API、SQL方式、三种方式对比与选择。
API对比
第14章
Flink CDC增量快照
增量快照算法（Incremental Snapshot）、Chunk划分、动态加表、Exactly-Once语义。
增量快照
第15章
Flink CDC全量+增量一体化
全量阶段、增量阶段、无缝切换、Checkpoint机制。
一体化Checkpoint
第16章
Flink CDC数据转换与清洗
MapFunction、FilterFunction、自定义ProcessFunction、侧输出（Side Output）。
转换清洗
第17章
Flink CDC多表同步
多表合并、Schema映射、动态表名路由、广播状态（Broadcast State）。
多表同步
第18章
Flink CDC写入Kafka
Kafka Sink配置、序列化方式（Avro、JSON、Protobuf）、分区策略。
KafkaSink
第19章
Flink CDC写入Hudi
Hudi Sink配置、写入模式（UPSERT、INSERT）、表类型（COW、MOR）、Compaction。
Hudi数据湖
第20章
Flink CDC写入Iceberg
Iceberg Sink配置、写入模式、表格式、分区策略、ACID保证。
IcebergACID
第21章
Flink CDC写入ClickHouse
ClickHouse Sink配置、批量写入、去重策略、物化视图配合。
ClickHouseOLAP
第22章
Flink CDC写入Elasticsearch
ES Sink配置、索引管理、文档ID生成、更新策略。
Elasticsearch搜索
第23章
Flink CDC监控与运维
Metrics监控、Checkpoint监控、Backpressure监控、日志排查。
监控运维
第24章
Flink CDC性能调优
并行度设置、Source并发、Sink并发、Buffer大小、网络参数。
调优性能
第25章
Flink CDC数据一致性
Exactly-Once保证、幂等写入、两阶段提交、端到端一致性。
一致性Exactly-Once
第26章
Flink CDC Schema Evolution
Schema变更类型（加列、删列、改类型）、Flink CDC处理策略、兼容性检查。
Schema演化
第27章
Flink CDC实战案例1
MySQL实时同步到Kafka，构建实时数据管道。
实战管道
第28章
Flink CDC实战案例2
MySQL实时同步到Hudi，构建实时数据湖。
实战数据湖
第29章
Flink CDC实战案例3
MySQL实时同步到Elasticsearch，构建实时搜索索引。
实战搜索
第30章
Flink CDC实战案例4
多源CDC数据汇聚（MySQL + PostgreSQL + MongoDB）到ClickHouse，构建实时OLAP。
实战多源