01
流批一体概述
流批一体概念、技术演进、Lambda架构与Kappa架构对比、适用场景分析。
架构概念
02
Flink核心概念
有状态计算、事件时间与处理时间、Watermark机制、Checkpoint与Savepoint。
时间语义状态
03
Flink部署模式
Standalone模式、YARN模式、Kubernetes模式、高可用配置。
部署HA
04
Flink SQL开发
动态表概念、连续查询、维表Join、窗口聚合、CDC数据同步。
SQLCDC
05
Flink任务调优
并行度设置、内存配置、网络缓冲调优、反压处理、Checkpoint调优。
性能反压
06
Flink状态管理
状态后端选择（RocksDB/Heap）、状态TTL、大规模状态优化、状态迁移。
RocksDBTTL
07
Flink容错机制
Exactly-Once语义、端到端一致性、两阶段提交、故障恢复策略。
一致性2PC
08
Flink监控体系
Metrics系统、自定义Reporter、作业监控面板、日志采集与分析。
监控Metrics
09
Flink运维命令
作业提交与停止、Savepoint管理、作业升级、资源动态调整。
CLI运维
10
Kafka集成
Kafka Source/Sink配置、分区分配策略、Offset提交、Exactly-Once语义实现。
消息队列Offset
11
Hive集成
Hive Catalog、批流一体读写Hive、分区发现、Hive与Flink类型映射。
数仓Catalog
12
Hudi集成
Hudi表类型（COW/MOR）、增量查询、Compaction管理、Clustering优化。
数据湖MOR
13
Iceberg集成
Iceberg表格式、快照管理、分区演进、批流读写Iceberg。
快照分区
14
Paimon集成
Paimon表模式、Changelog机制、Tag管理、批量与流式读写。
ChangelogTag
15
ClickHouse集成
ClickHouse Connector、批量写入优化、实时查询、物化视图配合。
OLAP物化视图
16
Doris集成
Doris Connector、Stream Load原理、标签路由、实时数仓构建。
Stream Load实时数仓
17
StarRocks集成
StarRocks Connector、主键模型、物化视图、实时导入最佳实践。
主键模型导入
18
Elasticsearch集成
ES Connector、索引管理、批量写入调优、查询性能优化。
搜索引擎索引
19
MySQL CDC
Debezium原理、全量+增量同步、DDL变更处理、一致性保证。
DebeziumDDL
20
PostgreSQL CDC
逻辑复制原理、Slot管理、大表同步策略、冲突处理。
逻辑复制Slot
21
MongoDB CDC
Change Streams原理、断点续传、Schema演化、性能调优。
Change StreamsSchema
22
Oracle CDC
LogMiner与XStream、归档日志管理、高并发同步、数据一致性。
LogMinerXStream
23
SQL Server CDC
变更捕获机制、LSN管理、大事务处理、性能监控。
LSN变更捕获
24
实时数仓分层
ODS/DWD/DWS/ADS设计、宽表构建、实时维度建模、数据质量监控。
分层维度建模
25
实时ETL开发
数据清洗、数据转换、数据补全、多流Join、去重方案。
ETL去重
26
实时指标计算
滑动窗口、累计窗口、TopN计算、UV/PV统计、复杂事件处理。
窗口CEP
27
数据湖集成
湖仓一体架构、元数据统一、数据治理、批流读写一致性。
湖仓一体治理
28
任务治理
资源隔离、任务优先级、限流降级、熔断机制、灰度发布。
治理灰度
29
故障排查
作业失败分析、数据倾斜定位、性能瓶颈诊断、日志分析技巧。
诊断倾斜
30
最佳实践
架构设计原则、开发规范、运维规范、团队协作、案例复盘。
规范复盘