01
课程导学与实时数仓概述
实时数仓概念、Lambda与Kappa架构对比、课程目标与前置知识。
架构导学
02
Kafka核心概念与集群部署
Topic、Partition、Broker、Producer、Consumer概念，单机与集群部署实战。
集群部署
03
Kafka生产者详解
发送流程、分区策略、ACK机制、重试机制、自定义拦截器。
生产者ACK
04
Kafka消费者详解
消费组与再均衡、位移提交、自动与手动提交、幂等性与事务。
消费者事务
05
Kafka存储与可靠性机制
日志存储结构、分段策略、ISR机制、Leader选举、数据清理。
存储ISR
06
Kafka监控与运维
JMX监控、Kafka Eagle、常见故障排查、集群扩容与迁移。
监控运维
07
Flink核心概念与运行架构
有状态流处理、Dataflow模型、JobManager与TaskManager、并行度。
架构并行度
08
Flink开发环境搭建
本地模式、Standalone集群、YARN Session模式、Flink SQL Client。
环境YARN
09
Flink DataStream API基础
Source、Transformation、Sink、KeyBy、Window、Watermark。
APIWindow
10
Flink时间语义与Watermark
EventTime、ProcessingTime、IngestionTime、Watermark生成与传播。
时间语义Watermark
11
Flink窗口操作
滚动窗口、滑动窗口、会话窗口、窗口函数、迟到数据处理。
窗口迟到数据
12
Flink状态管理与容错
Keyed State、Operator State、状态后端、Checkpoint与Savepoint。
状态Checkpoint
13
Flink Table & SQL API
动态表、流表转换、SQL DDL/DML、连接器配置。
SQL动态表
14
Flink CDC原理与实战
CDC概念、Debezium集成、MySQL CDC、PostgreSQL CDC。
CDCDebezium
15
Flink与Kafka集成
Kafka Source/Sink、Exactly-Once语义、动态分区发现。
集成Exactly-Once
16
实时数仓分层设计
ODS、DWD、DWS、ADS分层原则、数据模型设计、命名规范。
分层建模
17
实时ETL与数据清洗
JSON解析、脏数据处理、字段补全、维表关联（AsyncIO）。
ETL维表
18
实时维度建模
退化维度、缓慢变化维（SCD）、拉链表在实时场景的应用。
维度SCD
19
实时指标计算
PV/UV、去重计数（HyperLogLog）、漏斗分析、留存分析。
指标HLL
20
Flink与Hive集成
Hive Catalog、批流一体、Hive Streaming Sink。
Hive批流
21
实时数仓写入ClickHouse
ClickHouse表引擎选择、Flink JDBC Sink、批量写入优化。
ClickHouseJDBC
22
实时数仓写入Doris
Doris数据模型、Stream Load、Flink Doris Connector。
DorisStream Load
23
实时数仓写入HBase
HBase RowKey设计、Flink HBase Sink、二级索引方案。
HBaseRowKey
24
实时数仓写入Redis
Redis数据结构选择、Flink Redis Sink、缓存策略。
Redis缓存
25
全链路数据一致性保障
端到端Exactly-Once、幂等写入、两阶段提交Sink。
一致性2PC
26
实时任务监控与告警
Flink Metrics、Prometheus+Grafana、任务重启策略。
监控告警
27
实时数仓性能调优
反压检测与处理、算子链优化、资源参数调优、SQL调优。
调优反压
28
数据质量监控
数据完整性校验、延迟监控、异常报警、数据回溯方案。
质量回溯
29
企业级实时数仓案例（上）
电商实时大屏、实时订单风控、实时用户画像。
案例大屏
30
企业级实时数仓案例（下）
实时数据湖（Iceberg/Hudi）、流批一体架构演进、课程总结与展望。
数据湖流批一体