VIP20

本课程属于：044-实时数仓建设 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Flink实时数仓ETL管道开发

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Flink基础入门

Flink是什么、发展历史与核心优势，应用场景涵盖实时ETL、实时数仓、事件驱动应用，并与Spark Streaming对比分析。

Flink环境搭建与部署

Local、Standalone、YARN、K8s多种安装模式，集群启动与Web UI介绍，以及命令行提交作业的完整流程。

Flink编程模型

DataStream API基础，涵盖Source、Transformation、Sink核心算子，构建Flink程序骨架。

Flink时间语义与Watermark

Event Time、Processing Time、Ingestion Time区别，Watermark原理与生成策略，处理乱序数据的最佳实践。

Flink状态管理与容错

Keyed State与Operator State详解，状态后端（Memory、FS、RocksDB），Checkpoint与Savepoint机制，Exactly-Once语义保证。

Flink Table & SQL入门

Table API与SQL关系，动态表与连续查询，注册表连接外部系统，常用SQL函数与窗口聚合操作。

Flink CDC实战（上）

CDC概念与常见方案（Debezium、Canal），Flink CDC Connector介绍，实现MySQL CDC数据同步实战。

Flink CDC实战（下）

多表合并与数据广播，CDC数据入Kafka、入Hudi/Iceberg，保障CDC场景下的数据一致性。

Flink实时ETL架构设计

Lambda架构与Kappa架构对比，实时ETL分层设计（ODS、DWD、DWS、ADS），技术选型涵盖消息队列、存储、计算引擎。

Flink集成Kafka（上）

Kafka基础概念回顾，Flink Kafka Consumer与Producer配置、反序列化/序列化，动态Topic发现机制。

Flink集成Kafka（下）

Kafka Source并行度与Offset提交，Kafka Sink幂等性与事务写入，端到端Exactly-Once语义实现。

KafkaExactly-Once

Flink实时数据清洗实战

数据脱敏（手机号、身份证），格式转换（JSON/CSV/Avro），脏数据处理与侧输出流，数据过滤与补全。

Flink实时数据聚合实战

基于Event Time的Tumbling/Sliding/Session窗口，增量聚合函数（ReduceFunction/AggregateFunction），TopN与去重统计。

Flink实时维表关联

维表存储在Redis/HBase/MySQL，异步IO查询维表，广播状态加载维表，维表变更与缓存刷新策略。

Flink实时数据写入HDFS

StreamingFileSink详解，文件滚动策略（基于时间/大小），Parquet/ORC列式存储，HDFS小文件问题与优化。

Flink实时数据写入ClickHouse

ClickHouse表引擎选择（MergeTree/ReplacingMergeTree），JDBC Sink与Connector批量写入，性能调优实践。

ClickHouse写入

Flink实时数据写入Elasticsearch

ES索引生命周期管理，Elasticsearch Sink配置，Bulk Processor与请求失败重试，数据写入一致性保证。

Flink实时ETL监控与告警

Flink Metrics体系（CPU/内存/延迟/吞吐），自定义Metrics Reporter，基于Prometheus+Grafana监控看板，作业失败自动告警。

Flink作业调优（上）

并行度设置原则，Operator Chain与资源Slot分配，网络缓冲区与内存配置，反压检测与处理。

Flink作业调优（下）

Checkpoint调优（间隔/超时/并发），RocksDB状态后端调优，数据倾斜解决方案（KeyBy优化/两阶段聚合），TaskManager日志分析。

Flink SQL实时ETL实战

使用Flink SQL完成CDC数据入仓，维表JOIN（Temporal Join），窗口聚合与TopN，Flink SQL与Hive集成。

Flink与Hudi集成实战

Apache Hudi核心概念（Copy-on-Write/Merge-on-Read），Flink Hudi Connector配置，实时数据入湖（Insert/Update/Delete），Hive/Spark/Presto查询。

Flink与Iceberg集成实战

Apache Iceberg核心概念（Snapshot/Manifest），Flink Iceberg Connector配置，实时数据入湖与流读，表优化（Compaction/Expire Snapshots）。

Flink实时数仓案例（用户行为分析）

用户行为日志采集（埋点/日志），实时PV/UV统计（BloomFilter去重），用户留存分析（Session窗口），实时用户画像标签计算。

Flink实时数仓案例（订单交易分析）

订单数据实时ETL（CDC同步），实时GMV统计与趋势分析，实时订单大屏（双11场景），实时风控（恶意下单检测）。

Flink实时数仓案例（流量归因分析）

多渠道流量来源识别，实时归因模型（Last Click/Linear），广告点击实时统计，转化漏斗分析。

Flink复杂事件处理（CEP）

Flink CEP API介绍（Pattern API），事件匹配与时间约束，CEP在实时风控（登录异常检测）与实时营销（组合购买推荐）中的应用。

Flink与机器学习集成

Flink ML库介绍（Pipeline/算法），实时特征工程（标准化/离散化），在线学习模型（FTRL算法），实时推荐场景实践。

Flink生产环境最佳实践

集群容量规划（CPU/内存/磁盘），作业版本管理与灰度发布，数据回溯与Savepoint恢复，常见故障排查（OOM/Full GC/连接超时）。

Flink实时ETL项目实战（综合）

项目需求分析（数据源/目标/指标），架构设计与技术选型，代码实现（采集/清洗/聚合/输出），项目部署与效果展示。