VIP20

本课程属于：030-实时推荐数据平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

实时推荐Flink与Kafka整合实现实时ETL

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

课程导学与环境搭建

Flink与Kafka实时ETL概述、课程目标、技术栈介绍、开发环境准备（JDK、Maven、IDE）。

Kafka核心概念与集群部署

Kafka架构、Topic、Partition、Producer、Consumer概念详解，单机与集群模式部署。

Kafka生产者API实战

创建生产者、发送消息的三种方式（同步、异步、单向）、分区策略、自定义分区器。

生产者分区

Kafka消费者API实战

消费者与消费组概念、订阅Topic、偏移量提交（自动与手动）、再均衡监听器。

消费者偏移量

Kafka高级特性

消息可靠性保证（ACK、ISR）、幂等性与事务、消息压缩、日志清理策略。

可靠性事务

Flink核心概念与运行架构

Flink简介、数据流与批处理统一、JobManager与TaskManager、任务提交流程。

架构运行时

Flink开发环境搭建与入门案例

Maven项目构建、WordCount批处理与流处理案例、本地与集群运行。

入门WordCount

Flink DataStream API基础

Source（文件、集合、Socket）、Transformation（map、flatMap、filter、keyBy）、Sink（打印、文件）。

Flink时间语义与Watermark

EventTime、ProcessingTime、IngestionTime区别，Watermark原理与生成策略，乱序数据处理。

时间语义Watermark

Flink窗口操作

滚动窗口、滑动窗口、会话窗口，窗口函数（ReduceFunction、AggregateFunction、ProcessWindowFunction）。

Flink状态管理与容错机制

Keyed State与Operator State，状态后端（Memory、Fs、RocksDB），Checkpoint与Savepoint原理与配置。

Flink Exactly-Once语义

端到端Exactly-Once实现原理，两阶段提交协议，FlinkKafkaProducer的语义保证。

Exactly-Once两阶段提交

Flink与Kafka整合基础

FlinkKafkaConsumer与FlinkKafkaProducer使用，反序列化与序列化Schema，Topic动态发现。

实时ETL之数据接入

从Kafka消费JSON/CSV数据，使用Flink进行数据清洗（过滤脏数据、字段补全、格式转换）。

实时ETL之数据转换

数据脱敏（手机号、身份证）、字段映射、维度关联（广播状态实现实时维表Join）。

脱敏维表Join

实时ETL之数据聚合与计算

基于事件时间的实时统计（PV/UV）、使用Flink SQL进行分组聚合、滑动窗口计算。

聚合Flink SQL

实时ETL之数据分发与输出

多流合并（Union、Connect、CoGroup），根据业务规则分流到不同Kafka Topic或MySQL。

分流多流合并

Flink SQL与Kafka整合

使用Flink SQL创建Kafka Source/Sink Table，通过SQL进行ETL转换，CDC数据同步。

实时ETL之动态表与双流Join

Flink SQL中的动态表概念，Regular Join、Interval Join、Window Join实战。

动态表双流Join

实时ETL之复杂事件处理（CEP）

Flink CEP API介绍，Pattern定义与匹配，超时与阈值告警场景实战。

CEP模式匹配

实时ETL之数据质量监控

数据延迟监控、数据丢失检测、异常值告警，结合Flink Metrics与自定义Reporter。

实时ETL之性能优化

并行度设置、算子链与资源槽、缓冲区超时配置、Kafka消费速率控制（背压原理与应对）。

实时ETL之部署与运维

Flink On YARN/K8s部署模式，高可用配置，日志与监控（Prometheus + Grafana）。

实时ETL之数据湖集成

Flink与Hudi/Iceberg整合，实现实时入湖（CDC入湖、增量读取），ACID事务保证。

实时ETL之数据仓库分层

ODS、DWD、DWS、ADS分层设计，Flink任务如何对应各层，数据回溯与重跑策略。

数仓分层回溯

实时ETL之全量+增量同步方案

使用Flink CDC读取MySQL Binlog，结合Kafka实现全量快照与增量变更的合并。

CDC全量增量

实时ETL之多源异构数据整合

同时接入Kafka、MySQL CDC、文件系统数据，进行数据对齐与关联。

实时ETL之数据一致性保障

分布式事务与幂等输出，Kafka事务与Flink Checkpoint协同，端到端一致性验证。

一致性事务

实战项目一：用户行为实时分析系统

从Kafka接入埋点日志，实时计算用户活跃、页面热度、转化漏斗。

实战用户行为

实战项目二：订单实时归因与风控系统

从Kafka接入订单与支付流，实时关联用户画像，输出风险评分与归因结果。