VIP7

本课程属于：018-Flink实时数仓与流批平台工程 后端、数据与云原生工程 · 共 7 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Flink集成Kafka实时处理实战

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

课程导学与前置准备

Flink与Kafka生态概览、课程目标、环境要求（JDK 8/11、Maven、IDE）、本地开发环境搭建。

Kafka核心概念与集群搭建

Topic、Partition、Consumer Group概念详解，单机/伪分布式Kafka集群搭建实战。

Kafka Java API实战

Producer API（同步/异步发送）、Consumer API（自动/手动提交offset）、自定义分区器。

Flink核心概念与运行架构

Flink四大基石（Checkpoint、State、Time、Window）、JobManager/TaskManager角色、任务提交流程。

Flink开发环境与WordCount入门

Flink项目骨架搭建、批处理WordCount、流处理WordCount、本地运行与Web UI监控。

入门WordCount

Flink DataStream API基础

Source（文件、集合、Socket）、Transformation（map、flatMap、filter、keyBy）、Sink（print、writeAsText）。

DataStream算子

Flink时间语义与Watermark

EventTime/ProcessingTime/IngestionTime区别、Watermark原理与生成策略、Allowed Lateness。

时间语义Watermark

Flink Window操作

Tumbling Window、Sliding Window、Session Window、Count Window，以及Window Function（ReduceFunction、AggregateFunction、ProcessWindowFunction）。

Flink状态管理与容错机制

Keyed State与Operator State、状态后端（Memory/Fs/RocksDB）、Checkpoint与Savepoint配置。

FlinkKafkaConnector基础

FlinkKafkaConsumer与FlinkKafkaProducer的引入、反序列化Schema、Exactly-Once语义保证。

连接器Exactly-Once

Flink读取Kafka数据实战

配置Kafka Source、指定Topic与Group、消费起始位置（earliest/latest/timestamp）、动态分区发现。

Flink写入Kafka数据实战

配置Kafka Sink、自定义序列化Schema、写入特定Partition、处理生产异常。

Flink与Kafka的Exactly-Once语义

两阶段提交协议、Kafka Sink的Exactly-Once配置、Checkpoint与Kafka事务的协同。

事务两阶段提交

FlinkKafkaConnector参数调优

fetch.min.bytes、fetch.max.wait.ms、max.poll.records、buffer.memory等核心参数详解与调优建议。

实时ETL案例一：日志采集与清洗

模拟生成Web日志，使用Flink从Kafka消费，进行JSON解析、脏数据过滤、字段补全，再写回Kafka。

实时ETL案例二：多流Join与维表关联

Kafka双流Join（Interval Join与Window Join），以及异步IO关联MySQL维表。

实时指标计算案例一：PV/UV统计

使用Flink消费Kafka用户行为数据，基于Window计算每小时PV，基于布隆过滤器计算UV。

PV/UV布隆过滤器

实时指标计算案例二：热门商品TopN

使用Flink消费Kafka订单数据，结合Window与ProcessFunction实现滑动窗口内的热门商品排行榜。

实时指标计算案例三：用户行为路径分析

使用Flink CEP从Kafka事件流中识别用户「浏览-加购-下单-支付」的转化漏斗。

Flink SQL与Kafka集成

Flink SQL CLI环境搭建、使用DDL定义Kafka Source/Sink Table、执行简单的SELECT与INSERT。

Flink SQL实时Join与聚合

Kafka流与流的Temporal Join、流与维表的Lookup Join、Group By与Over Aggregation。

Temporal JoinLookup

Flink SQL TopN与窗口函数

使用SQL实现TopN、ROW_NUMBER、HOP/TUMBLE/SESSION窗口函数在Kafka数据上的应用。

窗口函数TopN

Flink与Kafka的监控与告警

Kafka JMX指标监控（Lag、BytesIn/Out）、Flink Metrics（Checkpoint耗时、BackPressure）、Prometheus+Grafana集成。

Kafka消息积压排查与处理

积压原因分析（消费者能力不足、分区分配不均、处理逻辑慢）、动态扩容与限流策略。

Flink作业调优与反压处理

反压原理、定位反压节点（Web UI、Metrics）、优化算子链、调整并行度、内存与网络调优。

Kafka集群高可用与数据安全

Leader选举与ISR机制、数据副本与故障转移、ACL权限控制、SSL加密传输。

高可用安全

Flink与Kafka的版本兼容性

Flink 1.13/1.14/1.15/1.16/1.17与Kafka 2.x/3.x的兼容矩阵、连接器版本选择建议。

兼容性版本

生产环境部署与运维

Flink On YARN/K8s部署模式、Kafka Broker滚动升级、作业的Savepoint与恢复、日志采集与集中管理。

综合实战一：实时用户画像系统

从Kafka消费用户行为日志，使用Flink进行标签计算（活跃度、偏好、生命周期），结果写入Kafka与MySQL。

用户画像实战

综合实战二：实时数据仓库DWD层构建

使用Flink SQL从Kafka ODS层读取数据，进行清洗、维度退化、多流Join，写入Kafka DWD层，并总结课程知识体系。

数据仓库DWD