VIP7

本课程属于：018-Flink实时数仓与流批平台工程 后端、数据与云原生工程 · 共 7 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

小白也能懂的流批一体入门

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

流批一体是什么？

为什么需要流批一体？传统Lambda架构的痛点，流批一体的核心思想（同一份数据，同一份逻辑，两种运行模式）。

核心概念架构演进

核心概念扫盲

流处理 vs 批处理，有界数据 vs 无界数据，实时性 vs 准确性，事件时间 vs 处理时间。

基础理论术语解析

技术选型概览

Flink、Spark Streaming、Kafka Streams 的简单对比，为什么Flink是流批一体的首选？

技术对比选型指南

Flink的安装与启动，运行第一个WordCount程序（批模式），运行第一个Socket流处理程序（流模式）。

环境搭建入门实战

DataStream API 入门

DataStream 与 DataSet 的演变，Source、Transformation、Sink 三板斧，简单的Map、Filter、FlatMap操作。

时间与水位线（Watermark）

事件时间的重要性，Watermark的工作原理（我当年理解这个花了好久），如何处理乱序数据。

时间语义乱序处理

窗口操作（Window）

滚动窗口、滑动窗口、会话窗口，窗口的生命周期，实战：每5分钟统计一次网站PV。

窗口计算实战案例

状态编程（State）

为什么需要状态？ValueState、ListState、MapState，状态后端（Memory、FS、RocksDB）的选择。

状态管理后端配置

检查点（Checkpoint）与保存点（Savepoint）

Flink的容错机制，Exactly-Once语义是如何实现的？生产环境如何配置Checkpoint。

容错一致性

Table API & SQL 基础

为什么用SQL？动态表的概念，流模式下的SQL查询（Group By、Window TVF）。

流批一体SQL实战

同一张表，在批模式下跑历史数据，在流模式下跑实时数据，代码几乎不用改。

实战统一SQL

Catalog 与元数据管理

Hive Catalog 的集成，让Flink SQL 能直接读Hive表。

元数据Hive集成

连接器（Connector）概览

Kafka Source/Sink、JDBC Connector、FileSystem Connector，如何自定义一个简单的Source。

连接器扩展

Kafka 集成实战

从Kafka读取JSON数据，进行ETL清洗，再写回Kafka。

CDC（Change Data Capture）入门

什么是CDC？Flink CDC 如何监听MySQL的binlog？实时同步MySQL数据到Kafka。

CDC数据同步

维表关联（Lookup Join）

实时流关联MySQL维表，解决维度数据变化的问题，使用Async I/O提升性能。

Interval Join、Regular Join、Window Join的区别，实战：订单流与支付流关联。

双流JOIN实战

复杂事件处理（CEP）

什么是CEP？Pattern API入门，检测连续登录失败等异常模式。

CEP模式匹配

性能调优（上）

并行度设置、Operator Chain、数据倾斜的排查与解决。

调优并行度

性能调优（下）

反压（Backpressure）的监控与处理，内存调优（Heap、Off-Heap、Managed Memory）。

Session Mode、Per-Job Mode、Application Mode的区别，在YARN和Kubernetes上部署Flink。

监控与告警

Flink Web UI 怎么看？接入Prometheus + Grafana，关键指标（Lag、Throughput、Checkpoint Duration）。

监控Prometheus

Flink 1.x 新特性

流批一体API的进一步统一，Pipelined Region 调度，动态负载均衡。

新特性版本更新

案例实战：实时数仓（上）

分层设计（ODS、DWD、DWS、ADS），使用Flink SQL构建实时ETL。

实时数仓分层

案例实战：实时数仓（中）

DWD层的数据清洗与维度补充，DWS层的轻度聚合。

案例实战：实时数仓（下）

ADS层输出到MySQL/ClickHouse，实现大屏实时展示。

案例实战：实时推荐系统

用户行为日志采集 -> Flink实时特征计算 -> 写入Redis -> 推荐服务调用。

推荐系统Redis

案例实战：异常检测

使用Flink CEP检测交易风控场景，毫秒级响应。

流批一体与数据湖

Apache Iceberg / Hudi 集成，实现流式写入、批式读取，湖仓一体。

数据湖Iceberg

总结与展望

流批一体的未来趋势，Kappa架构的演进，给新手的建议与学习路径。

总结学习路径