VIP20

本课程属于：003-实时流处理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Flink核心机制与实战精讲

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Flink概述与核心概念

Flink的发展历史、应用场景，与Spark Streaming的对比，以及核心架构剖析。

Flink环境搭建与部署

安装配置、Standalone/YARN/Kubernetes多种部署模式详解。

Flink DataStream API入门

DataStream API概述，Source算子（文件、Kafka、Socket）与Transformation算子（map、flatMap、filter、keyBy）。

Flink DataStream API进阶

Sink算子（文件、Kafka、自定义），多流操作（union、connect、coMap），分区策略（rebalance、rescale、broadcast）。

Flink时间语义与Watermark

Event Time与Processing Time区别，Watermark原理与生成策略，乱序数据处理。

时间Watermark

Flink窗口操作

滚动/滑动/会话窗口，ReduceFunction/AggregateFunction/ProcessWindowFunction，触发与清除机制。

Flink状态管理与容错

ValueState/ListState/MapState/ReducingState，状态后端（Memory/Fs/RocksDB），Checkpoint与Savepoint。

Flink Exactly-Once语义

端到端Exactly-Once原理，两阶段提交协议，Kafka Sink的Exactly-Once实现。

一致性高级

Flink Table API与SQL

Table API基础，动态表与连续查询，SQL DDL/DML，时间属性与窗口在SQL中的使用。

Flink CEP（复杂事件处理）

CEP概念与场景，Pattern API（begin、next、followedBy、within），匹配结果提取与处理。

CEP模式匹配

Flink 内存模型与调优

堆内/堆外/Managed Memory结构，内存参数配置，常见内存问题排查。

Flink 网络与通信机制

TaskManager数据传输，Netty通信原理，反压检测与处理。

Flink 资源调度与任务管理

JobManager与TaskManager角色，Slot概念与配置，任务调度策略。

Flink 高可用与故障恢复

JobManager高可用配置，TaskManager故障恢复，作业自动重启策略。

高可用故障恢复

Flink 与Kafka集成实战

Kafka Source/Sink配置，消费偏移量管理，动态分区发现。

Flink 与Hive集成实战

Hive Catalog使用，Flink SQL读写Hive表，Hive Streaming实时写入。

Flink 与HBase集成实战

HBase Connector使用，Lookup Join，批量写入优化。

Flink 与Elasticsearch集成实战

Elasticsearch Sink配置，索引模板管理，写入性能优化。

Elasticsearch集成

Flink 与Redis集成实战

Redis Connector使用，维表关联（Async IO），缓存策略。

Flink CDC（Change Data Capture）实战

Flink CDC原理，MySQL CDC Connector使用，全量+增量同步。

CDC数据同步

Flink 实时数仓架构设计

实时数仓分层设计（ODS、DWD、DWS、ADS），Lambda与Kappa架构对比。

Flink 实时ETL实战

数据清洗过滤，字段映射转换，多流Join与维表关联。

Flink 实时指标计算实战

PV/UV统计，TopN计算，漏斗分析，留存分析。

Flink 实时数据湖集成

Flink与Iceberg/Hudi/Delta Lake集成实践。

数据湖集成

Flink 作业性能调优

并行度设置，数据倾斜处理，算子链优化，序列化优化。

Flink 监控与告警

Flink Metrics体系，Prometheus+Grafana监控，作业日志分析。

Flink 安全机制

Kerberos认证，SSL/TLS加密，权限控制（Ranger/Atlas）。

Flink 机器学习与AI

Flink ML库使用，实时特征工程，在线学习模型应用。

Flink 在物联网（IoT）场景的应用

海量设备数据接入，实时告警规则引擎，设备状态监控。

Flink 综合实战项目

实时用户行为分析系统，从数据采集到可视化展示的全流程实现。