首页
›
数据工程与实时数据平台
›
048-数据交换与API治理
›
《Flink实时数据交换平台建设》
VIP20
本课程属于:048-数据交换与API治理
数据工程与实时数据平台 · 共 20 门相关课程,组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录
咨询 / 购买
Flink实时数据交换平台建设
📚 共计 30 章节
点击此处阅读海量试读课程:100+行业、1000+细分领域
01
Flink基础入门
发展历史、核心特性、应用场景,并与Spark Streaming深度对比,建立实时计算全局视野。
概念
对比
02
Flink环境搭建
安装部署,Standalone / YARN / Kubernetes 三种模式详解,快速构建生产级集群。
部署
K8s
03
Flink编程模型
DataStream API 核心:Source、Transformation、Sink,从零构建第一个流作业。
API
算子
04
Flink时间语义
Event Time / Processing Time / Ingestion Time 及 Watermark 机制,精准处理乱序数据。
时间
Watermark
05
Flink窗口操作
滚动、滑动、会话、全局窗口及窗口函数,灵活应对各种聚合场景。
窗口
聚合
06
Flink状态管理
Keyed State / Operator State、状态后端、状态TTL,保障应用状态可靠与高效。
状态
后端
07
Flink容错机制
Checkpoint 原理、Savepoint、Exactly-Once 语义,打造健壮实时管道。
容错
Exactly-Once
08
Flink Table & SQL
Table API、动态表、流表转换及SQL查询,以声明式方式处理流数据。
SQL
Table API
09
Flink CEP
复杂事件处理、Pattern API、匹配与输出,实时检测业务规则。
CEP
模式匹配
10
Flink与Kafka集成
Kafka Source/Sink、精确一次语义、动态分区发现,构建高吞吐数据管道。
Kafka
集成
11
Flink与MySQL集成
JDBC Sink、维表关联、异步IO,实现实时写入与维表查询。
MySQL
维表
12
Flink与HDFS集成
File Sink、滚动策略、分区策略,将流数据可靠写入HDFS。
HDFS
文件
13
Flink与Elasticsearch集成
ES Sink、索引管理、批量写入优化,支持实时检索与分析。
ES
索引
14
Flink与Redis集成
Redis Sink、维表缓存、连接池配置,加速实时数据访问。
Redis
缓存
15
Flink与HBase集成
HBase Sink、维表关联、批量写入,应对海量键值存储。
HBase
批量
16
Flink CDC入门
CDC概念、Flink CDC Connector、Debezium集成,捕获数据库变更。
CDC
Debezium
17
Flink CDC实战
MySQL CDC实时同步、断点续传、Schema变更,生产级最佳实践。
实战
MySQL
18
Flink实时数仓架构
分层设计:ODS/DWD/DWS/ADS,数据流转与建模方法论。
数仓
分层
19
Flink实时ETL
数据清洗、转换、过滤、补全,构建高质量实时数据流。
ETL
清洗
20
Flink实时指标计算
PV/UV、去重统计、漏斗分析、留存分析,驱动业务决策。
指标
漏斗
21
Flink双流Join
Window Join、Interval Join、Regular Join,实现多流关联。
Join
双流
22
Flink维表关联
热缓存、LRU缓存、异步IO、广播状态,高效关联外部数据。
维表
缓存
23
Flink性能优化
并行度、算子链、数据倾斜、反压处理,提升作业吞吐与稳定性。
优化
反压
24
Flink内存调优
堆内存、堆外内存、网络缓冲区、RocksDB调优,降低资源开销。
内存
RocksDB
25
Flink监控与告警
Metrics系统、Prometheus集成、Grafana看板,可视化运维。
监控
Grafana
26
Flink日志管理
日志框架配置、日志采集、日志分析,快速定位问题。
日志
采集
27
Flink作业管理
作业提交、停止、升级、Savepoint管理,全生命周期操作。
作业
Savepoint
28
Flink安全机制
Kerberos认证、SSL加密、权限控制,保障集群安全。
安全
Kerberos
29
Flink实战案例一
实时用户行为分析系统,从埋点到看板完整实现。
实战
用户行为
30
Flink实战案例二
实时数据交换平台设计与实现,打通多源异构数据。
实战
数据交换
所属VIP或分类
同VIP:API调用日志采集与安全审计
同VIP:API调用行为风控与审计告警
同VIP:Delta-Lake可靠数据交换与一致性保障