VIP20
本课程属于:032-数据网格架构 数据工程与实时数据平台 · 共 20 门相关课程,组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Flink与数据网格集成应用

📚 共计 30 章节
点击此处阅读海量试读课程:100+行业、1000+细分领域
01
数据网格概念与Flink定位
数据网格(Data Mesh)四大原则 · Flink在去中心化数据架构中的核心角色与业务价值
领域驱动架构
02
Flink核心概念回顾
DataStream与DataSet API · 事件时间/处理时间 · 状态后端与Checkpoint机制
基础时间语义
03
数据网格中的领域数据产品
数据产品定义与设计 · Flink实现领域数据产品 · Schema演进与版本管理
数据产品Schema
04
Flink CDC与数据源接入
Flink CDC原理 · MySQL/Kafka CDC实战 · Debezium集成 · 增量捕获最佳实践
CDCDebezium
05
数据网格中的实时数据管道
实时ETL构建 · 数据清洗转换 · 多流Join与维表关联 · 数据质量监控
实时管道ETL
06
数据网格中的批流一体
Flink批流一体架构 · Batch/Streaming模式切换 · Lambda架构演进与替代
批流一体Lambda
07
数据网格中的数据存储层
对象存储(S3/MinIO) · Iceberg/Hudi/Delta Lake · 实时数仓分层设计
湖仓分层
08
数据网格中的数据目录与发现
Flink与Atlas/DataHub集成 · 元数据自动采集 · 数据血缘追踪
元数据血缘
09
数据网格中的数据安全与治理
Flink SQL权限控制 · 数据脱敏加密 · 审计日志 · GDPR合规实践
安全治理
10
数据网格中的Flink SQL Gateway
SQL Gateway架构 · 多租户SQL执行 · 作业生命周期管理
SQLGateway
11
数据网格中的Flink Operator
Kubernetes原生部署 · Operator原理 · 自动扩缩容与故障恢复
K8sOperator
12
数据网格中的Flink监控与告警
Metrics系统 · Prometheus+Grafana · 自定义告警 · 性能调优
监控告警
13
数据网格中的Flink状态管理
状态后端(RocksDB/Heap) · 状态TTL · 大规模状态优化 · 迁移策略
状态RocksDB
14
数据网格中的Flink Checkpoint与Savepoint
Checkpoint原理配置 · Savepoint创建恢复 · Exactly-Once语义保证
一致性容错
15
数据网格中的Flink反压机制
反压原理 · 检测定位 · 处理策略 · 背压与流量控制
反压背压
16
数据网格中的Flink内存管理
内存模型 · 堆内堆外 · 网络缓冲区 · 内存调优实战
内存调优
17
数据网格中的Flink网络与通信
Netty与RPC · TaskManager数据传输 · 数据倾斜与分区策略
网络倾斜
18
数据网格中的Flink Table & SQL
动态表与连续查询 · SQL DDL/DML · UDF/UDAF/UDTF开发
Table APIUDF
19
数据网格中的Flink CEP
复杂事件处理原理 · CEP模式定义 · 实时风控与异常检测场景
CEP风控
20
数据网格中的Flink ML
Flink ML Pipeline · 实时特征工程 · 在线推理与模型服务
机器学习推理
21
数据网格中的Flink与Kafka集成
Kafka Source/Sink优化 · Exactly-Once · Connect与Schema Registry
Kafka集成
22
数据网格中的Flink与Pulsar集成
Pulsar Source/Sink · 与Kafka对比 · 多租户消息队列实践
Pulsar消息
23
数据网格中的Flink与Hive集成
Hive Catalog · 读写优化 · 批流一体下的Hive兼容
Hive兼容
24
数据网格中的Flink与Iceberg集成
Iceberg表格式 · Flink写入Iceberg · 实时湖仓一体实践
Iceberg湖仓
25
数据网格中的Flink与Hudi集成
Hudi表类型(COW/MOR) · Flink写入Hudi · 增量查询与时间旅行
Hudi时间旅行
26
数据网格中的Flink与ClickHouse集成
ClickHouse Sink · 实时OLAP查询 · 物化视图与预聚合
ClickHouseOLAP
27
数据网格中的Flink与Doris集成
Doris Sink · Stream Load原理 · 实时报表与Ad-hoc查询
Doris报表
28
数据网格中的Flink与Elasticsearch集成
ES Sink优化 · 实时搜索与日志分析 · 索引生命周期管理
Elasticsearch搜索
29
数据网格中的Flink与Redis集成
Redis Sink · 实时缓存更新 · 维表关联与热数据加速
Redis缓存
30
数据网格中的Flink最佳实践与案例
电商实时网格架构 · 金融风控网格 · 作业治理与成本优化
案例最佳实践