VIP20

本课程属于：023-数据湖仓一体：Delta Lake、Apache Iceberg与Apache Hudi AI与大模型 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Flink与Hudi实时数据管道构建

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

实时数据管道概述 · Flink与Hudi简介 · 课程目标与学习路径

课程导入实时数据管道概述

Flink与Hudi的安装配置 · 版本兼容性 · 开发环境搭建

环境准备Flink

DataStream API核心概念 · 时间语义 · 窗口操作

FlinkDataStream

数据湖概念 · Hudi表类型（Copy on Wr… · 索引机制

Hudi数据湖概念

Flink SQL与Hudi集成

使用Flink SQL读写Hudi表 · Catalog配置 · 流式写入

实时管道架构设计

端到端实时管道组件 · 数据源接入 · 处理逻辑

实时管道架构设计端到端实时管道组…

Kafka数据源接入

Kafka消费者配置 · 反序列化 · 水位线设置

Kafka数据源接入

CDC数据捕获

使用Flink CDC捕获数据库变更 · 同步到Hudi

CDC数据捕获

Hudi写入调优

写入参数配置 · 小文件处理 · compaction策略

Hudi写入调优

Hudi查询优化

MOR表查询 · Read Optimized与Sna… · 索引优化

Hudi查询优化

状态后端与容错

Flink状态后端选择 · Checkpoint机制 · 端到端Exactly-Once语义

状态后端容错

实时管道案例

从Kafka到Hudi的实时用户行为…

实时管道案例Kafka

实时管道案例

MySQL CDC到Hudi的实时数…

实时管道案例MySQL

实时管道案例

多数据源合并写入Hudi

实时管道案例Hudi

数据质量监控

数据完整性校验 · 延迟监控 · 异常告警

数据质量监控数据完整性校验

Flink并行度设置 · 背压处理 · 资源管理

性能调优Flink

Clustering · Compaction · Cleaner的原理与配置

Flink与Hudi的Exactly-Once语义

两阶段提交 · Hudi的写入语义

实时数仓分层

ODS · DWD · DWS层在Hudi上的实现

实时数仓分层ODS

实时管道测试

单元测试 · 集成测试 · 端到端测试方法

实时管道测试单元测试

常见问题排查

数据不一致 · 写入失败 · 性能瓶颈的定位与解决

常见问题排查数据不一致

Flink与Hudi的版本演进

新特性介绍 · 迁移注意事项

实时管道安全

认证授权 · 数据加密 · 敏感信息处理

实时管道安全认证授权

云环境部署

在AWS或阿里云上部署Flink与H…

云环境部署AWS

监控与运维

Flink与Hudi的监控指标 · 日志收集 · 运维自动化

构建一个完整的实时数据管道项目（从需…

综合实战构建一个完整的实…

对已有管道进行架构优化 · 成本优化

项目优化对已有管道进行架…

Flink与Hudi在湖仓一体中的应… · 与Iceberg对比

前沿扩展Flink

实时数据管道相关面试题解析与项目经验…

面试指南实时数据管道相关…

核心知识点回顾 · 学习建议 · 未来发展方向

课程总结核心知识点回顾