VIP20
本课程属于：022-数据湖仓一体：Delta Lake、Apache Iceberg与Apache Hudi AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Hudi写入性能瓶颈定位与调优

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · Hudi写入性能的重要性
课程导入学习目标
02
Hudi基础回顾
表类型 · 写入模式 · 关键组件
Hudi基础回顾
03
写入性能指标
吞吐量 · 延迟 · 资源利用率
写入性能指标吞吐量
04
性能瓶颈分类
存储 · 计算 · 网络
性能瓶颈分类存储
05
存储瓶颈分析
文件大小 · 小文件问题 · 数据倾斜
存储瓶颈分析文件大小
06
计算瓶颈分析
Spark并行度 · 内存配置 · CPU使用
计算瓶颈分析Spark
07
网络瓶颈分析
Shuffle · 数据本地性 · 带宽限制
网络瓶颈分析Shuffle
08
锁竞争与并发控制
锁机制 · 冲突处理 · 优化策略
锁竞争并发控制
09
写入路径详解
从数据源到Hudi表的完整流程
写入路径详解Hudi
10
性能监控工具
Spark UI · Hudi Metrics · 系统监控
性能监控工具Spark
11
基准测试方法
设计测试场景 · 收集数据 · 分析结果
基准测试方法设计测试场景
12
常见瓶颈案例
小文件合并 · 数据倾斜 · GC问题
常见瓶颈案例小文件合并
13
参数调优
关键配置项 · 影响分析 · 推荐值
参数调优关键配置项
14
写入模式优化
批量写入 · 微批处理 · 实时写入
写入模式优化批量写入
15
索引优化
Hudi索引类型 · 选择策略 · 性能影响
索引优化Hudi
16
表服务调优
Clustering · Compaction · Cleaner
表服务调优Clustering
17
存储格式优化
文件格式 · 压缩算法 · 列式存储
存储格式优化文件格式
18
数据布局优化
分区策略 · 排序 · 布隆过滤器
数据布局优化分区策略
19
资源规划
集群规模 · 内存分配 · 并行度设置
资源规划集群规模
20
故障排查
常见错误 · 日志分析 · 性能下降原因
故障排查常见错误
21
实战演练
模拟瓶颈场景 · 定位问题 · 实施调优
实战演练模拟瓶颈场景
22
调优效果评估
对比实验 · 性能提升 · 稳定性
调优效果评估对比实验
23
高级调优技巧
异步写入 · 缓存 · 预聚合
高级调优技巧异步写入
24
与Spark集成优化
Catalyst优化 · Tungsten · 动态分配
Spark集成优化
25
与Flink集成优化
Checkpoint · 状态管理 · 背压
Flink集成优化
26
云环境调优
对象存储 · 网络 · 实例选择
云环境调优对象存储
27
性能测试工具
TPC-DS · 自定义基准 · 持续集成
性能测试工具TPC-DS
28
常见问题解答
FAQ · 社区经验 · 最佳实践
常见问题解答FAQ
29
综合案例
端到端调优项目 · 步骤 · 结果
综合案例端到端调优项目
30
课程总结
关键要点 · 学习路径 · 进一步资源
课程总结关键要点