VIP20
本课程属于：023-数据湖仓一体：Delta Lake、Apache Iceberg与Apache Hudi AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Delta Lake OPTIMIZE与小文件治理

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程大纲 · Delta Lake简介与小文件问题…
课程导入学习目标
02
Delta Lake基础
表格式 · 事务日志 · 版本管理
DeltaLake
03
小文件问题剖析
小文件产生的原因 · 对存储和查询性能的影响
小文件问题剖析小文件产生的原因
04
OPTIMIZE命令详解
语法 · 参数 · 工作原理及执行流程
OPTIMIZE命令详解
05
文件合并策略
bin-packing算法 · 目标文件大小配置 · 并行度控制
文件合并策略bin-packing
06
Z-Order优化
多维聚类原理 · 使用场景 · 与OPTIMIZE的结合
Z-Order优化
07
数据布局优化
分区策略 · 文件组织 · 与OPTIMIZE的协同
数据布局优化分区策略
08
OPTIMIZE实战
在Spark SQL和DataFra…
OPTIMIZESpark
09
自动优化配置
Delta Lake自动优化特性 · 启用方法及效果评估
自动优化配置Delta
10
小文件治理策略
定期OPTIMIZE · 写入控制 · 分区裁剪等综合方法
小文件治理策略OPTIMIZE
11
案例实战
电商订单表小文件治理全流程
案例实战电商订单表小文件…
12
常见问题与调优
OPTIMIZE耗时 · 资源消耗 · 失败处理等
常见问题调优
13
监控与评估
查看表统计信息 · 文件数变化 · 性能对比
监控评估
14
综合提升
结合Delta Lake其他特性（如… · Change Data Feed）构…
综合提升Delta
15
课程总结
要点回顾 · 最佳实践 · 后续学习路径
课程总结要点回顾
16
深入理解Delta Lake事务日志
日志结构 · 提交信息 · 与OPTIMIZE的关系
DeltaLake
17
文件大小与性能权衡
如何确定目标文件大小 · 影响查询和写入的因素
文件大小性能权衡
18
OPTIMIZE的增量处理
只优化新增分区或文件 · 避免全表扫描
OPTIMIZE的增量处理
19
使用Data Skipping与统计信息
优化文件跳过 · 减少扫描数据量
DataSkipping
20
动态分区覆盖与文件治理
写入时如何减少小文件生成
动态分区覆盖文件治理
21
使用Delta Lake的Change Data Feed
跟踪变更 · 辅助小文件治理
DeltaLake
22
VACUUM命令详解
清理旧版本文件 · 与OPTIMIZE配合使用
VACUUM命令详解
23
小文件治理的自动化
使用调度工具定期执行OPTIMIZE…
小文件治理的自动…OPTIMIZE
24
性能调优
调整Spark配置以加速OPTIMI… · 如内存 · 并行度
性能调优Spark
25
处理数据倾斜
在OPTIMIZE中处理倾斜数据 · 避免文件大小不均
处理数据倾斜OPTIMIZE
26
与外部工具集成
使用Delta Lake API或第…
外部工具集成Delta
27
案例实战
日志数据分析表的小文件治理与查询优化
案例实战日志数据分析表的…
28
监控与告警
设置文件数阈值 · 监控OPTIMIZE执行情况
监控告警
29
最佳实践总结
从设计到运维的全链路小文件治理方案
最佳实践总结从设计到运维的全…
30
课程结业
综合练习 · 评估与进一步学习资源
课程结业综合练习