VIP20
本课程属于：051-数据平台FinOps 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Delta Lake增量存储成本分析与治理

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
成本管控总览
Delta Lake 存储成本构成分析 · 增量存储的核心挑战 · 课程目标与学习路径
成本模型入门
02
存储格式基础
Parquet 与 Delta Lake 的关系 · 列式存储的压缩优势 · 数据文件的生命周期
Parquet文件格式
03
增量数据写入机制
Append 模式与 Overwrite 模式 · 事务日志的存储开销 · 小文件问题的根源
写入模式事务日志
04
小文件合并策略
OPTIMIZE 命令详解 · ZORDER 排序优化 · 自动合并配置 (spark.databricks.delta.autoCompact)
OPTIMIZE小文件
05
数据保留策略
VACUUM 命令与数据清理 · 保留天数设置的最佳实践 · 快照隔离与存储回收
VACUUM保留策略
06
分区剪枝优化
分区列选择原则 · 动态分区修剪 · 分区过多导致的元数据膨胀
分区剪枝
07
压缩与编码
ZSTD、Snappy、LZ4 压缩算法对比 · 字典编码与游程编码 · 列级压缩配置
压缩编码
08
增量表版本管理
时间旅行与版本保留 · 历史版本对存储的影响 · 合理设置版本保留数
时间旅行版本
09
数据去重与幂等写入
MERGE 操作与存储开销 · 重复数据导致的存储浪费 · 去重策略设计
去重MERGE
10
存储格式转换
从 Parquet 到 Delta Lake 的迁移成本 · Convert to Delta 的存储影响 · 格式转换后的优化
格式转换迁移
11
冷热数据分层
数据温度定义 · 分层存储策略 (S3 Standard vs Glacier) · 自动分层规则配置
分层Glacier
12
增量表统计信息
文件统计信息的存储开销 · 合理收集统计信息 · ANALYZE TABLE 命令使用
统计信息ANALYZE
13
数据生命周期管理
Delta Live Table 的存储策略 · 自动清理过期数据 · 生命周期规则配置
生命周期DLT
14
存储成本监控
Delta Lake 表大小监控 · 文件数量监控 · 成本异常告警设置
监控告警
15
增量表克隆与备份
DEEP CLONE 与 SHALLOW CLONE 的存储差异 · 备份策略的成本考量 · 增量备份方案
克隆备份
16
数据湖仓一体架构
Lakehouse 架构下的存储成本 · 计算与存储分离的优势 · Delta Sharing 的共享成本
Lakehouse共享
17
增量表索引优化
Bloom Filter 索引 · 文件跳过索引 · 索引对存储的额外开销
索引Bloom
18
数据写入频率控制
微批次写入与批量写入的存储差异 · 写入频率对文件数量的影响 · 合理设置批次间隔
写入频率微批次
19
增量表 Schema 演进
Schema 变更对存储的影响 · 列删除后的存储回收 · Schema 版本管理
Schema演进
20
数据压缩与归档
ZIP 归档策略 · 历史数据压缩 · 归档后的查询性能权衡
归档压缩
21
增量表缓存策略
Delta Cache 的存储开销 · 缓存命中率优化 · 缓存与存储成本的平衡
缓存Delta Cache
22
跨区域复制成本
Delta Lake 跨区域复制的存储费用 · 复制策略选择 · 数据本地化原则
跨区域复制
23
增量表审计日志
事务日志的存储增长 · 审计日志保留策略 · 日志压缩方案
审计日志
24
数据质量与存储成本
数据质量检查对存储的影响 · 异常数据清理 · 质量监控的成本控制
数据质量清理
25
增量表性能与成本权衡
查询性能与存储成本的平衡点 · 物化视图的存储开销 · 预聚合策略
性能物化视图
26
云存储成本优化
AWS S3 存储类选择 · Azure Blob 分层 · GCP Cloud Storage 成本控制
云存储S3
27
增量表安全与合规
加密对存储的影响 · 访问控制与存储成本 · 合规保留策略
安全合规
28
自动化成本优化工具
Delta Lake 自动优化工具 · 成本优化脚本 · CI/CD 中的成本检查
自动化CI/CD
29
大规模集群成本管理
多租户环境下的存储隔离 · 资源池化与存储共享 · 成本分摊模型
多租户成本分摊
30
案例实战与总结
某电商平台 Delta Lake 成本优化案例 · 课程总结与最佳实践 · 未来趋势展望
实战总结