VIP12
本课程属于：040-金融湖仓与列式数据工程 智能金融与金融工程 · 共 12 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Iceberg Schema与Partition演进实战

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入
目标=Iceberg Schema与… · 核心价值 · 整体课程框架与实战路线图
课程导入Iceberg
02
数据湖与Iceberg基础
目标=数据湖演进历程 · Iceberg核心特性 · 表格式对比
Iceberg数据湖
03
Iceberg Schema基础
目标=Schema定义 · 字段类型 · 嵌套结构
IcebergSchema
04
Schema演进核心操作
目标=新增列 · 删除列 · 重命名列
Schema演进核心操作
05
Schema演进兼容性
目标=向后兼容 · 向前兼容 · 完全兼容的判断标准
Schema演进兼容性
06
Schema演进实战
目标=使用Spark SQL · Flink SQL · Java API进行Schema变更…
Schema演进实战
07
Schema演进常见问题
目标=类型提升限制 · 嵌套字段变更 · 默认值处理
Schema演进常见问题
08
Partition基础
目标=分区概念 · 分区裁剪 · 分区演进需求
Partition目标=分区概念
09
Iceberg分区策略
目标=隐藏分区 · 分区转换函数 · 多级分区
Iceberg分区策略
10
Partition演进核心操作
目标=新增分区字段 · 删除分区字段 · 修改分区转换
Partition演进核心操作
11
Partition演进兼容性
目标=分区演进对查询 · 写入 · 元数据
Partition演进兼容性
12
Partition演进实战
目标=使用Spark · Flink进行分区变更的完整案例 · 包括数据重写与查询验证
Partition演进实战
13
Partition演进常见问题
目标=分区字段类型变更 · 分区转换冲突 · 历史分区数据读取
Partition演进常见问题
14
Schema与Partition协同演进
目标=联合变更场景 · 顺序依赖 · 元数据一致性
SchemaPartition
15
元数据管理与版本控制
目标=快照 · 清单列表 · 清单文件
元数据管理版本控制
16
Schema演进与查询引擎
目标=Spark · Flink · Trino
Schema演进
17
Partition演进与查询引擎
目标=各引擎对分区演进的支持程度 · 分区裁剪优化 · 执行计划变化
Partition演进
18
Schema演进与数据写入
目标=写入模式 · 类型转换 · 默认值填充
Schema演进
19
Partition演进与数据写入
目标=动态分区写入 · 分区重分布 · 小文件问题
Partition演进
20
Schema演进与数据读取
目标=读取历史快照 · Schema投影 · 列裁剪
Schema演进
21
Partition演进与数据读取
目标=分区裁剪失效 · 全表扫描 · 历史分区读取
Partition演进
22
生产环境Schema演进案例
目标=电商订单表新增字段 · 用户表类型变更 · 嵌套结构演进的完整实战
Schema生产环境
23
生产环境Partition演进案例
目标=日志表分区调整 · 时间分区转换 · 多级分区优化
Partition生产环境
24
Schema与Partition演进自动化
目标=CI/CD集成 · 元数据迁移工具 · 版本回滚
SchemaPartition
25
性能优化与调优
目标=Schema演进后的查询优化 · 分区演进后的文件布局优化 · 元数据性能调优
性能优化调优
26
数据质量与一致性
目标=演进过程中的数据校验 · 一致性保证 · 事务隔离
数据质量一致性
27
安全与权限管理
目标=Schema演进与Partit… · 列级安全 · 行级过滤与审计
安全权限管理
28
综合实战项目一
目标=从零构建支持Schema与Pa… · 包含完整流程与验证
综合实战项目一Schema
29
综合实战项目二
目标=对已有Iceberg表进行复杂… · 解决兼容性与性能问题
综合实战项目二Iceberg
30
课程总结与进阶
目标=核心知识点回顾 · 最佳实践清单 · 常见陷阱
课程总结进阶