VIP12
本课程属于：040-金融湖仓与列式数据工程 智能金融与金融工程 · 共 12 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

金融湖仓小文件治理与Compaction实战

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入
目标=金融湖仓小文件问题的背景 · 学习目标 · 核心概念与整体课程框架
课程导入目标=金融湖仓小…
02
湖仓架构基础
目标=数据湖 · 数据仓库 · 湖仓一体
湖仓架构基础目标=数据湖
03
小文件问题剖析
目标=小文件的定义 · 产生原因 · 对金融业务查询性能
小文件问题剖析目标=小文件的定…
04
金融数据特征
目标=金融交易 · 风控 · 报表
金融数据特征目标=金融交易
05
Compaction 核心原理
目标=文件合并 · 数据重写 · 元数据优化
Compaction核心原理
06
小文件治理方法论
目标=监控 · 评估 · 分类
小文件治理方法论目标=监控
07
文件格式与存储优化
目标=Parquet · ORC · Avro 特性对比
文件格式存储优化
08
分区与分桶策略
目标=时间分区 · 业务分区 · 哈希分桶
分区分桶策略
09
Delta Lake Compaction 实战
目标=OPTIMIZE · Z-ORDER BY · Auto Compaction
DeltaLake
10
Apache Iceberg Compaction 实战
目标=Rewrite Data Fi… · Rewrite Manifests · Bin Pack
ApacheIceberg
11
Apache Hudi Compaction 实战
目标=MOR 表 · COW 表 · Compaction 调度
ApacheHudi
12
Spark 作业调优
目标=并行度 · 内存管理 · Shuffle 优化
Spark作业调优
13
Flink 实时写入与小文件控制
目标=Checkpoint 调优 · 文件滚动策略 · 实时 Compaction 与流批一…
Flink实时写入
14
元数据治理
目标=Hive Metastore · Catalog 服务 · 元数据膨胀
元数据治理Hive
15
监控与告警体系
目标=小文件数量 · 平均文件大小 · 元数据规模
监控告警体系
16
自动化治理平台
目标=调度系统 · 治理策略配置 · 任务编排
自动化治理平台目标=调度系统
17
金融场景案例一
目标=交易流水湖仓小文件治理与 Co…
金融场景案例一Co
18
金融场景案例二
目标=风控特征平台小文件合并与查询加…
金融场景案例二目标=风控特征平…
19
金融场景案例三
目标=报表与 BI 场景下的分区优化…
金融场景案例三BI
20
金融场景案例四
目标=实时数仓流式写入小文件治理与近…
金融场景案例四目标=实时数仓流…
21
成本与性能权衡
目标=存储成本 · 计算成本 · 查询性能
成本性能权衡
22
数据一致性与事务
目标=ACID · 快照隔离 · 并发写入
数据一致性事务
23
常见问题排查
目标=Compaction 失败 · 任务倾斜 · 元数据锁
常见问题排查Compaction
24
安全与合规
目标=金融数据分级 · 脱敏 · 审计
安全合规
25
工具与生态
目标=Spark · Flink · Trino
工具生态
26
治理效果评估
目标=小文件收敛率 · 查询提速比 · 存储节省率
治理效果评估目标=小文件收敛…
27
最佳实践总结
目标=金融湖仓小文件治理的规范 · 流程 · 检查清单与团队协作模式
最佳实践总结目标=金融湖仓小…
28
综合实战项目
目标=从问题发现 · 方案设计 · Compaction 实施到效果验证…
综合实战项目目标=从问题发现
29
前沿趋势
目标=Lakehouse 新特性 · 自动优化 · 智能治理
前沿趋势Lakehouse
30
课程总结与进阶
目标=知识体系回顾 · 能力自评 · 进阶学习路径与金融湖仓治理职业发展建…
课程总结进阶