VIP12
本课程属于：040-金融湖仓与列式数据工程 智能金融与金融工程 · 共 12 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Spark与Iceberg金融批处理工程实战

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入
目标=金融批处理场景特点 · Spark与Iceberg技术栈定位 · 学习目标与整体课程框架
课程导入目标=金融批处理…
02
金融数据工程基础
目标=金融数据分类 · 批处理与流处理区别 · 数据仓库与数据湖概念
金融数据工程基础目标=金融数据分…
03
Spark核心概念
目标=RDD · DataFrame · Dataset
Spark核心概念
04
Spark批处理编程
目标=DataFrame API · Spark SQL · 读写Parquet/ORC/CSV
Spark批处理编程
05
Iceberg核心概念
目标=表格式 · 元数据层 · 快照
Iceberg核心概念
06
Iceberg表管理
目标=创建表 · 模式演进 · 分区演进
Iceberg表管理
07
Spark与Iceberg集成
目标=配置Spark Catalog · 读写Iceberg表 · DataFrame API与SQL支…
SparkIceberg
08
金融批处理数据摄取
目标=从关系数据库 · 文件系统 · 消息队列摄取数据到Iceberg
金融批处理数据摄…目标=从关系数据…
09
金融批处理数据转换
目标=数据清洗 · 标准化 · 去重
金融批处理数据转…目标=数据清洗
10
金融批处理数据输出
目标=写入Iceberg表 · 分区策略 · 合并与更新
金融批处理数据输…Iceberg
11
Iceberg高级特性
目标=快照过期 · 小文件合并 · 清单文件重写
Iceberg高级特性
12
金融批处理性能优化
目标=Spark资源调优 · 并行度 · 内存管理
金融批处理性能优…Spark
13
金融批处理数据质量
目标=数据校验 · 完整性约束 · 异常检测
金融批处理数据质…目标=数据校验
14
金融批处理调度与监控
目标=Airflow调度 · Spark作业监控 · Iceberg表监控
金融批处理调度监控
15
金融批处理安全与合规
目标=数据加密 · 访问控制 · 列级掩码
金融批处理安全合规
16
案例实战一
目标=客户交易数据批处理 · 清洗 · 聚合
案例实战一目标=客户交易数…
17
案例实战二
目标=每日持仓计算：多表关联 · 窗口函数 · 增量更新
案例实战二目标=每日持仓计…
18
案例实战三
目标=风险指标批处理：复杂聚合 · 时间序列计算 · 分区演进
案例实战三目标=风险指标批…
19
案例实战四
目标=监管报表生成：数据汇总 · 格式转换 · Iceberg时间旅行
案例实战四目标=监管报表生…
20
案例实战五
目标=历史数据回填：批量导入 · 分区覆盖 · 快照管理
案例实战五目标=历史数据回…
21
常见问题与解决方案
目标=Spark与Iceberg版本… · 元数据冲突 · 小文件问题
常见问题解决方案
22
Iceberg表维护实战
目标=定期快照过期 · 小文件合并 · 清单重写
Iceberg表维护实战
23
Spark与Iceberg在云上的部署
目标=AWS S3 · Glue Catalog · EMR
SparkIceberg
24
金融批处理数据建模
目标=维度建模 · 星型与雪花模型 · 缓慢变化维
金融批处理数据建…目标=维度建模
25
金融批处理数据治理
目标=元数据管理 · 数据目录 · 数据质量规则
金融批处理数据治…目标=元数据管理
26
综合提升一
目标=端到端金融批处理管道设计 · 架构设计 · 技术选型
综合提升一目标=端到端金融…
27
综合提升二
目标=性能基准测试与调优 · Spark与Iceberg参数调优 · 成本优化
综合提升二目标=性能基准测…
28
综合提升三
目标=容错与高可用：检查点 · 重试机制 · 幂等写入
综合提升三目标=容错
29
综合提升四
目标=未来趋势 · Delta Lake与Hudi对比 · Iceberg生态发展
综合提升四目标=未来趋势
30
课程总结与项目答辩
目标=知识回顾 · 项目展示 · 最佳实践总结
课程总结项目答辩