VIP16
本课程属于：041-金融数据质量、血缘与调度治理 智能金融与金融工程 · 共 16 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

OpenLineage金融数据血缘采集实战

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入
目标=数据血缘在金融行业的重要性 · OpenLineage 的定位 · 课程学习目标与整体知识框架
课程导入目标=数据血缘
02
数据血缘基础
目标=数据血缘的定义 · 类型 · 粒度
数据血缘基础目标=数据血缘的…
03
OpenLineage 核心概念
目标=命名空间 · 数据集 · 作业
OpenLineage核心概念
04
OpenLineage 架构与生态
目标=OpenLineage 与 M… · Airflow · Spark
OpenLineage架构
05
金融数据血缘采集需求分析
目标=监管合规 · 数据治理 · 影响分析
金融数据血缘采集…目标=监管合规
06
环境准备与快速入门
目标=安装 OpenLineage · 启动 Marquez · 运行第一个血缘采集示例
环境准备快速入门
07
OpenLineage 事件模型详解
目标=RunEvent · JobEvent · DatasetEvent 的结构
OpenLineage事件模型详解
08
OpenLineage 命名空间与数据集命名规范
目标=金融数据源 · 表 · 文件
OpenLineage命名空间
09
OpenLineage 与 Apache Airflow 集成
目标=在金融调度任务中自动采集血缘的…
OpenLineageApache
10
OpenLineage 与 Apache Spark 集成
目标=批处理金融数据作业的血缘采集 · 配置与验证
OpenLineageApache
11
OpenLineage 与 Apache Flink 集成
目标=实时金融数据流处理场景下的血缘…
OpenLineageApache
12
OpenLineage 与 dbt 集成
目标=金融数仓转换逻辑的血缘采集 · 模型依赖与列级血缘探索
OpenLineagedbt
13
自定义血缘采集器开发
目标=使用 OpenLineage…
自定义血缘采集器…OpenLineage
14
列级血缘采集
目标=金融数据字段映射 · SQL 解析 · 列级依赖提取与 OpenLineag…
列级血缘采集目标=金融数据字…
15
金融数据血缘采集实战
目标=从业务库到数据仓库的端到端血缘…
金融数据血缘采集…目标=从业务库到…
16
实时金融数据血缘采集实战
目标=Kafka · Flink · 数据湖场景下的血缘追踪与展示
实时金融数据血缘…Kafka
17
数据质量与血缘结合
目标=利用 OpenLineage…
数据质量血缘结合
18
血缘数据存储与查询
目标=Marquez 后端存储 · API 查询 · 血缘图遍历与金融元数据检索
血缘数据存储查询
19
血缘可视化与影响分析
目标=基于 OpenLineage…
血缘可视化影响分析
20
金融合规与审计场景
目标=利用数据血缘满足监管报送 · 数据溯源与审计取证要求
金融合规审计场景
21
OpenLineage 在数据治理平台中的集成
目标=与数据目录 · 元数据管理 · 权限系统的对接
OpenLineage数据治理平台
22
性能优化与大规模采集
目标=金融海量作业场景下的事件采集 · 传输 · 存储优化策略
性能优化大规模采集
23
常见问题与排错
目标=事件丢失 · 命名冲突 · 集成失败
常见问题排错
24
安全与权限
目标=金融数据血缘采集中的敏感信息脱… · 访问控制与传输安全
安全权限
25
生产部署与运维
目标=OpenLineage 采集服… · 监控 · 告警与升级实践
生产部署运维
26
综合案例一
目标=银行信贷数据平台血缘采集全流程…
综合案例一目标=银行信贷数…
27
综合案例二
目标=证券实时行情数据血缘采集与影响…
综合案例二目标=证券实时行…
28
综合案例三
目标=保险数据中台 OpenLine…
综合案例三OpenLine
29
课程总结与进阶路线
目标=核心知识点回顾 · 能力自评 · 后续学习与社区资源
课程总结进阶路线
30
课程项目实战
目标=设计并实现一个金融数据血缘采集… · 完成采集 · 存储
课程项目实战目标=设计并实现…