VIP20

本课程属于：024-流批一体架构 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

流批一体用血缘分析打通流批数据链路

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据血缘概述

什么是数据血缘、为什么需要血缘分析、血缘分析在流批一体中的价值。

流批一体架构基础

Lambda架构、Kappa架构、流批一体核心挑战。

数据血缘核心概念

血缘节点、血缘边、血缘关系类型（数据依赖、转换依赖）。

血缘元数据模型

元数据存储选型、血缘关系建模、图数据库选型（Neo4j vs JanusGraph）。

元数据图库

流式数据血缘采集

Flink SQL血缘解析、DataStream API血缘追踪、Checkpoint与血缘关联。

批式数据血缘采集

Spark SQL血缘解析、Hive血缘解析、离线任务依赖关系。

血缘存储与索引

图数据库Schema设计、血缘关系索引策略、时间旅行与版本管理。

血缘查询与可视化

图遍历查询、血缘链路追踪、血缘影响分析、可视化方案（D3.js/G6）。

查询可视化

流批血缘对齐

流表与批表映射、时间窗口对齐、数据一致性校验。

对齐一致性

血缘在数据治理中的应用

数据质量追踪、数据安全审计、合规性检查。

血缘在故障排查中的应用

数据链路断点定位、数据延迟根因分析、数据回滚影响评估。

血缘在数据开发中的应用

代码生成、数据血缘驱动的ETL优化、数据资产盘点。

实时血缘采集架构

Kafka Connect + Debezium + 血缘解析引擎。

离线血缘采集架构

Airflow DAG解析 + Spark/Hive Hook + 血缘聚合。

血缘数据清洗与标准化

字段级血缘归一化、表名映射、数据脱敏与血缘。

清洗标准化

血缘关系推理

隐式血缘推导、函数依赖推断、数据质量规则与血缘关联。

血缘性能优化

图查询优化、血缘数据分片、缓存策略、异步写入。

血缘与数据目录集成

Apache Atlas、DataHub、Amundsen集成实践。

流批一体数据湖血缘

Delta Lake、Apache Iceberg、Apache Hudi血缘支持。

数据湖Iceberg

血缘在机器学习中的应用

特征血缘追踪、模型训练数据溯源、特征漂移检测。

血缘安全与权限

血缘数据访问控制、敏感数据血缘标记、审计日志。

血缘测试与质量保障

血缘数据准确性验证、血缘覆盖率测试、端到端血缘测试。

血缘监控与告警

血缘链路健康检查、血缘延迟监控、血缘断裂告警。

血缘在数据中台中的应用

数据资产地图、数据服务目录、数据生命周期管理。

血缘在实时数仓中的应用

实时维度建模、实时指标血缘、实时数据质量。

实时数仓指标

血缘在离线数仓中的应用

分层血缘管理、ETL血缘追溯、数据仓库血缘治理。

离线数仓分层

血缘在数据迁移中的应用

数据迁移影响分析、迁移前后血缘对比、迁移回滚方案。

血缘在数据合规中的应用

GDPR数据血缘、数据删除影响分析、数据保留策略。

血缘平台架构设计

微服务架构、事件驱动架构、血缘数据湖架构。

架构微服务

血缘项目实战

从零搭建流批一体血缘平台、项目复盘与最佳实践。