VIP20

本课程属于：023-数据血缘与目录 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

数据流批一体场景下的血缘追踪方案

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

流批一体概述

流批一体的概念、为什么需要流批一体、流批一体的核心挑战。

数据血缘基础

什么是数据血缘、血缘的元数据模型、血缘在数据治理中的价值。

元数据治理

流式数据血缘特点

流式数据的动态性、时间窗口与血缘、流式血缘的存储挑战。

批式数据血缘特点

批式数据的确定性、分区与血缘、批式血缘的追溯方式。

流批一体血缘模型设计

统一血缘元数据模型、流批标签设计、时间维度建模。

Apache Atlas 深度实践

Atlas 架构解析、Hook 机制、流批一体集成方案。

DataHub 在流批场景的应用

DataHub 架构、MLDB 集成、实时血缘摄取。

自研血缘系统架构

轻量级血缘方案、基于消息队列的血缘采集、存储选型。

Flink 算子级血缘采集

Transformation 链解析、Operator 元数据提取、自定义 Sink 采集。

Spark 血缘采集

Spark SQL 执行计划解析、Dataset/DataFrame 血缘、RDD 依赖链。

Spark执行计划

Kafka 消息血缘追踪

消息生产消费链路、Offset 与血缘关联、Schema Registry 集成。

数据湖（Iceberg/Delta）血缘

表版本与血缘、Snapshot 追溯、Time Travel 血缘。

实时数仓血缘

DWD/DWS/ADS 层血缘、实时维度建模血缘、OLAP 查询血缘。

批处理 ETL 血缘

Hive SQL 解析、Spark ETL 血缘、调度系统（Airflow）集成。

跨引擎血缘打通

Flink 到 Hive 的血缘、Spark 到 Kafka 的血缘、统一图构建。

血缘存储选型

Neo4j 图数据库、JanusGraph、Elasticsearch、关系型数据库对比。

血缘查询与可视化

图查询语言（Cypher/Gremlin）、血缘链路追踪、影响分析。

查询可视化

血缘质量监控

血缘完整性校验、血缘延迟监控、血缘冲突检测。

血缘与数据安全

敏感数据血缘标记、访问控制策略、审计日志关联。

血缘与数据治理

数据目录集成、数据质量关联、SLA 监控。

大规模血缘性能优化

批量写入、索引优化、缓存策略、采样采集。

血缘回溯与修复

历史血缘重建、断链修复、手动补录机制。

多租户血缘隔离

租户标签设计、权限隔离、存储隔离。

多租户隔离

血缘与 AI/ML 场景

特征血缘追踪、模型训练数据溯源、Feature Store 集成。

实时血缘告警

基于血缘的异常检测、数据延迟告警、链路断裂告警。

血缘成本分析

数据链路成本计算、冗余数据识别、冷热数据血缘。

云原生环境下的血缘

Kubernetes 部署、Serverless 血缘、多云血缘统一。

血缘标准与规范

OpenLineage 标准、W3C PROV、企业级血缘规范制定。

流批一体血缘案例

金融实时风控血缘、电商实时推荐血缘、物联网数据血缘。

未来趋势与展望

AI 驱动的血缘、主动元数据、Data Mesh 中的血缘。

趋势Data Mesh