VIP20

本课程属于：040-日志数据平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

基于日志数据的血缘分析实践

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据血缘概述

什么是数据血缘、为什么需要数据血缘、数据血缘的应用场景（数据溯源、影响分析、质量评估）。

溯源影响分析质量评估

日志数据基础

日志的分类（系统日志、应用日志、审计日志）、日志的格式（文本、JSON、结构化）、日志的采集方式（Agent、SDK、消息队列）。

系统日志JSONAgent

血缘分析核心概念

表级血缘、字段级血缘、ETL血缘、SQL血缘、任务调度血缘。

表级字段级ETL

日志解析技术

正则表达式解析、日志模板提取、基于规则的分词、日志结构化转换。

正则模板提取结构化

SQL解析入门

SQL语法树（AST）概念、词法分析与语法分析、常用SQL解析库（如sqlparse、ANTLR）。

AST词法分析sqlparse

SQL血缘提取实战

解析SELECT语句中的表与字段、解析JOIN与子查询、解析INSERT/CTAS语句、处理函数与别名。

ETL任务血缘

ETL任务日志解析、任务输入输出映射、多步骤任务的血缘串联、调度依赖关系提取。

ETL调度依赖串联

日志采集与预处理

Flume/Kafka日志采集实战、日志清洗与格式化、日志去重与排序、时间窗口对齐。

FlumeKafka清洗

血缘存储设计

图数据库选型（Neo4j、JanusGraph）、关系型存储方案、血缘元数据模型设计、节点与边的定义。

Neo4jJanusGraph元模型

血缘图构建

从日志到图节点的映射、边关系的建立（依赖、派生）、图数据的批量导入、增量更新策略。

图映射批量导入增量更新

血缘查询与分析

基于图数据库的上下游查询、影响分析查询、溯源分析查询、路径查找与最短路径。

上下游影响分析最短路径

血缘可视化

前端可视化技术选型（D3.js、G6、Vis.js）、血缘图渲染、交互式探索（缩放、拖拽、高亮）。

血缘质量监控

血缘完整性校验、血缘准确性验证、血缘覆盖率统计、异常血缘检测。

完整性准确性异常检测

血缘与数据治理

血缘在数据目录中的应用、血缘与数据标准映射、血缘与数据安全（敏感数据追踪）。

数据目录数据标准安全

实时血缘分析

实时日志流处理（Flink/Spark Streaming）、实时血缘更新、窗口与状态管理、延迟处理策略。

FlinkSpark Streaming实时

大规模血缘处理

分布式日志处理架构、血缘数据分片与分区、血缘查询性能优化、缓存策略。

分布式分片性能优化

血缘与元数据管理

元数据采集与同步、血缘与元数据关联、元数据版本管理、血缘历史回溯。

元数据版本管理历史回溯

跨系统血缘

跨数据仓库（Hive、ClickHouse）、跨数据湖（Delta Lake、Iceberg）、跨调度系统（Airflow、DolphinScheduler）。

HiveClickHouseAirflow

血缘在数据质量中的应用

数据质量规则与血缘关联、异常数据溯源、数据质量影响范围评估。

质量规则异常溯源影响范围

血缘在数据安全中的应用

敏感数据识别与标记、数据泄露路径追踪、权限控制与血缘结合。

敏感数据泄露追踪权限

血缘在数据合规中的应用

GDPR/CCPA合规要求、个人数据溯源、数据生命周期管理。

GDPRCCPA生命周期

血缘在AI/ML中的应用

特征血缘追踪、模型训练数据溯源、模型版本与数据血缘关联。

特征模型溯源版本关联

血缘工具与平台

开源工具（Atlas、DataHub、Amundsen）、商业工具（Collibra、Informatica）、自研平台架构。

AtlasDataHubCollibra

血缘平台架构设计

整体架构分层（采集层、解析层、存储层、服务层、应用层）、技术选型对比、高可用设计。

分层架构技术选型高可用

血缘API设计

RESTful API设计、GraphQL接口、批量查询接口、权限控制与认证。

RESTfulGraphQL认证

血缘自动化测试

血缘解析单元测试、集成测试、端到端测试、性能测试。

单元测试集成测试性能测试

血缘运维与监控

血缘系统监控指标、日志采集链路监控、血缘数据延迟监控、告警策略。

监控指标延迟监控告警

血缘最佳实践

企业级血缘落地步骤、常见坑与避坑指南、团队协作与流程规范。

落地步骤避坑流程规范

血缘案例分析

电商场景血缘分析、金融场景血缘分析、大数据平台血缘分析。

电商金融大数据平台

血缘未来趋势

AI驱动的血缘分析、主动元数据、数据网格与血缘、云原生血缘。

AI驱动主动元数据云原生