VIP20
本课程属于：012-数据可观测性 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

运行元数据采集与解析系统设计与落地

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
第1章
元数据基础
什么是元数据、元数据的类型（技术元数据、业务元数据、管理元数据）、元数据的价值与应用场景。
概念分类
第2章
元数据采集概述
采集目标与范围、采集策略（全量/增量）、采集频率与调度。
策略调度
第3章
关系型数据库元数据采集（上）
MySQL 元数据采集实战（information_schema 详解）。
MySQLinformation_schema
第4章
关系型数据库元数据采集（下）
PostgreSQL 与 Oracle 元数据采集要点。
PostgreSQLOracle
第5章
大数据组件元数据采集（上）
Hive 元数据采集（连接 Metastore 与解析表结构）。
HiveMetastore
第6章
大数据组件元数据采集（下）
HBase、Kafka 主题与 Schema 注册表采集。
HBaseKafkaSchema Registry
第7章
ETL 任务元数据采集
Airflow DAG 解析、DataX/Sqoop 任务配置采集。
AirflowDataXSqoop
第8章
数据湖与数据仓库元数据采集
Delta Lake、Iceberg、Hudi 表元数据采集。
Delta LakeIcebergHudi
第9章
文件系统元数据采集
HDFS、S3、本地文件系统的目录与文件属性采集。
HDFSS3文件系统
第10章
API 与接口元数据采集
RESTful API 文档解析、GraphQL Schema 采集。
RESTfulGraphQL
第11章
元数据解析基础
解析引擎设计思路、解析规则定义与配置化。
解析引擎规则配置
第12章
元数据模型设计
核心实体（表、字段、分区、任务）与关系建模。
实体建模关系
第13章
元数据血缘解析（上）
SQL 解析基础与 AST 抽象语法树。
SQL解析AST
第14章
元数据血缘解析（下）
字段级血缘追踪实战（基于 SQLGlot 或 Calcite）。
字段级血缘SQLGlotCalcite
第15章
元数据质量校验
完整性、准确性、一致性检查规则设计。
质量校验规则
第16章
元数据版本管理
变更捕获（CDC）、版本对比与回滚机制。
CDC版本管理
第17章
元数据存储选型
关系型数据库 vs 图数据库（Neo4j） vs 搜索引擎（Elasticsearch）。
存储Neo4jElasticsearch
第18章
元数据服务 API 设计
RESTful API 规范、查询接口与批量导入接口。
API设计RESTful
第19章
元数据采集框架搭建
基于 Python 的插件化采集框架设计。
Python插件化
第20章
元数据采集调度与监控
使用 Airflow 调度采集任务、失败重试与告警。
Airflow调度监控
第21章
元数据目录与搜索
构建可搜索的元数据目录（类似 DataHub 或 Atlas）。
目录搜索DataHub
第22章
元数据可视化
使用 ECharts 或 D3.js 展示血缘关系图与数据地图。
可视化EChartsD3.js
第23章
元数据安全与权限
字段级脱敏、访问控制列表（ACL）设计。
安全脱敏ACL
第24章
元数据与数据治理
数据标准映射、数据质量规则关联。
数据治理标准映射
第25章
元数据与 AI/ML
特征存储元数据、模型训练元数据采集。
AI/ML特征存储
第26章
实时元数据采集
基于 Debezium 的 CDC 实时采集与 Kafka 流处理。
实时DebeziumCDC
第27章
元数据采集性能优化
批量采集、并行处理、增量同步策略。
性能优化增量同步
第28章
开源元数据平台对比
Apache Atlas、DataHub、Amundsen 架构与选型。
AtlasDataHubAmundsen
第29章
元数据采集与解析项目实战（上）
需求分析、架构设计、技术选型。
项目实战架构
第30章
元数据采集与解析项目实战（下）
编码实现、测试部署与运维总结。
编码部署运维