VIP20

本课程属于：024-流批一体架构 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

数据目录统一管理流批资产

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据目录概述

什么是数据目录、数据目录的核心价值、流批资产管理的挑战。

元数据采集原理

元数据分类（技术元数据、业务元数据、操作元数据）、采集策略与工具选型。

采集元数据

流式数据资产建模

Kafka Topic 元数据模型、Schema Registry 集成、流式血缘追踪。

批式数据资产建模

Hive/Spark 表元数据模型、分区与存储格式管理、批处理任务血缘。

统一资产标识符设计

URN 设计原则、跨系统资产映射、版本管理策略。

数据目录分层架构

采集层、存储层、索引层、服务层、应用层设计详解。

实时采集管道搭建

基于 Debezium + Kafka Connect 的元数据实时同步。

批量采集任务调度

使用 Airflow 调度元数据全量/增量采集。

元数据存储选型

Neo4j 图数据库 vs Elasticsearch 搜索引擎 vs PostgreSQL。

数据目录 API 设计

RESTful API 规范、GraphQL 查询接口、批量导入导出。

流批资产搜索与发现

全文检索、标签过滤、高级查询语法。

数据血缘可视化

基于 D3.js 的血缘图渲染、上下游链路追踪。

血缘可视化

资产质量评估

数据完整性、时效性、一致性评分模型。

数据目录权限管理

RBAC 模型、资产级别权限控制、审计日志。

数据目录与数据湖集成

对接 Apache Iceberg / Delta Lake / Hudi。

数据湖集成

数据目录与数据仓库集成

对接 Snowflake / Redshift / ClickHouse。

流批资产生命周期管理

创建、发布、废弃、归档全流程。

生命周期管理

数据目录变更通知机制

Webhook、消息队列（Kafka/RabbitMQ）集成。

数据目录自动化打标

基于规则引擎与机器学习自动生成业务标签。

自动化打标

数据目录与数据治理平台集成

对接 Apache Atlas / DataHub / Amundsen。

流批资产成本分析

存储成本、计算成本、查询成本可视化。

数据目录 SLA 管理

定义、监控、告警与报表。

数据目录多租户设计

租户隔离、资源配额、自定义元数据扩展。

多租户设计

数据目录数据质量监控

异常检测、数据漂移、Schema 变更感知。

质量监控异常

数据目录与数据开发 IDE 集成

对接 Jupyter Notebook / Zeppelin。

数据目录与数据管道编排集成

对接 Airflow / Dagster / Prefect。

数据目录灾备与高可用

多活架构、数据备份、故障恢复演练。

灾备高可用

数据目录性能优化

缓存策略、查询优化、索引调优实战。

数据目录开放生态

插件机制、自定义采集器、第三方系统对接。

数据目录落地实战

从 0 到 1 搭建企业级数据目录平台案例。