VIP20

本课程属于：024-流批一体架构 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

流批一体数据目录构建系统设计与落地

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

流批一体概述

数据架构演进、Lambda架构与Kappa架构对比、流批一体的核心价值。

架构流批融合

数据目录基础

什么是数据目录、数据目录的核心功能、数据目录在企业中的角色。

元数据管理

元数据分类（技术/业务/管理）、元数据采集策略、元数据存储选型。

元数据存储

流式数据采集

Kafka Connect原理、Debezium CDC实战、实时元数据变更捕获。

批量数据采集

Sqoop/DataX工具对比、全量同步与增量同步策略、调度与监控。

数据模型设计

关系模型与维度模型、流式数据建模要点、Schema演进策略。

数据血缘分析

血缘关系定义、字段级血缘解析、血缘可视化展示。

血缘可视化

数据质量监控

质量规则定义、实时质量检测、质量报告生成。

数据安全与权限

数据脱敏策略、行级/列级权限控制、审计日志。

数据标签体系

标签分类与层级、动态标签计算、标签应用场景。

搜索与发现

全文索引构建、高级搜索语法、推荐与联想。

数据资产盘点

资产分类与注册、资产评分模型、生命周期管理。

实时数据同步

Flink CDC实战、Exactly-Once语义保证、延迟优化。

批量数据同步

离线ETL流程、分区策略与优化、数据一致性校验。

数据目录API设计

RESTful API规范、GraphQL接口、SDK封装。

存储引擎选型

MySQL vs PostgreSQL vs HBase vs Elasticsearch。

索引优化策略

倒排索引、B+树索引、向量索引在目录中的应用。

多级缓存架构、缓存更新策略、热点数据治理。

数据目录联邦

跨集群元数据统一、联邦查询引擎、全局ID生成。

联邦跨集群

数据目录与数据湖

Hudi/Iceberg/Delta Lake集成、元数据同步。

数据湖集成

数据目录与数据仓库

Hive/Spark SQL集成、分区信息管理。

数据仓库Hive

数据目录与AI

特征存储集成、模型元数据管理、训练数据溯源。

数据目录治理

治理流程设计、自动化治理规则、治理效果评估。

治理自动化

数据目录监控

监控指标体系、告警规则、SLA保障。

数据目录测试

单元测试、集成测试、性能测试、混沌工程。

数据目录部署

容器化部署、Kubernetes编排、高可用架构。

数据目录运维

日志收集、问题排查、版本升级、数据备份恢复。

数据目录最佳实践

大厂案例解析、常见坑与避坑指南、性能调优。

数据目录未来趋势

Data Mesh、Active Metadata、AI驱动目录。

趋势Data Mesh

从0到1构建企业级流批一体数据目录系统。

实战企业级