VIP20

本课程属于：026-数据湖治理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

数据湖构建企业级数据目录与检索系统

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据目录概述

什么是数据目录、数据目录的价值、数据目录 vs 数据字典 vs 数据湖。

元数据管理基础

元数据的定义、技术元数据、业务元数据、操作元数据。

元数据基础

数据目录核心架构

采集层、存储层、索引层、服务层、展示层。

数据源接入策略

关系型数据库、NoSQL数据库、消息队列、文件系统接入。

数据源集成

元数据爬取与解析

JDBC爬取、日志解析、API采集、增量同步机制。

数据血缘分析

血缘概念、字段级血缘、表级血缘、ETL血缘解析。

数据质量评估

完整性、准确性、一致性、及时性、唯一性规则。

数据分类与标签

自动标签、手动标签、分层分类、敏感数据识别。

全文检索引擎选型

Elasticsearch vs Solr vs MeiliSearch 对比。

搜索引擎选型

索引构建策略

全量索引、增量索引、索引分片、索引生命周期管理。

搜索语法设计

精确查询、模糊查询、布尔查询、聚合查询、高亮显示。

搜索排序与相关性

TF-IDF、BM25、自定义评分、业务权重调优。

数据目录API设计

RESTful API、GraphQL接口、SDK封装。

权限与安全模型

RBAC、ABAC、数据脱敏、审计日志。

数据目录前端架构

React/Vue选型、组件化设计、搜索框交互。

搜索结果展示

列表视图、卡片视图、详情面板、预览功能。

数据预览与采样

数据抽样策略、快速预览、Schema展示。

数据目录与数据治理集成

与Atlas、DataHub、Amundsen对接。

数据目录的缓存策略

本地缓存、分布式缓存、缓存失效策略。

高可用与容灾

多活架构、主从切换、数据备份恢复。

高可用容灾

查询优化、索引优化、分页优化、连接池调优。

数据目录监控与告警

指标采集、日志聚合、告警规则、可视化看板。

数据目录的CI/CD

自动化测试、持续部署、版本管理、灰度发布。

数据目录的国际化

多语言支持、时区处理、字符编码。

数据目录的插件机制

插件架构、热加载、扩展点设计。

数据目录的搜索推荐

搜索联想、热门搜索、个性化推荐。

数据目录的审计与合规

GDPR合规、数据溯源、变更追踪。

数据目录的微服务化

服务拆分、服务发现、API网关、熔断降级。

微服务架构

数据目录的容器化部署

Docker镜像、Kubernetes编排、Helm Chart。

数据目录实战案例

从0到1搭建企业级数据目录系统全流程。