VIP20

本课程属于：026-数据湖治理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

数据目录驱动的数据湖自助查询

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据湖概述

什么是数据湖，数据湖与数据仓库的区别，核心价值与挑战。

基础湖仓一体

数据目录入门

数据目录的定义，为什么需要数据目录，核心功能：发现、理解、信任。

元数据发现

Apache Atlas 深度解析

Atlas架构、核心组件、元数据模型、与Hadoop生态集成。

Atlas 安装与配置

环境准备、源码编译/二进制安装、配置Hive Hook、启动服务。

Atlas 数据模型实战

定义实体、类型、关系，使用REST API创建元数据模型。

Atlas 与 Hive 集成

自动采集Hive元数据、表血缘分析、分区管理。

Atlas 与 Spark 集成

Spark作业元数据捕获、Spark SQL血缘追踪。

Atlas 与 Kafka 集成

Kafka Topic元数据管理、消息Schema发现。

Atlas 搜索与发现

基本搜索、DSL高级搜索、分类与标签。

Atlas 权限与安全

基于Ranger的鉴权、Atlas认证配置、数据脱敏策略。

数据目录驱动查询

用户如何通过目录找到数据，查询请求的元数据路由。

Presto/Trino 查询引擎

Presto架构、连接器原理、联邦查询。

Presto 与 Hive 集成

通过Presto查询Hive表、性能调优。

Presto 与 Kafka 集成

实时流数据查询、Kafka Connector配置。

Presto 与关系型数据库集成

MySQL/PostgreSQL Connector、跨源Join。

自助查询平台设计

平台架构、用户界面设计、查询编辑器实现。

查询语法解析与校验

ANTLR语法解析、SQL校验、错误提示。

查询历史与审计

记录用户查询、慢查询分析、审计日志。

审计慢查询

数据血缘可视化

从Atlas获取血缘、DAG图渲染、影响分析。

数据质量与目录联动

数据质量规则、质量评分、在目录中展示质量标签。

基于目录的数据权限控制

列级权限、行级权限、动态数据脱敏。

数据目录API开发

Atlas REST API封装、自定义搜索接口、元数据变更通知。

数据目录与数据湖存储层

HDFS/S3元数据同步、文件格式感知(Parquet/ORC/AVRO)。

数据目录与数据湖计算层

YARN/Spark资源元数据、作业与数据关联。

数据目录与数据湖治理

数据生命周期管理、冷热数据分层、归档策略。

治理生命周期

自助查询性能优化

查询缓存、物化视图、数据预聚合。

性能物化视图

自助查询安全最佳实践

SQL注入防护、查询超时控制、资源隔离。

安全最佳实践

案例实战：电商数据湖自助查询平台

需求分析、架构设计、实现步骤。

案例实战：金融数据湖自助查询平台

合规要求、审计追踪、敏感数据保护。

数据网格(Data Mesh)、数据目录与AI/ML、Data Fabric架构。

趋势Data Mesh