VIP20
本课程属于：047-湖仓元数据治理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

湖仓元数据查询性能与资源优化

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
第1章
元数据基础
湖仓元数据定义、元数据分类（技术元数据、业务元数据、操作元数据）、元数据在湖仓中的核心作用。
定义分类核心作用
第2章
元数据存储架构
Hive Metastore 架构详解、AWS Glue Catalog 架构、Apache Polaris 架构、元数据存储选型对比。
HiveGluePolaris选型
第3章
元数据操作性能瓶颈
分区裁剪失效、小文件过多导致元数据膨胀、高并发写入时的锁竞争、元数据服务GC调优。
分区裁剪小文件锁竞争GC调优
第4章
分区策略优化
分区键选择原则、动态分区与静态分区、分区数量控制（避免过度分区）、分区剪枝原理与验证。
分区键动态分区剪枝
第5章
文件布局优化
文件大小控制（目标256MB-1GB）、文件格式选择（Parquet/ORC/Avro）、文件压缩策略（Snappy/Zstd）、小文件合并策略。
文件大小Parquet压缩小文件合并
第6章
元数据缓存机制
Hive Metastore 缓存配置、Alluxio 元数据缓存、本地缓存 vs 分布式缓存、缓存失效策略。
缓存配置Alluxio失效策略
第7章
元数据服务高可用
Metastore HA 架构、读写分离设计、负载均衡策略、故障转移与容灾。
HA读写分离负载均衡容灾
第8章
元数据查询优化
元数据查询慢的原因分析、索引优化（分区索引、位图索引）、统计信息收集与更新、查询计划优化。
慢查询索引统计信息查询计划
第9章
并发控制与锁优化
乐观锁 vs 悲观锁、锁粒度控制（表级锁 vs 分区级锁）、死锁检测与处理、事务隔离级别选择。
乐观锁锁粒度死锁隔离级别
第10章
元数据版本管理
Schema Evolution 原理、版本兼容性检查、回滚策略、多版本并发控制（MVCC）。
Schema Evolution兼容性回滚MVCC
第11章
元数据血缘分析
数据血缘定义与价值、血缘采集方式（解析SQL、日志分析）、血缘存储与查询优化、血缘可视化。
血缘SQL解析可视化
第12章
元数据质量监控
元数据完整性检查、一致性校验、过期元数据清理、元数据质量评分体系。
完整性一致性清理质量评分
第13章
元数据安全与权限
基于RBAC的元数据权限控制、数据脱敏策略、审计日志、加密存储。
RBAC脱敏审计加密
第14章
元数据服务监控与告警
关键指标（QPS、延迟、错误率）、监控工具集成（Prometheus/Grafana）、告警规则设置。
QPSPrometheusGrafana告警
第15章
元数据迁移与升级
跨版本迁移策略、数据一致性保证、回滚方案、灰度发布。
迁移一致性回滚灰度
第16章
云原生元数据服务
AWS Glue Catalog 最佳实践、Azure Purview 集成、GCP Data Catalog 使用、多云元数据统一管理。
AWS GlueAzure PurviewGCP多云
第17章
开源元数据平台
Apache Atlas 架构与优化、DataHub 部署与调优、Amundsen 实践、Marquez 血缘管理。
AtlasDataHubAmundsenMarquez
第18章
实时元数据同步
CDC技术（Debezium）、消息队列（Kafka）集成、实时索引更新、延迟优化。
CDCDebeziumKafka实时索引
第19章
元数据湖架构
元数据分层设计（原始层、聚合层、应用层）、元数据湖与数据湖协同、元数据湖性能优化。
分层协同性能优化
第20章
大规模元数据管理
百亿级元数据存储方案、元数据分片策略、冷热数据分离、归档策略。
百亿级分片冷热分离归档
第21章
元数据服务性能测试
基准测试方法、压力测试工具（JMeter/Locust）、性能瓶颈定位、优化效果评估。
基准测试JMeterLocust瓶颈定位
第22章
元数据API优化
RESTful API 设计原则、批量操作接口、异步处理、API 缓存策略。
RESTful批量异步缓存
第23章
元数据事件驱动架构
事件类型定义（创建、更新、删除）、事件总线设计、事件处理流水线、事件回溯。
事件驱动事件总线流水线回溯
第24章
元数据与AI/ML集成
特征存储元数据管理、模型元数据追踪、实验元数据记录、自动化元数据标注。
特征存储模型追踪实验记录自动标注
第25章
元数据成本优化
存储成本控制、计算资源优化、冷热数据分层、按需加载策略。
存储成本计算优化冷热分层按需加载
第26章
元数据治理最佳实践
元数据标准制定、命名规范、标签体系、生命周期管理。
标准命名规范标签生命周期
第27章
元数据服务故障排查
常见故障类型（服务不可用、查询超时、数据不一致）、排查工具与方法、应急处理流程。
故障类型排查工具应急处理
第28章
元数据性能调优案例
电商大促场景优化、金融实时风控场景、IoT海量设备场景、数据湖仓一体场景。
电商金融风控IoT湖仓一体
第29章
元数据未来趋势
元数据网格（Data Mesh）、主动元数据（Active Metadata）、AI驱动元数据管理、元数据即服务。
Data MeshActive MetadataAI驱动MaaS
第30章
综合实战：构建高性能元数据服务
需求分析、架构设计、技术选型、实施步骤、性能验证、运维保障。
需求分析架构设计技术选型实施运维