VIP20

本课程属于：019-Lakehouse架构 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

生产环境Lakehouse运维

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Lakehouse架构总览

什么是Lakehouse，与数据仓库/数据湖的区别，核心组件：存储层、计算层、元数据层、管理层。

架构核心概念

环境初始化与部署

硬件选型建议、操作系统调优、Docker/K8s集群搭建、Spark与Trino部署。

存储层运维（上）

HDFS/Hadoop核心配置、NameNode高可用、DataNode扩缩容、数据均衡策略。

存储层运维（下）

对象存储（S3/MinIO）对接、数据分层（热/温/冷）、存储成本优化、生命周期管理。

对象存储成本

元数据服务运维

Hive Metastore高可用、Apache Iceberg/REST Catalog配置、元数据备份与恢复。

元数据Iceberg

计算引擎运维（Spark）

Spark on K8s配置、动态资源分配、Shuffle调优、Spark History Server。

计算引擎运维（Trino）

Trino集群部署、Worker节点管理、内存池调优、连接池与查询队列。

数据摄入与集成

批量摄入（Sqoop/Spark）、实时摄入（Kafka Connect/Flink）、Schema演进处理。

数据质量监控

数据完整性校验、异常检测规则、质量看板搭建、告警通知配置。

任务调度系统

Apache Airflow部署、DAG编写规范、Executor选择、任务依赖与重试策略。

权限与安全

Ranger/Atlas集成、RBAC与ABAC模型、数据脱敏策略、审计日志。

集群监控体系

Prometheus + Grafana搭建、关键指标采集（CPU/内存/IO/GC）、自定义Dashboard。

ELK/EFK栈搭建、日志采集与结构化、日志级别动态调整、故障排查日志分析。

备份与容灾

全量/增量备份策略、跨区域复制、快照管理、灾难恢复演练。

性能调优（存储层）

文件格式选择（Parquet/ORC）、压缩算法、小文件合并、分区裁剪优化。

性能调优（计算层）

数据倾斜处理、广播变量、谓词下推、向量化执行。

SQL查询优化

执行计划解读、Join策略选择、窗口函数优化、物化视图使用。

资源管理与隔离

Yarn/Kubernetes资源配额、多租户隔离、公平调度与容量调度。

资源多租户

版本升级与迁移

Spark/Trino/Hive版本升级步骤、兼容性检查、回滚方案。

常见故障处理（上）

NameNode宕机、元数据不一致、磁盘空间满、OOM异常。

常见故障处理（下）

任务失败重试、数据倾斜导致OOM、网络分区、ZK脑裂。

自动化运维脚本

Shell/Python脚本编写、健康检查脚本、自动扩缩容脚本、巡检报告生成。

自动化脚本

CI/CD for Data Pipeline

数据管道测试、GitOps实践、灰度发布、回滚机制。

计算资源成本分析、存储成本分析、Spot实例使用、预留实例策略。

合规与治理

数据血缘追踪、数据目录管理、数据生命周期合规、GDPR/CCPA要求。

多集群管理

联邦查询、跨集群数据复制、统一元数据视图、全局资源视图。

多集群联邦

实时数仓运维

Flink on K8s、状态后端管理、Checkpoint调优、Exactly-Once语义保障。

AI/ML工作负载支持

GPU资源管理、MLflow集成、模型版本管理、推理服务部署。

SLA保障与容量规划

SLA定义与度量、容量预测模型、弹性伸缩策略、压测方法。

运维最佳实践总结

日常巡检清单、应急预案、知识库建设、团队协作流程。

最佳实践团队

专注课程资料整理