VIP20

本课程属于：026-数据湖治理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

数据湖任务调度性能调优实战

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据湖调度概述

数据湖架构演进、调度系统核心价值、性能瓶颈全景分析。

调度引擎选型对比

Apache Airflow、DolphinScheduler、Azkaban、Oozie 架构与性能对比。

资源管理基础

YARN 与 Kubernetes 资源调度模型、容器化 vs 进程级隔离。

任务依赖与DAG优化

DAG 设计原则、并行度控制、关键路径识别与优化。

数据倾斜诊断

数据倾斜成因分析、Shuffle 原理、倾斜任务识别方法。

数据倾斜实战调优

Salting 技术、两阶段聚合、自定义分区器实现。

Spark 任务参数调优

executor 核心/内存配置、动态资源分配、序列化优化。

Flink 任务参数调优

Checkpoint 与 State 调优、并行度设置、网络缓冲优化。

Hive SQL 性能调优

MapJoin 与 Bucket Map Join、向量化查询、CBO 优化器。

存储格式与压缩

Parquet/ORC 选型、Snappy/Zstd 压缩比与速度权衡。

文件大小与分区策略

小文件问题根治、动态分区 vs 静态分区、分区裁剪。

分区小文件

数据湖元数据管理

Hive Metastore 性能瓶颈、分区数过多优化、元数据缓存。

元数据Metastore

调度队列与优先级

多租户资源隔离、公平调度 vs 容量调度、任务优先级策略。

队列优先级

任务失败重试机制

重试策略设计、指数退避算法、死信队列处理。

调度延迟分析

调度器自身延迟、任务启动冷启动、JVM 预热优化。

网络与IO瓶颈

数据本地性原理、机架感知、网络带宽监控与优化。

内存管理调优

堆内/堆外内存配置、GC 调优、OOM 问题排查。

CPU 与线程模型

线程池配置、CPU 绑定、超线程对性能的影响。

数据湖 CDC 实时调度

Debezium + Kafka 集成、增量调度延迟控制。

批流一体调度策略

Lambda 架构 vs Kappa 架构、统一调度模型设计。

调度系统高可用设计

Master 选举、任务状态持久化、故障转移机制。

高可用故障转移

监控与告警体系

Prometheus + Grafana 监控指标、自定义告警规则。

日志聚合与诊断

ELK/EFK 日志平台、任务级日志关联、慢任务追踪。

自动化扩缩容

基于负载的弹性伸缩、预留资源 vs 按需资源策略。

弹性扩缩容

数据湖治理与调度

数据血缘追踪、任务依赖治理、废弃任务清理。

大规模集群调度实践

万级任务调度挑战、调度器分片、任务预分配。

大规模分片

多云/混合云调度

跨云数据同步、云成本优化、地域亲和性调度。

多云混合云

调度系统安全

RBAC 权限模型、敏感信息加密、审计日志。

性能压测与基准测试

TPC-DS 基准测试、自定义压测脚本、瓶颈定位方法论。

全链路性能优化案例

某电商数据湖日调度延迟从 6h 降至 45min 实战复盘。

专注课程资料整理