VIP20

本课程属于：026-数据湖治理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

任务依赖管理与数据湖调度实战

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

任务依赖管理概述

什么是任务依赖、为什么需要任务依赖管理、常见依赖类型（DAG、线性、条件依赖）。

数据湖调度系统架构

调度系统的核心组件、调度引擎选型（Airflow、DolphinScheduler、Oozie）、元数据管理。

DAG（有向无环图）原理

DAG的定义、DAG在任务调度中的应用、DAG的构建与解析。

任务依赖关系建模

上下游任务定义、依赖条件设置（成功、失败、超时）、依赖传递与阻断。

调度周期与触发机制

定时调度（Cron表达式）、事件驱动调度、手动触发与重跑。

数据湖基础概念

数据湖的定义、数据湖与数据仓库的区别、数据湖的存储架构（HDFS、S3、OSS）。

数据湖元数据管理

Hive Metastore、AWS Glue Catalog、数据血缘追踪。

元数据血缘

数据湖分区策略

静态分区与动态分区、分区裁剪优化、分区键选择原则。

数据湖文件格式选型

Parquet、ORC、Avro的对比与适用场景、列式存储的优势。

数据湖压缩算法

Snappy、Gzip、Zstd的对比、压缩比与解压速度的权衡。

数据湖写入模式

Append模式、Overwrite模式、Merge模式（Upsert）。

数据湖事务管理

ACID特性在数据湖中的实现、Delta Lake与Apache Iceberg的事务机制。

数据湖时间旅行（Time Travel）

版本管理、数据回滚、历史数据查询。

时间旅行版本

数据湖增量计算

增量读取与增量写入、CDC（Change Data Capture）集成。

任务调度与数据湖集成

调度任务如何读写数据湖、数据湖作为任务中间存储。

Airflow调度实战

Airflow架构、DAG定义与Operator使用、任务依赖配置。

Airflow与数据湖集成

Airflow读写Hive/Spark表、S3Hook与HiveHook的使用。

DolphinScheduler调度实战

DolphinScheduler架构、工作流定义、任务依赖配置。

DolphinScheduler与数据湖集成

DolphinScheduler调用Spark/Flink任务、数据湖表操作。

任务依赖可视化

DAG图的可视化展示、任务执行状态监控、依赖关系图导出。

可视化监控

任务失败处理与重试机制

失败重试策略、失败通知（邮件、钉钉、短信）、死信队列处理。

任务并发控制

任务并发数限制、资源池管理、任务排队机制。

数据湖数据质量监控

数据完整性校验、数据一致性检查、异常数据告警。

数据湖数据生命周期管理

数据冷热分层、数据过期清理策略、数据归档。

生命周期归档

数据湖权限与安全

数据湖访问控制（RBAC、ABAC）、数据加密（静态加密、传输加密）、审计日志。

数据湖性能优化

查询性能调优、小文件合并、数据倾斜处理。

数据湖与实时计算集成

Flink写入数据湖、Kafka到数据湖的实时管道、实时任务依赖。

数据湖与机器学习集成

特征存储（Feature Store）、训练数据版本管理、模型推理数据管道。

数据湖调度最佳实践

任务优先级设置、依赖链优化、资源预估与弹性伸缩。

最佳实践优化

数据湖调度实战案例

电商数据湖调度系统设计、金融数据湖调度系统设计、制造业数据湖调度系统设计。