VIP20

本课程属于：038-AI数据底座 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

AI数据任务调度系统选型与实战

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

任务调度系统概述

什么是任务调度、核心价值、常见应用场景：ETL、定时报表、数据同步。

主流任务调度系统对比

Quartz、Elastic-Job、XXL-JOB、Apache Airflow、DolphinScheduler 横向对比。

Quartz 深度解析

核心概念：Job、Trigger、Scheduler；Cron 表达式详解；持久化配置。

Spring Boot 集成 Quartz，动态创建/暂停/恢复任务，集群部署方案。

实战Spring Boot

Elastic-Job 深度解析

分布式调度原理、分片策略、任务高可用与弹性伸缩。

分布式分片

Elastic-Job 实战

Spring Boot 集成 Elastic-Job，分片任务实现，控制台运维。

XXL-JOB 深度解析

架构设计（调度中心+执行器）、任务路由策略、失败重试机制。

部署调度中心、Spring Boot 集成执行器、GLUE 模式（在线脚本）。

Apache Airflow 深度解析

DAG 定义、Operator 与 Sensor、调度器与执行器原理。

Apache Airflow 实战

Docker Compose 部署、编写第一个 DAG、任务依赖与触发规则。

DolphinScheduler 深度解析

工作流定义、租户与权限、任务类型（Shell、SQL、Python）。

DolphinScheduler工作流

DolphinScheduler 实战

集群部署、工作流编排、告警机制与日志查看。

任务调度核心概念：Cron & 时区 & DAG

Cron 表达式进阶、时区处理、任务依赖（DAG）设计模式。

任务调度核心概念：分片策略

平均分片、哈希分片、自定义分片、动态分片详解。

任务调度核心概念：幂等性与重试

任务幂等性设计、失败重试策略（指数退避、死信队列）。

任务调度核心概念：状态管理

任务状态（待运行、运行中、成功、失败、超时）与状态机设计。

状态机管理

任务调度核心概念：日志与监控

日志采集、指标暴露、Prometheus + Grafana 集成。

监控Prometheus

任务调度核心概念：高可用设计

Leader 选举、心跳检测、故障转移机制。

高可用故障转移

任务调度核心概念：安全与权限

认证、授权、任务隔离、敏感信息加密。

任务调度核心概念：性能优化

任务并发控制、线程池调优、数据库连接池优化。

任务调度核心概念：数据一致性

分布式事务、最终一致性、补偿任务设计。

一致性补偿

任务调度核心概念：任务编排

串行、并行、条件分支、循环任务编排模式。

任务调度核心概念：资源管理

CPU、内存、磁盘 IO 限制、容器化资源隔离。

任务调度与微服务架构

服务发现、配置中心、API 网关集成。

微服务集成

任务调度与大数据生态

Spark、Flink、Hive 任务调度集成实践。

任务调度与云原生

Kubernetes CronJob、Operator 模式。

任务调度与消息队列

Kafka、RabbitMQ 触发任务，事件驱动调度。

消息队列事件驱动

任务调度与数据血缘

数据溯源、影响分析、元数据管理。

数据血缘元数据

任务调度与 AI/ML

模型训练调度、特征工程任务编排。

任务调度系统选型决策树与总结

根据业务场景选择系统、迁移策略、未来趋势（Serverless 调度、AI 驱动）。