01
流批一体概述
流批一体的概念、为什么需要流批一体、Lambda架构与Kappa架构对比。
架构概念
02
任务调度基础
任务调度的定义、调度系统的核心功能、常见的调度策略（FIFO、时间片、优先级）。
调度策略核心功能
03
分布式调度核心
分布式协调（ZooKeeper/Etcd）、Leader选举、任务分片与负载均衡。
协调分片
04
Apache Flink调度原理
Flink JobManager与TaskManager、Slot管理、Task调度与部署。
FlinkSlot
05
Apache Spark调度原理
Spark DAG调度器、TaskScheduler、资源分配与动态分配。
SparkDAG
06
流批一体调度挑战
状态一致性、Exactly-Once语义、Watermark与事件时间处理。
一致性Watermark
07
统一调度层设计
统一API抽象、SQL化调度、元数据管理。
统一APISQL
08
资源管理与弹性伸缩
YARN/K8s资源管理、动态扩缩容、Quota管理。
弹性K8s
09
任务依赖与DAG编排
任务依赖关系、DAG构建、拓扑排序与并行度控制。
DAG拓扑
10
容错与高可用
Checkpoint与Savepoint、故障恢复策略、Task重试机制。
容错Checkpoint
11
数据源与Sink调度
Kafka、Pulsar等消息队列的Offset管理、批流统一的数据源抽象。
数据源Offset
12
时间语义与窗口调度
Processing Time与Event Time、滚动/滑动/会话窗口的调度实现。
窗口时间语义
13
背压机制与流量控制
背压的产生原因、Flink与Spark的背压策略、动态反压处理。
背压流量控制
14
任务优先级与抢占
优先级队列、资源抢占策略、关键任务保障。
优先级抢占
15
多租户与隔离
租户隔离、资源池划分、任务级与用户级权限控制。
多租户隔离
16
调度性能优化
调度延迟优化、批量提交、预分配与缓存策略。
性能优化
17
监控与告警
任务状态监控、延迟指标、失败率统计、自定义告警规则。
监控告警
18
日志与审计
任务运行日志收集、审计追踪、链路追踪（OpenTelemetry）。
日志审计
19
CI/CD与调度集成
自动化部署、版本管理、灰度发布与回滚。
CI/CD发布
20
调度系统测试
单元测试、集成测试、压力测试、混沌工程。
测试混沌
21
Flink on K8s实战
Flink Operator、动态资源管理、Pod调度策略。
FlinkK8s
22
Spark on K8s实战
Spark Operator、动态Executor管理、Shuffle服务。
SparkK8s
23
混合调度（YARN+K8s）
统一资源池、混合部署策略、调度器适配。
混合调度YARN
24
流批一体SQL调度
Flink SQL与Spark SQL的统一调度、Catalog管理、物化视图。
SQL物化视图
25
事件驱动调度
基于事件触发的调度、CEP与规则引擎集成。
事件驱动CEP
26
调度系统安全
认证与授权、数据加密、安全审计。
安全加密
27
大规模集群调度实践
万级Task调度、资源碎片优化、调度器水平扩展。
大规模扩展
28
调度系统选型
Airflow、DolphinScheduler、自研调度器对比。
选型对比
29
未来趋势
Serverless调度、AI驱动调度、云原生调度演进。
趋势Serverless
30
综合案例
构建一个流批一体调度平台（需求分析、架构设计、核心实现、部署运维）。
实战全流程