VIP20
本课程属于：042-数据治理运营 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

数据任务调度架构优化与故障排查

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
调度系统选型：自研 vs 开源框架
Quartz、XXL-JOB、Elastic-Job 的取舍与避坑，从社区活跃度到二次开发成本。
选型框架对比
02
任务拆分策略：粒度控制与分片算法
大任务拆小任务的粒度控制与分片算法选择，避免数据倾斜与资源浪费。
分片粒度
03
任务依赖管理：DAG 工作流设计
DAG 工作流的设计与循环依赖检测，拓扑排序与环检测算法实践。
DAG依赖
04
调度频率设计：Cron 陷阱与动态调度
Cron 表达式陷阱与动态调度策略，夏令时、闰年、时区等隐藏问题。
Cron动态调度
05
任务幂等性：重复执行与去重方案
重复执行场景分析与去重方案，基于状态表、唯一键或分布式令牌。
幂等去重
06
失败重试机制：退避策略与补偿
重试策略（指数退避、固定间隔）与业务补偿，避免重试风暴。
重试补偿
07
超时控制：检测与线程池隔离
任务超时检测与线程池隔离，Future 超时、Hystrix 线程池舱壁模式。
超时隔离
08
资源竞争：行锁与分布式锁
数据库行锁、分布式锁（Redis/ZK）的正确使用姿势，死锁预防。
锁分布式
09
数据一致性：调度与业务最终一致
调度记录与业务数据的最终一致性方案，本地消息表、TCC 或 Saga。
一致性事务
10
日志与监控：全链路追踪与告警
全链路追踪（TraceId）与告警阈值设置，从日志采集到实时监控。
监控TraceId
11
任务编排：条件分支与并行子任务
条件分支与并行子任务的实现，基于状态机或工作流引擎。
编排并行
12
动态参数传递：上下文与线程污染
上下文传递与线程变量污染，ThreadLocal 陷阱与传递方案。
参数线程
13
任务暂停与恢复：状态机设计
状态机设计与持久化，暂停、恢复、终止等状态流转。
状态机持久化
14
灰度发布：A/B 测试与回滚方案
新调度策略的 A/B 测试与回滚方案，流量染色与版本控制。
灰度回滚
15
性能压测：QPS 瓶颈分析与优化
调度系统的 QPS 瓶颈分析与优化，压测工具与调优实践。
压测性能
16
数据库瓶颈：连接池与慢查询
调度中心数据库连接池与慢查询优化，索引与连接池参数调优。
数据库连接池
17
任务堆积处理：背压与队列限流
背压机制与队列限流，拒绝策略与弹性伸缩。
背压限流
18
跨机房调度：异地多活一致性
异地多活场景下的调度一致性，数据同步与冲突解决。
多活跨机房
19
安全权限：API 鉴权与操作审计
调度中心的 API 鉴权与操作审计，RBAC 与操作日志。
安全鉴权
20
任务分片：动态分片与静态分片
动态分片与静态分片的适用场景，分片策略与 rebalance 机制。
分片动态
21
定时任务与事件驱动：MQ 实时触发
如何结合 MQ 实现实时触发，定时+事件混合调度模式。
MQ事件驱动
22
调度器高可用：Leader 选举与故障转移
Leader 选举与故障转移，基于 ZK/Raft 的高可用方案。
高可用选举
23
任务执行器管理：注册与摘除
注册与摘除机制，心跳检测与执行器动态上下线。
执行器注册
24
脚本任务：Shell/Python 安全沙箱
Shell/Python 脚本执行的安全沙箱，资源隔离与命令过滤。
脚本沙箱
25
大数据任务调度：Spark/Flink 集成
Spark/Flink 任务与调度系统的集成，YARN/K8s 资源管理。
大数据Spark
26
任务日历：排除节假日与工作日历
排除节假日与自定义工作日历，基于规则或 API 的日历服务。
日历节假日
27
调度延迟：时间轮与秒级调度
时间轮算法与秒级调度实现，低延迟与高精度调度。
时间轮延迟
28
任务结果回调：异步通知与 Webhook
异步通知与 Webhook 设计，回调重试与签名校验。
回调Webhook
29
历史数据清理：归档与自动清理
调度日志的归档与自动清理策略，冷热数据分离。
清理归档
30
混沌工程：故障注入与稳定性验证
调度系统的故障注入与稳定性验证，混沌实验与弹性测试。
混沌稳定性