VIP20

本课程属于：043-OLAP分析引擎 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

OLAP任务调度平台建设与运维

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

OLAP调度系统概述

什么是OLAP、为什么需要调度系统、调度系统的核心价值与挑战。

需求分析与架构设计

业务需求梳理、技术选型（Python/Java/Go）、系统架构分层设计（接入层、调度层、执行层、监控层）。

开发环境搭建

Python虚拟环境配置、依赖管理（Poetry/Pipenv）、Docker化开发环境、Git工作流。

核心数据模型设计

任务(Task)模型、依赖(Dependency)模型、调度计划(Schedule)模型、执行记录(Execution)模型。

数据库选型与ORM

PostgreSQL vs MySQL vs SQLite、SQLAlchemy ORM实战、数据库迁移（Alembic）。

任务定义与注册

任务类设计、任务参数化、任务注册中心、任务元数据管理。

调度引擎核心

时间轮算法、Quartz-like调度、Cron表达式解析、调度器状态机。

DAG（有向无环图）构建、拓扑排序、依赖检查与循环依赖检测。

任务执行器

本地执行器、SSH远程执行器、Docker/K8s执行器、执行器插件化设计。

任务队列与并发控制

Celery/RQ任务队列、Worker池管理、并发度控制、任务优先级。

任务状态管理

状态流转（Pending->Running->Success/Failed）、状态持久化、状态回调机制。

结构化日志（JSON格式）、日志采集与存储（ELK/Loki）、日志查看与检索。

告警与通知

告警规则配置、多渠道通知（邮件/钉钉/企业微信/短信）、告警升级策略。

重试与容错机制

自动重试策略、指数退避、死信队列、手动重试与跳过。

任务超时检测、超时处理策略、超时配置与动态调整。

CPU/内存/磁盘监控、资源配额、资源抢占与隔离。

RESTful API设计

Flask/FastAPI框架选型、API版本控制、接口文档（Swagger/OpenAPI）。

Web前端基础

Vue3/React选型、任务管理页面、调度日历、执行历史可视化。

前端可视化

用户与权限管理

RBAC模型、JWT认证、操作审计日志。

多租户支持

租户隔离、数据隔离、资源隔离、租户管理。

多租户隔离

分布式调度

分布式锁（Redis/ZooKeeper）、Leader选举、分片调度。

高可用设计

主从架构、故障转移、无状态化设计、健康检查。

高可用架构

数据库索引优化、查询缓存、批量操作、异步处理。

监控与可观测性

Metrics（Prometheus）、Tracing（Jaeger）、Logging（ELK）、Grafana仪表盘。

监控可观测

单元测试（pytest）、集成测试、压力测试、混沌工程。

GitLab CI/GitHub Actions、自动化测试、自动化部署、灰度发布。

SQL注入防护、XSS防护、CSRF防护、API限流、敏感信息加密。

数据备份与恢复

数据库备份策略、配置备份、灾难恢复演练。

生产环境部署

Kubernetes部署、Helm Chart、Ingress配置、TLS证书管理。

运维与排障实战

常见问题排查、性能瓶颈分析、日志分析技巧、应急响应流程。