VIP19
本课程属于：025-系统化实战技能 AI与大模型 · 共 19 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

训练任务编排与调度系统开发

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 系统在AI训练中的价值与整体架构
课程导入学习目标
02
基础概念
任务 · 编排 · 调度
基础概念任务
03
主流框架对比
Kubeflow · Airflow · Argo
主流框架对比Kubeflow
04
环境搭建
安装与配置Kubernetes集群 · 容器运行时及调度组件
环境搭建Kubernetes
05
任务定义
编写训练任务描述文件（如YAML/J… · 定义资源需求与命令
任务定义YAML/J
06
资源管理
CPU · GPU · 内存等资源的声明
资源管理CPU
07
依赖管理
任务间依赖关系的建模与DAG（有向无…
依赖管理DAG
08
调度算法
常见调度策略（FIFO · 优先级 · 公平共享
调度算法FIFO
09
队列管理
多租户队列的创建 · 配额设置与优先级配置
队列管理多租户队列的创建
10
任务生命周期
从提交 · 排队 · 运行
任务生命周期从提交
11
故障处理
任务失败检测 · 重试机制 · 超时处理与日志收集
故障处理任务失败检测
12
数据管理
训练数据的加载 · 缓存 · 共享与版本控制
数据管理训练数据的加载
13
分布式训练集成
与Horovod · PyTorch DDP · TensorFlow分布式策略的对接
分布式训练集成Horovod
14
弹性伸缩
根据负载动态调整任务资源与并行度
弹性伸缩根据负载动态调整…
15
优先级调度
实现高优先级任务抢占低优先级任务的机…
优先级调度实现高优先级任务…
16
资源配额
为不同团队或项目设置资源限额与公平分…
资源配额为不同团队或项目…
17
监控与告警
采集任务指标 · 资源使用率 · 设置告警规则
监控告警
18
日志管理
集中式日志收集 · 存储与查询（如ELK/Loki）
日志管理式日志收集
19
可视化界面
开发Web UI展示任务状态 · 依赖图与资源拓扑
可视化界面Web
20
API设计
提供RESTful API供外部系统…
API设计
21
安全与权限
基于RBAC的访问控制 · 密钥管理与网络安全策略
安全权限
22
多集群调度
跨集群的任务分发与联邦调度策略
多集群调度跨集群的任务分发
23
案例实战
构建一个简单的端到端训练任务编排系统
案例实战构建一个简单的端…
24
性能优化
调度延迟 · 吞吐量 · 资源利用率的优化技巧
性能优化调度延迟
25
常见问题
任务卡死 · 资源死锁 · 依赖循环等问题的排查与解决
常见问题任务卡死
26
测试策略
单元测试 · 集成测试与端到端测试的编写与执行
测试策略单元测试
27
CI/CD集成
将系统部署到生产环境的自动化流程
CI/CD集成
28
扩展性设计
支持新框架 · 新资源类型与自定义调度策略
扩展性设计支持新框架
29
综合项目
设计并实现一个支持多用户 · 多任务的调度平台
综合项目设计并实现一个支…
30
课程总结
回顾核心知识点 · 展望未来趋势与进阶学习路径
课程总结回顾核心知识点