VIP20

本课程属于：015-NCCL AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

高性能AI训练任务调度与调优实战

📚 共计 30 章节

AI训练任务调度全景

从单机到集群的演进 · 资源碎片/数据饥饿/通信拓扑 · Kubernetes/Slurm/YARN

GPU资源抽象与隔离

vGPU · MIG · 显存/算力隔离 · 多租户配额管理

虚拟化隔离

分布式训练框架基础

数据并行 · 模型并行 · 流水线并行 · 混合并行设计

AllReduce通信优化

Ring/Tree AllReduce · 梯度压缩/量化 · 通信计算重叠

数据加载流水线

高性能管道(tf.data/WebDataset) · IO瓶颈 · 预取/缓存

动态资源调度策略

优先级调度 · DRF公平调度 · 抢占式/Gang Scheduling

任务排队与优先级管理

队列深度控制 · 优先级反转 · 基于年龄调度

排队优先级

节点亲和性与拓扑感知调度

NUMA感知 · GPU拓扑(NVLink) · 网络拓扑感知

拓扑亲和性

弹性训练与容错机制

Elastic Training · Checkpoint · 自动恢复

混合精度训练(AMP)

FP16/BF16 · Loss Scaling · 动态精度调整

梯度累积与微批次调度

梯度累积原理 · 微批次吞吐 · Batch Norm兼容

累积微批次

学习率调度策略

Warmup · Cosine Annealing · OneCycle · Layer-wise LR

学习率调度

模型并行切分策略

张量并行(Megatron) · 序列并行 · 1D/2D/3D矩阵乘法

模型并行切分

流水线并行调度

GPipe vs PipeDream · 1F1B · Virtual Pipeline

流水线调度

ZeRO优化器系列

ZeRO-1/2/3 · Offload(CPU/NVMe) · 通信量分析

内存优化技术

Activation Checkpointing · 内存碎片整理 · 显存池化

编译器优化与图捕获

XLA/TorchScript · 算子融合 · AutoTuning

编译器图捕获

Profiling与性能分析

Nsight Systems/Compute · PyTorch Profiler · 火焰图

Profiling分析

瓶颈定位与优化

计算/通信/IO瓶颈 · Amdahl定律应用

自动超参数调优

网格/随机搜索 · 贝叶斯(Hyperopt/Optuna) · 早停

超参数AutoML

神经架构搜索(NAS)

强化学习NAS · 进化算法 · 可微分DARTS

多任务与多模型调度

共享集群多任务 · 优先级抢占 · 公平性保障

多任务调度

云原生训练平台设计

Kubernetes+Kubeflow+Volcano · 自定义调度器 · CRD

训练数据管理

DVC · 数据增强流水线 · 去重/清洗

实验追踪与管理

MLflow · Weights & Biases · 元数据管理 · 可视化

模型部署与推理优化

INT8/INT4量化 · 剪枝 · 蒸馏 · TensorRT

成本优化策略

Spot实例 · 混合云 · 自动扩缩容 · 预留/按需

安全与合规

对抗攻击防御 · 联邦学习 · GDPR审计

大规模训练案例实战

GPT-3/LLaMA经验 · 千卡集群 · 故障解决

未来趋势与前沿

稀疏训练 · MoE · 超大规模调度 · AI for Systems