VIP20

本课程属于：024-训练加速 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

高性能训练原理解析课

📚 共计 30 章节

高性能训练概述

什么是高性能训练 · 为什么需要 · 核心挑战与目标

硬件基础（一）

CPU vs GPU vs TPU · 算力与带宽 · 硬件选型

硬件基础（二）

HBM/DDR/SRAM · NVLink & PCIe · 分布式存储

并行计算范式

数据并行 · 模型并行 · 流水线并行

混合并行策略

张量并行 · 序列并行 · 专家并行/MoE

分布式训练框架

PyTorch DDP · DeepSpeed · Megatron-LM

框架分布式

通信优化（一）

All-Reduce · Ring/Tree · 带宽利用

通信优化（二）

梯度压缩 · 梯度累积 · 异步与同步

显存优化（一）

激活重计算 · 混合精度 FP16/BF16/FP8

显存优化（二）

ZeRO-1/2/3 · Offloading · 状态管理

算子融合 · FlashAttention · Triton

数据加载与预处理

高性能DataLoader · 预处理流水线 · 缓存预取

网络与系统调优

拓扑感知 · NUMA亲和性 · CPU-GPU传输

训练稳定性

梯度裁剪 · Warmup · Loss Scaling

模型架构与训练效率

稀疏注意力 · MoE路由 · 条件计算

大规模训练策略

学习率调度 · BS缩放 · 权重衰减

训练监控与调试

Nsight · Profiler · TensorBoard/WandB

容错与恢复

Checkpoint · 异步保存 · 弹性训练

自动并行与编译

torch.compile · XLA · 自动并行搜索

集群调度与管理

SLURM · Docker/Singularity · 资源隔离

高性能推理（一）

vLLM · TensorRT-LLM · KV Cache · Continuous Batching

高性能推理（二）

INT4/INT8量化 · 蒸馏剪枝 · 推测解码

特定场景优化（NLP）

长序列 · RoPE/ALiBi · 序列并行

NLP长上下文

特定场景优化（CV）

大分辨率 · 数据增强加速 · 多尺度

特定场景优化（多模态）

多模态对齐 · 异构加载 · 跨模态注意力

多模态对齐

前沿技术（一）

DeepSpeed-Ulysses · Ring Attention · 异步流水线

前沿序列并行

前沿技术（二）

FP8训练 · MoE优化 · 稀疏训练

前沿技术（三）

联邦学习 · 差分隐私 · 安全聚合

实战案例（一）

百亿参数训练系统 · 架构/选型/调优

实战案例（二）

Profiling→瓶颈→优化→验证 · 问题汇总

实战全流程