VIP20

本课程属于：017-Nsight AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

多卡同步与通信效率提升指南

📚 共计 30 章节

多卡训练基础

分布式计算概述 · 为什么需要多卡同步 · 同步与异步的区别

入门核心概念

All-Reduce原理 · Ring/Tree All-Reduce · Broadcast · Scatter · Gather

集合通信底层

NCCL架构 · 初始化 · 通信器创建 · 集合通信操作

通信拓扑优化

环形/树形/双环/混合拓扑 · 拓扑选择策略

同步/异步训练 · 梯度累积 · 梯度压缩 · 混合精度通信

通信与计算重叠

通信计算流水线 · 异步通信 · 多流调度 · 通信隐藏

流水线优化

网络性能调优

带宽利用率 · 延迟优化 · 拥塞控制 · RDMA/RoCEv2

跨节点通信 · 参数服务器 · 分布式文件系统 · 拓扑感知

集群分布式

通信库对比

NCCL vs Gloo vs MPI · 性能基准 · 选型建议

通信瓶颈分析

Profiling工具 · 热点识别 · 性能计数器 · 可视化

梯度压缩技术

量化 · 稀疏化 · Top-K · 随机压缩 · 误差反馈

通信调度优化

梯度分组 · 通信优先级 · 动态调度 · 自适应策略

硬件加速通信

NVLink · NVSwitch · InfiniBand · 以太网 · PCIe拓扑

分布式数据并行

DDP原理/实现/优化 · DDP vs FSDP

模型并行通信

张量并行 · 流水线并行 · 序列并行 · 通信模式

模型并行切分

混合并行策略

数据+模型并行 · 3D并行 · 自动并行 · 代价建模

通信容错机制

超时重传 · 断点续传 · 健康检查 · 故障恢复

容错可靠性

加密通信 · 身份认证 · 完整性校验 · 安全协议

通信性能基准测试

方法论 · 常用工具 · 性能指标 · 结果分析

通信与显存优化

通信显存开销 · 显存复用 · 缓冲区管理 · 碎片

通信框架集成

PyTorch DDP · Horovod · DeepSpeed · Megatron-LM

通信日志与监控

日志采集 · 实时监控 · 告警 · 可视化仪表盘

通信参数调优

NCCL参数 · 网络参数 · 系统参数 · 自动调优

通信与数据加载

数据加载流水线 · 预处理通信 · 缓存 · 数据分布

通信与模型保存

分布式保存 · 一致性 · 检查点通信 · 恢复

检查点持久化

通信与自动混合精度

AMP通信优化 · 梯度缩放 · 损失缩放通信

通信与虚拟化

容器网络 · Kubernetes · 虚拟化开销 · 网络隔离

通信与云原生

云上多卡训练 · 弹性通信 · Spot实例 · 多云

云原生弹性

通信前沿技术

In-Network Computing · 可编程交换机 · 光/量子通信

通信实战案例

大模型/推荐系统/CV/NLP 通信优化实战