VIP20

本课程属于：030-Edge AI硬件加速NPU调度 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

batch size与NPU流水线并行调度实战教程

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 适用人群 · 课程整体框架与实战环境准备

课程导入学习目标

NPU基础与昇腾AI处理器架构

NPU计算单元 · 存储层次 · AI Core与AI CPU的协同工…

流水线并行基础

什么是流水线并行 · 与数据并行和模型并行的区别 · 流水线并行的典型应用场景

流水线并行基础什么是流水线并行

Batch Size核心概念

Batch Size定义 · 对训练收敛速度 · 显存占用和计算效率的影响

Batch Size与NPU内存关系

NPU显存容量 · Batch Size与激活内存 · 梯度内存的数学关系

流水线并行中的Batch划分策略

Micro-batch · Global Batch与流水线阶段…

Batch流水线并行

流水线调度基础

GPipe · PipeDream · 1F1B等经典调度策略的原理与对比

流水线调度基础GPipe

NPU流水线并行中的同步与异步

同步屏障 · 异步通信 · 通信与计算重叠的基本方法

NPU流水线并行

Batch Size对流水线气泡的影响

气泡率计算公式 · Batch Size与气泡率的权衡分…

NPU流水线并行中的显存优化

重计算 · 激活压缩 · 显存池化与Batch Size的配合

NPU流水线并行

实战环境搭建

昇腾NPU驱动 · CANN工具链 · PyTorch适配与容器化部署

实战环境搭建NPU

使用MindSpore实现流水线并行

MindSpore流水线并行API · 配置方法与基本示例

MindSpore使用

使用PyTorch + Ascend实现流水线并行

torch.distributed.…

Batch Size与流水线阶段数匹配

不同阶段数下Batch Size的推…

流水线并行中的梯度累积

梯度累积原理 · 与Batch Size的等效关系 · 在NPU上的实现

流水线并行梯度累积

动态Batch Size调度

根据NPU内存和负载动态调整Batc…

流水线并行中的负载均衡

各阶段计算量差异对Batch Siz…

流水线并行负载均衡

通信优化与Batch Size

All-reduce · P2P通信开销与Batch Size… · 通信压缩技术

案例实战一

基于NPU的GPT类模型流水线并行训… · 调整Batch Size观察吞吐与显…

案例实战一NPU

案例实战二

ResNet在NPU上的流水线并行 · 对比不同Batch Size的收敛曲…

案例实战二ResNet

案例实战三

大规模Transformer模型（如… · Batch Size与模型并行联合调…

案例实战三Transformer

性能调优工具

使用昇腾Profiler分析流水线气… · 通信耗时 · 内存占用与Batch Size的关系

性能调优工具Profiler

常见问题一

Batch Size过大导致NPU内…

常见问题一Batch

常见问题二

Batch Size过小导致流水线利… · 气泡增大的优化策略

常见问题二Batch

常见问题三

流水线并行中梯度不一致 · 收敛不稳定与Batch Size的关…

常见问题三流水线并行

常见问题四

多机多卡NPU环境下Batch Si…

常见问题四NPU

自动Batch Size搜索与流水线… · 基于强化学习或贝叶斯优化

高级主题Batch

从零构建一个NPU流水线并行训练脚本 · 包含Batch Size自动配置 · 调度策略选择与性能报告

综合实战NPU

核心知识点回顾 · 常见误区梳理 · 最佳实践清单与学习路径建议

课程总结核心知识点回顾

设计一个完整的NPU流水线并行训练方… · 要求针对特定模型和数据集给出Batc… · 并提交实验报告

结业项目NPU