课程导入：学习目标、适用人群、课程整体框架与实战环境准备

在大模型训练与推理的工程实践中，Batch Size（批大小）与流水线并行（Pipeline Parallelism）是两个决定训练效率、显存占用和收敛质量的核心变量。Batch Size 直接影响梯度估计的噪声、计算吞吐与显存峰值；而流水线并行则通过将模型切分为多个 Stage 分配到不同 NPU 设备上，解决单卡显存不足的问题，但同时也引入了 Bubble（气泡）开销与通信同步成本。两者并非孤立存在——Batch Size 的调整会改变每个 Micro-batch 的计算粒度，进而影响流水线的填充效率与 Bubble 比例。本课程旨在帮助算法工程师、系统工程师与 AI Infra 开发者，系统掌握 Batch Size 与 NPU 流水线并行调度的核心原理、调优方法及实战排障能力。

1.1 学习目标与适用人群

本课程面向已经具备深度学习基础、希望在 NPU 平台上深入掌握分布式训练调优能力的工程师。完成本课程后，学员应能够：独立分析 Batch Size 对训练收敛与吞吐的影响；理解流水线并行的切分原理与 Bubble 计算方式；在昇腾（Ascend）或寒武纪（Cambricon）等 NPU 平台上配置并行训练环境；使用 Profiling 工具定位并行训练中的性能瓶颈；根据显存容量与通信带宽约束，设计合理的 Batch Size 与流水线调度方案。

1.2 课程整体框架

本课程共 30 章，按照“基础原理 → 环境搭建 → 单卡调优 → 并行策略 → 综合实战”五个阶段递进。前 5 章聚焦 Batch Size 与流水线并行的基础理论，包括梯度估计的统计学意义、Bubble 占比的数学推导、NPU 硬件架构对并行策略的约束等。第 6-10 章进入实战环境准备，涵盖昇腾 CANN 工具链安装、容器镜像构建、HCCL 通信验证等。第 11-20 章深入 Batch Size 调优与流水线并行参数配置，包括 Micro-batch 数量选择、Stage 切分策略、梯度累积与通信重叠等核心技巧。第 21-25 章聚焦性能分析与排障，使用 msprof、MindStudio Profiler 等工具定位问题。最后 5 章通过三个完整案例（LLM 预训练、多模态模型微调、超长序列推理）串联全部知识点。

课程强调“理论公式 → 工具操作 → 实验对比 → 生产复盘”的闭环学习路径。每一章都配有可运行的代码示例、Profiling 截图对比和常见错误清单。学员需要准备一台具备 NPU 加速卡的服务器（或云上 NPU 实例），并安装好 Ubuntu 20.04/22.04 操作系统。

1.3 实战环境准备

本课程所有实验均基于昇腾 910B NPU 与 CANN 7.0 及以上版本。推荐使用 Docker 容器隔离环境，避免不同项目间的依赖冲突。以下为最小环境配置清单：

• 硬件： 至少 1 张昇腾 910B NPU（显存 64GB），推荐 4 张或 8 张用于流水线并行实验；CPU 建议 32 核以上，内存 256GB 以上。
• 操作系统： Ubuntu 20.04.6 LTS 或 22.04.3 LTS，内核版本 5.4 以上。
• 驱动与固件： NPU 驱动版本 23.0.rc1 及以上，固件版本配套。
• CANN 工具包： CANN 7.0.RC1 或更高版本，包含 ascend-toolkit、nnacl、hccl 等组件。
• 深度学习框架： PyTorch 2.1.0 + torch_npu 2.1.0.post6，或 MindSpore 2.2.0。

环境安装完成后，建议执行以下命令验证 NPU 是否可用：

# 查看 NPU 设备状态
npu-smi info

# 验证 PyTorch 与 NPU 的适配
python3 -c "import torch; import torch_npu; a = torch.randn(1024, 1024).npu(); print(a.sum().item())"

# 检查 HCCL 通信库版本
python3 -c "import torch_npu; print(torch_npu.hccl.get_compiler_version())"

1.4 案例拆解：从零搭建一个 4 卡流水线并行实验环境

为帮助学员快速上手，这里演示一个完整的 4 卡 NPU 流水线并行环境搭建过程。假设我们使用一台 4 卡昇腾 910B 服务器，目标是在 Docker 容器中运行一个简单的 2-Stage 流水线并行训练脚本。

背景与约束： 服务器已安装 Ubuntu 22.04 与 NPU 驱动，但未安装 CANN 与容器运行时。我们需要在 30 分钟内完成环境搭建并跑通一个最小示例。

操作步骤：

1. 安装 Docker 与 Ascend Docker Runtime：

# 安装 Docker（已安装可跳过）
curl -fsSL https://get.docker.com | sh
systemctl enable docker && systemctl start docker

# 安装 Ascend Docker Runtime
git clone https://gitee.com/ascend/ascend-docker-runtime.git
cd ascend-docker-runtime
./install.sh

2. 拉取昇腾官方 PyTorch 镜像并启动容器：

docker pull ascendai/pytorch:23.0.rc1-ubuntu20.04-pyTorch2.1.0

docker run -it --name pp_test \
  --device=/dev/davinci0 --device=/dev/davinci1 \
  --device=/dev/davinci2 --device=/dev/davinci3 \
  --device=/dev/davinci_manager \
  --device=/dev/hisi_hdc \
  -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
  -v /usr/local/dcmi:/usr/local/dcmi \
  -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
  ascendai/pytorch:23.0.rc1-ubuntu20.04-pyTorch2.1.0

3. 在容器内验证多卡通信：

python3 -c "
import torch
import torch_npu
import torch.distributed as dist
dist.init_process_group(backend='hccl', init_method='tcp://127.0.0.1:23456', rank=0, world_size=4)
print('HCCL initialized with 4 NPUs')
dist.destroy_process_group()
"

结果对比： 环境搭建成功后，npu-smi info 应显示 4 张 NPU 均处于健康状态，HCCL 初始化无报错。若在通信验证阶段出现 HCCL_RUNTIME_ERROR，通常是因为容器缺少 /dev/davinci_manager 设备映射或驱动版本不匹配。

复盘经验： 容器映射时务必同时挂载 davinci_manager 与 hisi_hdc 设备，否则 HCCL 通信无法建立。此外，建议在容器内固定随机种子以保证实验可复现性。

1.5 常见误区与学习建议

初学者在 Batch Size 与流水线并行调优中常犯以下错误：一是盲目增大 Batch Size 以提升吞吐，却忽略了学习率需要相应调整（线性缩放法则），导致收敛不稳定；二是将流水线并行等同于简单的模型切分，忽略了 Micro-batch 数量对 Bubble 占比的影响；三是在 NPU 上直接套用 GPU 的并行策略，未考虑 HCCL 通信与 NCCL 的差异。

本课程建议学员按照“先理解公式 → 再动手实验 → 最后总结规律”的方式学习。每一章结束后，尝试用 Profiling 工具记录训练过程中的关键指标（吞吐、显存峰值、通信耗时），并与理论值对比。只有亲手调整过 Batch Size 和流水线参数，才能真正理解它们之间的耦合关系。