并行计算基础：并行计算概念、Flynn分类法与并行编程模型

核心原理：什么是并行计算

并行计算（Parallel Computing）是指同时使用多个计算资源（如多核CPU、GPU、多台服务器）来解决一个计算问题的过程。其基本思想是：将一个大的任务分解为若干可以同时执行的子任务，每个子任务在不同的处理单元上运行，最后汇总结果。与串行计算相比，并行计算的核心价值在于缩短求解时间、提高吞吐量，并能够处理单机内存无法容纳的超大规模问题。

衡量并行系统性能的两个关键指标是加速比（Speedup）和效率（Efficiency）。加速比定义为 S = T_serial / T_parallel，其中 T_serial 是最优串行算法耗时，T_parallel 是并行算法在 P 个处理器上的耗时。理想情况下 S = P，但由于通信开销、负载不均和串行瓶颈的存在，实际加速比往往低于线性值。Amdahl定律指出：若一个程序中串行部分占比为 f，则无论增加多少处理器，最大加速比不超过 1/f。这一规律在分布式训练中同样适用——数据加载、梯度同步等串行或通信环节会显著制约整体扩展能力。

方法流程：并行编程模型与实现路径

并行编程模型是连接硬件与应用的桥梁，决定了开发者如何表达并行性、如何管理任务划分与数据交换。在分布式训练场景中，最常遇到的编程模型有以下三类：

以PyTorch分布式训练为例，其底层依赖torch.distributed包，该包封装了进程组（Process Group）的概念。每个训练进程拥有独立的rank编号（0到world_size-1），进程之间通过NCCL（NVIDIA Collective Communications Library）或Gloo后端执行集合通信操作。典型的数据并行训练流程如下：

# 初始化进程组（每个GPU对应一个进程）
import torch.distributed as dist
dist.init_process_group(backend='nccl', init_method='env://')

# 每个进程加载自己的数据分片
train_sampler = DistributedSampler(dataset, num_replicas=world_size, rank=rank)
dataloader = DataLoader(dataset, batch_size=64, sampler=train_sampler)

# 模型包装为DDP（DistributedDataParallel）
model = DDP(model, device_ids=[local_rank])

# 前向传播 → 反向传播 → 梯度同步（AllReduce自动完成）
for inputs, labels in dataloader:
    outputs = model(inputs)
    loss = criterion(outputs, labels)
    loss.backward()  # 触发梯度AllReduce
    optimizer.step()

上述代码中，DDP在backward()时自动调用AllReduce对每个参数的梯度求平均，确保所有进程的模型保持一致。这一过程对用户透明，但理解其底层机制对排查性能瓶颈至关重要。

案例/场景：从单卡到多卡——一个图像分类任务的扩展

假设我们有一个ResNet-50图像分类任务，训练数据集为100万张图片，单张NVIDIA A100 GPU处理一个batch（256张）需要0.8秒。若使用单卡训练，每个epoch需要约3125个step，总耗时约2500秒。现在扩展到4张A100 GPU，采用数据并行方式：

• 数据划分：每个GPU获得独立的256张图片子集，4个GPU同时处理，总batch size变为1024。
• 梯度同步：每个step结束后，4个GPU通过AllReduce交换梯度，通信量约为模型参数量×4字节（ResNet-50约25M参数，即100MB梯度）。
• 理论加速：若通信开销为零，每个epoch耗时缩短为625秒，加速比4.0。
• 实际表现：考虑NCCL在NVLink互联下的通信开销（约10-20ms/step），实际每个step耗时约0.85秒，每个epoch约665秒，加速比约3.76，效率94%。

这个案例揭示了分布式训练的核心权衡：计算时间与通信时间的比值。当batch size增大时，计算时间线性增长，但通信时间基本不变（梯度大小固定），因此增大batch size能有效提升计算通信比，这也是大规模训练中常采用大batch的深层原因。

误区/复盘：并行训练中的常见陷阱

复盘一个真实案例：某团队将训练从4卡扩展到32卡（4台8卡服务器），期望加速8倍，实际仅获得4.2倍加速。排查后发现：

1. 数据加载使用DataLoader默认设置，每个进程独立读取完整数据集副本，导致磁盘I/O成为瓶颈。
2. 梯度同步使用Gloo后端（CPU通信），跨节点走以太网，通信耗时占总step时间的45%。
3. 模型定义中存在部分未包装的BatchNorm层，导致DDP无法同步其统计量，产生精度下降。

改进措施：改用DistributedSampler分片读取数据；将后端切换为NCCL并启用InfiniBand；使用torch.nn.SyncBatchNorm.convert_sync_batchnorm()同步BN层。优化后加速比提升至6.8倍。

另一个常见误区是混淆数据并行与模型并行。数据并行适合模型能完整放入单卡显存的情况；当模型参数量超过单卡显存（如GPT-3的1750亿参数），必须采用模型并行（将不同层或同一层的参数切分到多卡）。两种并行方式可以组合使用，形成三维并行（数据并行+流水线并行+张量并行），这是大模型训练的基础架构。