数据加载优化：DataLoader 的三大法宝
训练深度学习模型时，很多人把精力都放在模型架构和超参数上。
但说实话，数据加载往往是真正的性能瓶颈。
GPU 算得飞快，CPU 却喂不过来，这就像给法拉利配了个自行车轮胎。
我个人习惯，拿到一个训练任务，第一件事就是检查 DataLoader 的配置。
num_workers：多进程加载的秘密
先聊聊 num_workers。这个参数控制着数据加载的子进程数量。
默认值是 0，意味着数据加载在主进程里完成。这很糟糕。
为什么？因为主进程既要管数据加载，又要管模型训练，忙不过来。
你想想看，每次 GPU 算完一个 batch，都要等主进程把下一个 batch 准备好。
这中间的空闲时间，就是白花花的算力浪费。
核心原则：num_workers 通常设置为 CPU 核心数或 GPU 数量的 2-4 倍。
我在项目中遇到过这样的情况：把 num_workers 从 0 调到 4，训练速度直接翻倍。
但也不是越大越好。我曾经试过设成 32，结果系统直接卡死。
因为每个 worker 都要占用内存，开太多反而会触发内存交换。
# 推荐配置示例
from torch.utils.data import DataLoader
train_loader = DataLoader(
dataset,
batch_size=64,
shuffle=True,
num_workers=4, # 根据 CPU 核心数调整
pin_memory=True,
prefetch_factor=2
)注意：在 Windows 系统上，num_workers 设置不当可能导致死锁。
建议先用 0 测试，确认没问题再逐步增加。
pin_memory：锁页内存的妙用
接下来是 pin_memory。这个参数很多人会忽略，但它真的很关键。
简单说，它把数据固定在物理内存中，不让操作系统把它换到磁盘上。
为什么这很重要？因为 GPU 从锁页内存拷贝数据，速度比从普通内存快得多。
嗯，这里要注意：锁页内存是有限的。开太多会挤占系统内存。
| 内存类型 | CPU→GPU 传输速度 | 内存占用 | 适用场景 |
|---|---|---|---|
| 普通内存 | 慢（约 6 GB/s） | 低 | 小数据集 |
| 锁页内存 | 快（约 12 GB/s） | 高 | 大数据集、实时训练 |
我建议，只要你的 GPU 显存够用，就把 pin_memory=True 打开。
它带来的加速效果非常明显，尤其是在处理图像或视频数据时。
小技巧：如果遇到 "CUDA out of memory" 错误，先检查是不是 pin_memory 占用太多。
可以尝试减少 batch_size 或 num_workers。
prefetch_factor：预取的艺术
最后说说 prefetch_factor。这个参数控制每个 worker 预取多少个 batch。
默认值是 2，意味着每个 worker 会提前加载 2 个 batch 的数据。
说白了，就是用内存换时间。预取越多，GPU 等数据的概率越小。
我曾经在训练一个 100GB 的数据集时，把 prefetch_factor 调到 4。
结果训练速度提升了 30%，但内存占用也翻了一倍。
所以这是个 trade-off，需要根据你的硬件条件来权衡。
# 高级配置示例
train_loader = DataLoader(
dataset,
batch_size=128,
num_workers=8,
pin_memory=True,
prefetch_factor=4, # 每个 worker 预取 4 个 batch
persistent_workers=True # 保持 worker 进程存活
)避坑指南：prefetch_factor 不能设置太大。
我曾经设成 10，结果内存直接爆了。建议从 2 开始，逐步增加。
知识体系总览
这三个参数配合使用，才能发挥最大效果。
我画了一张图，帮你理清它们之间的关系：
实战配置建议
根据我的经验，不同场景下的推荐配置如下：
| 场景 | num_workers | pin_memory | prefetch_factor |
|---|---|---|---|
| 小数据集（<10GB） | 2-4 | False | 2 |
| 中等数据集（10-100GB） | 4-8 | True | 2-4 |
| 大数据集（>100GB） | 8-16 | True | 4-8 |
| 实时推理 | 1-2 | True | 1 |
我的经验：先用默认配置跑一次，观察 GPU 利用率。
如果利用率低于 80%，就逐步调整这三个参数。
每次只改一个参数，这样才能知道哪个调整起了作用。
记住，优化数据加载不是一蹴而就的事。
你需要根据硬件配置、数据集大小、模型复杂度来不断调整。
但掌握了这三个参数，你就已经解决了 80% 的数据加载问题。