1. 训练Pipeline整体架构与错误分类

训练一个模型，说白了就是把数据灌进网络，让损失降下去。但这个过程远比你想象的脆弱。数据读不出来、显存爆了、Loss 飞了、梯度炸了——这些我在无数深夜 Debug 中都遇到过。

这一节课，我们先画一张全局地图。你得先知道“正常流程”长什么样，才能在出问题时快速定位。我个人习惯把训练 Pipeline 拆成 5 个阶段，每个阶段都有特定的故障模式。

1.1 训练 Pipeline 的五个核心阶段

一个标准训练流程，可以简单分为下面几步：

1. 数据加载与预处理——从硬盘读数据、解码、增强、批处理。
2. 模型构建与初始化——定义网络结构、加载预训练权重、初始化参数。
3. 前向传播与损失计算——把数据送进模型，算 Loss。
4. 反向传播与梯度更新——算梯度，优化器更新权重。
5. 评估与保存——跑验证集，打 Log，存 Checkpoint。

嗯，这听起来不复杂，对吧？但真实工程里，每一个阶段都有可能崩。我遇到过最离奇的一次——数据加载慢得离谱，排查了两天才发现是 num_workers 设得太低，CPU 在那里单线程干活。

下面这张图，展示了从数据到模型的完整流程，以及每个环节会出现的典型错误。嗯，你把它当成一张故障地图就行。

1.2 错误类型全景图

好，聊完架构，看看错误分类。我习惯把错误归为四大类：数据层、模型层、训练层、部署层。每一层都有它的“常客”。

层级	错误类别	典型表现	排查方向
数据层	数据加载失败	FileNotFoundError, DecodeError	检查路径、文件完整性、编码格式
	数据分布偏移	训练集 Loss 低，验证集 Loss 高	抽样对比训练/验证集分布
	数据泄露	模型“记忆”特征而非学习	检查预处理是否混入了未来信息
模型层	维度不匹配	RuntimeError: size mismatch	打印每层输入输出 shape
	参数初始化失效	Loss 始终不变	检查是否忘记调用 init
	梯度传播中断	某些参数梯度为 None	检查 requires_grad 和 detach() 使用
训练层	梯度爆炸/消失	Loss 突然变成 NaN 或 Inf	使用 gradient clipping
	显存不足 (OOM)	CUDA out of memory	减小 batch size、使用梯度累加
	学习率设置不当	Loss 震荡或不收敛	尝试学习率调度或 warmup
部署层	模型转换失败	ONNX/TensorRT 导出报错	检查算子兼容性
	精度回退	FP32 走得好，FP16 就崩	检查量化/混合精度策略

1.3 错误排查的通用方法论

碰到复杂错误时，大多数人会陷入两个极端：要么到处乱试，要么盯着代码发呆。我个人总结了一套“三板斧”方法论，可以帮你稳下来。

第一步：缩小范围，定位阶段

把整个 Pipeline 拆成独立模块。比如怀疑数据加载有问题，就单独跑一段数据加载脚本，不激活模型。看看是不是这里崩的。

# 单独测试数据加载是否正常
import torch
from torch.utils.data import DataLoader

# 只加载一个 batch，不碰模型
dataset = MyDataset(...)
loader = DataLoader(dataset, batch_size=4, num_workers=0)

for batch in loader:
    print(batch.shape)
    break

这段代码如果跑通了，那问题大概率不在数据层。你想想看，是不是一下子缩小了排查范围？

第二步：复现条件，确认为题

对于偶发性错误，随手记录运行时的环境变量和随机种子。我曾经遇到过一个梯度爆炸问题，只在某个特定 epoch 出现，排查了两天才发现是数据打乱顺序偶发了异常样本。

import random
import numpy as np
import torch

# 固定所有随机种子，保证可复现
def seed_everything(seed=42):
    random.seed(seed)
    np.random.seed(seed)
    torch.manual_seed(seed)
    torch.cuda.manual_seed_all(seed)
    torch.backends.cudnn.deterministic = True

第三步：分治验证，替换测试

当你在某个阶段内排查时，用“分治”的思想。把可疑组件逐个替换成“已知正常的”版本。比如怀疑损失函数有问题？换成 CrossEntropy 试试。怀疑优化器有问题？换成 SGD 试试。

# 替换法排查：分别替换模型中的可疑组件
# 例：替换损失函数，看看是否正确
# 原始损失函数
# loss_fn = MyCustomLoss()

# 替换为已知正常的损失函数
loss_fn = torch.nn.CrossEntropyLoss()

# 跑一个 minibatch，观察行为
with torch.no_grad():
    output = model(dummy_input)
    loss = loss_fn(output, dummy_target)
    print(loss.item())

嗯，这套方法听起来平淡无奇，但效果极好。说白了，排错这件事，七成靠“隔离”，三成靠“经验”。你只要把大问题切成小片段，每个片段用已知正确的东西去验证，基本上没有排查不到的问题。