2、深度学习模型部署基础：模型训练与推理的区别、常见部署流程、硬件平台概述（CPU/GPU/NPU）
在进入ONNX Runtime与RKNN的实战之前，我们必须先厘清深度学习从“实验室”走向“生产线”的核心逻辑。很多初学者在完成模型训练后，习惯性地将训练代码直接搬到服务器或嵌入式设备上运行，结果发现推理速度极慢、内存占用过高，甚至根本无法运行。这背后的根本原因在于：训练与推理是两种截然不同的工程范式。本章将系统梳理二者的本质区别、标准部署流程以及CPU/GPU/NPU三大硬件平台的选型逻辑，为后续的模型转换与算子适配打下坚实的认知基础。
2.1 模型训练与推理的本质差异
核心原理：训练（Training）是一个参数寻优过程，其目标是通过大量标注数据迭代更新网络权重，使损失函数最小化。训练过程中，框架需要保存每一层的中间激活值用于反向传播计算梯度，因此内存开销巨大。而推理（Inference）则是参数固化后的前向计算，仅需一次正向传播即可得到输出，无需保留中间梯度信息。
从计算图的角度看，训练图是“双向”的——既有前向又有反向，而推理图是“单向”的。这意味着推理阶段可以大幅简化计算图结构，例如将BatchNorm层与卷积层融合、去掉Dropout层、消除不必要的分支等。这也是为什么ONNX Runtime在转换时会对计算图进行大量优化。
| 对比维度 | 训练阶段 | 推理阶段 |
|---|---|---|
| 数据规模 | 百万级样本，批量输入（Batch=32/64/128） | 单张或小批量（Batch=1/4/8） |
| 计算方向 | 前向 + 反向（梯度计算） | 仅前向 |
| 内存占用 | 需保存激活值、梯度、优化器状态 | 仅需保存权重和当前层输出 |
| 数值精度 | FP32为主，混合精度训练（FP16+FP32） | FP16/INT8/INT4量化，追求极致速度 |
| 硬件需求 | 高性能GPU集群（A100/V100） | 边缘NPU、嵌入式GPU、低功耗CPU |
| 延迟要求 | 无严格限制，以吞吐量为优先 | 毫秒级响应，实时性要求高 |
model.eval() 与 torch.no_grad() 是否已正确设置。在ONNX导出时，必须确保模型处于推理模式，否则导出的计算图会包含训练专用算子。
2.2 深度学习模型的标准部署流程
操作流程：从训练好的模型到可用的推理服务，通常需要经过以下五个关键步骤。每一步都有其特定的工具链和验证方法，缺一不可。
- 模型导出（Export）：将PyTorch/TensorFlow模型转换为中间表示格式（如ONNX）。关键参数包括输入张量的形状、动态轴设置、算子版本兼容性。
- 模型优化（Optimize）：使用ONNX Simplifier或TensorRT等工具进行图优化，包括算子融合、常量折叠、冗余节点消除。
- 精度验证（Validate）：对比原始模型与转换后模型的输出差异，通常要求余弦相似度大于0.99或最大绝对误差小于1e-3。
- 硬件适配（Adapt）：针对目标硬件（NPU/GPU）进行算子映射和内存布局调整。例如RKNN需要将ONNX算子映射为NPU支持的算子类型。
- 部署集成（Deploy）：编写推理服务代码，封装为API或SDK，进行端到端测试和性能调优。
dynamic_axes={'input': {0: 'batch', 2: 'height', 3: 'width'}}，否则后续转换到RKNN时会因形状不匹配而失败。
2.3 硬件平台概述：CPU / GPU / NPU
核心原理：不同硬件平台的设计目标决定了其适用场景。CPU（中央处理器）擅长复杂逻辑控制和低延迟单线程任务，但并行计算能力有限；GPU（图形处理器）拥有数千个计算核心，适合大规模并行矩阵运算，但功耗较高；NPU（神经网络处理器）则针对卷积、矩阵乘等深度学习核心算子进行了专用硬件加速，在能效比上具有显著优势。
| 特性 | CPU | GPU | NPU |
|---|---|---|---|
| 典型代表 | Intel Xeon / ARM Cortex-A | NVIDIA A100 / Jetson Orin | RK3588 NPU / 华为昇腾310 |
| 并行能力 | 低（4-64核） | 高（数千CUDA核心） | 极高（专用MAC阵列） |
| 功耗 | 15W-200W | 70W-400W | 3W-15W |
| 精度支持 | FP32/FP64 | FP32/FP16/INT8 | FP16/INT8/INT4 |
| 适用场景 | 轻量级推理、预处理、控制逻辑 | 云端训练、高性能推理 | 边缘端实时推理、嵌入式设备 |
案例拆解：以RK3588平台为例，其内置的6 TOPS NPU在运行YOLOv5s模型时，FP16精度下可实现约30 FPS的推理速度，功耗仅5W左右。而同样的模型在树莓派4B的CPU上运行，速度仅为2 FPS，功耗却达到7W。如果使用NVIDIA Jetson Orin（GPU），虽然能达到60 FPS，但整板功耗高达15W-40W。这个对比清晰地展示了NPU在边缘部署中的能效比优势。
2.4 部署流程中的关键决策点与复盘
总结复盘：在实际项目中，部署失败往往不是单一原因造成的，而是多个环节的累积问题。以下是三个高频故障点及其排查策略：
- 算子兼容性：ONNX导出成功不代表目标硬件支持。使用
onnxruntime.get_available_providers()检查执行提供程序，或使用RKNN Toolkit的rknn.config()查看算子映射报告。 - 精度漂移：FP32转INT8后精度下降超过1%时，需要收集校准数据集进行量化校准，并尝试混合量化（敏感层保持FP16）。
- 内存瓶颈：NPU的SRAM通常只有几百KB，当模型中间特征图过大时，需要频繁与DDR交换数据，导致实际速度远低于理论算力。此时应优化网络结构（减少通道数）或使用更小的输入分辨率。