3. YOLO模型基础

在SNPE（Snapdragon Neural Processing Engine）目标检测部署流程中，YOLO（You Only Look Once）系列模型是最常被选用的检测算法之一。无论是YOLOv5还是YOLOv8，其核心思想都是将目标检测视为一个端到端的回归问题——输入一张图像，直接输出所有目标的边界框坐标、置信度以及类别概率。理解YOLO的网络结构演进和输出张量的物理含义，是完成模型转换（如ONNX→DLC）、量化校准以及后处理代码编写的前提。本章将深入拆解YOLOv5与YOLOv8的架构差异，并重点解析输出张量中每个维度的实际意义，为后续在SNPE上实现高效推理打下坚实基础。

YOLO模型输出张量解码链路（SNPE部署视角） 输入图像 640×640×3 Backbone CSPDarknet / C2f 模块 特征提取 Neck (FPN+PAN) 多尺度特征融合 P3 / P4 / P5 Detect Head v5: 耦合卷积 v8: 解耦头 输出张量 1 × 25200 × 85 (v5 80类) 1 × 8400 × 84 (v8 80类) 后处理解码（SNPE CPU/GPU） 1. 边界框解码 (xywh → xyxy) 2. 置信度过滤 (阈值筛选) 3. NMS 非极大值抑制 4. 缩放映射回原图坐标 关键差异 v5: 锚点框 (Anchor) v8: 无锚点 (Anchor-Free) v8 解耦分类/回归 v5 耦合输出 SNPE部署时，需根据模型版本解析输出张量维度，并编写对应的C++/Java后处理代码

上图展示了从输入图像到最终检测结果的完整数据流。在SNPE部署中，我们通常将预处理（缩放、归一化）放在CPU或GPU上完成，将Backbone+Neck+Head的推理部分转换为DLC（Deep Learning Container）格式在SNPE上运行，而后处理（解码、NMS）则根据性能需求选择在CPU（使用SNPE的CPU runtime）或GPU（使用OpenCL runtime）上执行。理解这个链路，是正确解析输出张量的第一步。

3.1 YOLOv5网络结构：CSPDarknet与耦合检测头

YOLOv5自2020年发布以来，凭借其工程上的易用性和推理速度的平衡，成为工业界部署最广泛的检测模型之一。其网络结构主要由三部分组成：Backbone（主干网络）、Neck（颈部网络）和Head（检测头）。

3.1.1 核心原理：CSPDarknet与Focus结构

YOLOv5的Backbone基于CSPDarknet53改进而来。CSP（Cross Stage Partial）结构的核心思想是将特征图在通道维度上分为两部分，一部分经过卷积块处理，另一部分直接与处理后的结果拼接（Concat），从而在减少计算量的同时保证梯度流的丰富性。YOLOv5s版本中，输入图像首先经过一个Focus模块（在v6.0版本后替换为6×6卷积），将640×640×3的图像切片为320×320×12，再通过卷积提取特征。这一设计有效降低了计算量，但增加了底层操作的复杂度。

Neck部分采用FPN（特征金字塔）+PAN（路径聚合网络）结构。FPN自顶向下传递强语义特征，PAN自底向上传递强定位特征，两者结合使得不同尺度的特征图（P3、P4、P5）都具备丰富的语义和位置信息。P3对应80×80分辨率（小目标），P4对应40×40（中目标），P5对应20×20（大目标）。

3.1.2 输出张量结构：锚点机制下的耦合输出

YOLOv5的检测头是耦合的，即边界框回归和分类任务共享同一组卷积层。对于COCO数据集（80类），每个尺度的特征图上的每个网格（grid cell）会预测3个锚点框（Anchor）。因此，输出张量的维度为：

批量大小 × 锚点数 × (5 + 类别数) × 特征图高 × 特征图宽
= 1 × 3 × 85 × 80 × 80   (P3层)
= 1 × 3 × 85 × 40 × 40   (P4层)
= 1 × 3 × 85 × 20 × 20   (P5层)

在ONNX导出时，这三个输出通常会被合并（Reshape + Concat）为一个张量：1 × 25200 × 85。其中25200 = 3 × (80×80 + 40×40 + 20×20)。85维向量的排布为：[cx, cy, w, h, obj_conf, class_0_prob, class_1_prob, ..., class_79_prob]。

维度索引 含义 说明
0-1 cx, cy 预测框中心点相对于网格的偏移（需经Sigmoid处理）
2-3 w, h 预测框的宽高（基于锚点的缩放值，需指数解码）
4 obj_conf 目标置信度（该位置存在目标的概率）
5-84 class_probs 80个类别的条件概率（需经Sigmoid处理）
关键陷阱：YOLOv5的原始输出是未经过Sigmoid/Exp激活的原始logits。在SNPE后处理中，必须手动对cx、cy、obj_conf和class_probs施加Sigmoid，对w、h施加Exp（并乘以锚点尺寸），否则解码结果将完全错误。很多初学者在部署时直接使用输出张量，导致检测框偏移或置信度异常。

3.2 YOLOv8网络结构：C2f模块与解耦头

YOLOv8是Ultralytics在2023年发布的版本，在结构上对v5进行了多项重要改进。最显著的变化是去除了锚点机制（Anchor-Free），并引入了解耦检测头（Decoupled Head）。

3.2.1 核心原理：C2f与Anchor-Free

YOLOv8的Backbone将v5的C3模块替换为C2f模块。C2f借鉴了ELAN（Efficient Layer Aggregation Network）的思想，通过更多的分支连接和更深的梯度流，在保持轻量化的同时提升了特征表达能力。Neck部分仍然采用FPN+PAN结构，但细节上做了优化。

更重要的是，YOLOv8彻底抛弃了锚点框。在Anchor-Free模式下，每个网格（grid cell）直接预测一个目标中心点（而非多个锚点），回归目标变为从网格左上角到中心点的距离（即ltrb形式：left, top, right, bottom）。这一改变简化了后处理逻辑，减少了超参数（锚点尺寸）的调优工作，也使得模型在不同数据集上的泛化能力更强。

3.2.2 输出张量结构：解耦输出与DFL

YOLOv8的检测头是解耦的，即分类和回归分别由不同的卷积分支完成。其输出不再是单一的85维向量，而是分为两个部分：

1. 分类分支：1 × 80 × 8400   (80类概率，已过Sigmoid)
2. 回归分支：1 × 64 × 8400   (4个边界框距离 × 16个DFL积分值)

其中8400 = 80×80 + 40×40 + 20×20（每个位置只预测一个框）。DFL（Distribution Focal Loss）是YOLOv8回归分支的核心创新，它将每个边界框距离（l、t、r、b）建模为16个离散概率分布的加权和，而非直接回归一个连续值。解码时，需要对这16个值进行Softmax，然后与预设的积分区间（0~15）做点积，得到最终的边界框距离。

解码公式（YOLOv8）：
distance = Σ (softmax(dfl_logits[i]) × i) for i in range(16)
然后，cx = grid_x - distance[0]，cy = grid_y - distance[1]，w = distance[2] + distance[3]，h = distance[4] + distance[5]。

3.3 输出张量对比与SNPE部署要点

在SNPE上部署YOLO模型时，理解v5和v8的输出差异直接决定了后处理代码的编写方式。下表总结了关键对比：

对比维度 YOLOv5 YOLOv8
锚点机制 Anchor-based（3个锚点/网格） Anchor-Free（1个中心点/网格）
输出张量形状 1 × 25200 × 85（合并后） 分类：1×80×8400；回归：1×64×8400
边界框编码 xywh（相对网格偏移+锚点缩放） ltrb（距离网格四边的距离）
激活函数 Sigmoid（cx,cy,obj,cls）+ Exp（w,h） Sigmoid（cls）+ Softmax（DFL积分）
后处理复杂度 中等（需锚点表） 较低（无需锚点，但需DFL解码）
SNPE转换注意 需确保ONNX中的Concat/Reshape被正确支持 需处理两个输出分支，注意输出顺序

3.3.1 案例拆解：从ONNX到SNPE的YOLOv8后处理实现

假设我们有一个训练好的YOLOv8s模型，输入尺寸640×640，类别数80。在SNPE SDK中，我们使用snpe-onnx-to-dlc工具完成转换。转换后，通过snpe-net-run或C++ API获取输出，我们会得到两个张量：output0（形状1×80×8400）和output1（形状1×64×8400）。

在编写后处理代码时，关键步骤如下：

  1. 张量重排：将output0从1×80×8400重排为8400×80，将output1从1×64×8400重排为8400×64。注意SNPE输出的内存布局是NCHW，需要按通道维展开。
  2. DFL解码：对output1的每一行（64个值），将其reshape为4×16，对每个16维向量做Softmax，然后与[0,1,...,15]做点积，得到4个距离值（l,t,r,b）。
  3. 坐标计算：根据网格索引（i,j）计算中心点：cx = j - l，cy = i - t，w = l + r，h = t + b。注意这里的坐标是相对于640×640输入图的，需要除以640（或乘以缩放系数）映射回原图。
  4. 置信度过滤：对output0的每一行，取最大值作为类别概率，并与该位置的obj_conf（在v8中，分类分支已包含目标性，无需单独的obj）相乘得到最终置信度。设置阈值（如0.25）过滤低分框。
  5. NMS：对过滤后的框执行类别内NMS（IoU阈值0.45），得到最终检测结果。
// 伪代码示例（C++风格）
for (int i = 0; i < 8400; ++i) {
    // 1. DFL解码
    float* dfl_ptr = output1 + i * 64;
    float dist[4];
    for (int k = 0; k < 4; ++k) {
        float sum = 0;
        for (int j = 0; j < 16; ++j) sum += exp(dfl_ptr[k*16+j]);
        float dot = 0;
        for (int j = 0; j < 16; ++j) dot += j * (exp(dfl_ptr[k*16+j]) / sum);
        dist[k] = dot;
    }
    // 2. 计算边界框
    int grid_x = i % 80;  // 假设在P3层
    int grid_y = i / 80;
    float cx = grid_x - dist[0];
    float cy = grid_y - dist[1];
    float w = dist[2] + dist[3];
    float h = dist[4] + dist[5];
    // 3. 分类得分
    float* cls_ptr = output0 + i * 80;
    int cls_id = argmax(cls_ptr, 80);
    float score = cls_ptr[cls_id];
    if (score > 0.25) { /* 保存候选框 */ }
}

3.3.2 常见误区与复盘

误区一：忽略输出张量的内存布局。SNPE默认输出为NCHW格式，而很多后处理代码习惯NHWC。如果直接按NHWC方式索引，会导致数据错位。建议在拿到输出后，先打印张量的shape和stride，确认布局后再编写解析代码。
误区二：YOLOv8的DFL解码被遗漏。有些开发者将v8的回归输出当作v5的xywh直接使用，导致检测框严重偏移。务必检查回归分支的通道数是否为4×16=64，如果是，则必须进行DFL积分解码。
经验总结：在SNPE部署前，建议先在PC端使用ONNX Runtime验证模型的输出和后处理逻辑。将SNPE的输出与ONNX Runtime的输出进行数值比对（允许一定误差），确保转换后的模型输出正确。这一步能节省大量在真机上调试的时间。

此外，关于置信度阈值的选择，在SNPE上部署时，由于INT8量化可能引入精度损失，建议将阈值适当降低（如从0.25降至0.2），以召回更多目标，再通过NMS过滤。同时，NMS的IoU阈值不宜过高（0.45~0.5），否则在密集场景下会产生大量重叠框。

最后，需要特别注意的是，YOLOv5和YOLOv8在导出ONNX时，输出节点的名称和顺序可能因版本而异。在SNPE的DLC转换过程中，务必使用--out_node参数明确指定输出节点，避免因默认输出顺序错误导致后处理解析失败。建议在转换前使用Netron可视化ONNX模型，确认输出张量的名称和维度。

← 上一章 📖 返回目录 下一章 →