1. 课程导入
在边缘计算与端侧AI快速发展的今天，将目标检测模型部署到瑞芯微（Rockchip）系列NPU（神经网络处理单元）上，已经成为许多嵌入式工程师和算法工程师的必修课。RKNN（Rockchip Neural Network）工具链是瑞芯微官方提供的模型转换、量化、编译和部署工具，它能够将训练好的PyTorch、ONNX、TensorFlow等格式的模型转换为RKNN格式，从而在RK3568、RK3588、RV1126等芯片上高效运行。本章作为整个课程的开篇，将帮助您建立对RKNN YOLO部署的整体认知，明确学习目标、适用硬件平台以及课程项目的完整概览。
上图清晰地展示了RKNN YOLO部署的完整链路：从模型准备开始，经过RKNN工具链的转换、量化与编译，最终在板端通过RKNN Runtime加载模型进行NPU加速推理，并在CPU上完成YOLO特有的后处理逻辑。整个流程环环相扣，任何一个环节的疏漏都可能导致最终部署效果不达标。本课程将围绕这一主线，逐步深入每个环节的细节。
1.1 RKNN部署的核心原理与整体流程
核心原理：RKNN工具链的本质是一个跨平台模型编译器。它将训练框架中计算图（Graph）解析为中间表示（IR），然后针对瑞芯微NPU的硬件架构进行算子映射、内存规划和指令生成。NPU之所以能实现比CPU高得多的算力密度，是因为它采用了SIMD（单指令多数据）和脉动阵列等专用架构，能够并行执行大量乘加运算。YOLO模型主要由卷积层、批归一化层、激活函数（SiLU/ReLU）和上采样层组成，这些算子恰好是NPU最擅长的计算类型。
整体流程可拆解为以下五个阶段：
- 模型准备：使用PyTorch或Ultralytics框架训练YOLO模型，导出为ONNX格式。此阶段需要确保模型结构清晰、算子兼容。
- RKNN转换：通过Python脚本调用rknn-toolkit2，加载ONNX模型，配置输入输出的通道数、均值、归一化参数等。
- 量化与编译：将FP32权重转换为INT8或INT16格式，以减小模型体积并提升推理速度。量化过程需要准备校准数据集（通常为几百张代表真实场景的图片）。
- 板端部署：将生成的.rknn文件拷贝到开发板，使用RKNN Runtime的Python或C API加载模型，执行推理。
- 后处理：解析NPU输出的原始张量，执行置信度阈值过滤、NMS（非极大值抑制）、坐标解码等操作，最终得到检测框。
1.2 适用硬件平台与选型依据
瑞芯微NPU产品线覆盖从低功耗IPC到高性能边缘计算盒子，不同芯片的算力、内存带宽和支持的量化精度差异显著。选择正确的硬件平台是项目成功的第一步。
| 芯片型号 | NPU算力 | 典型内存 | 支持量化 | 适用场景 |
|---|---|---|---|---|
| RV1126 | 2 TOPS | 1-2GB DDR3 | INT8 | IPC摄像头、门禁 |
| RK3568 | 1 TOPS | 2-4GB DDR4 | INT8/INT16 | 智能NVR、边缘盒子 |
| RK3588 | 6 TOPS | 4-16GB LPDDR4x | INT8/INT16/FP16 | 高端边缘计算、机器人 |
| RK3576 | 6 TOPS | 4-8GB LPDDR4x | INT8/INT16 | AIOT、多路视频分析 |
选型判断方法：首先计算模型的理论计算量（FLOPs）。例如，YOLOv5s的输入为640×640时，FLOPs约为16.5G。若要求30FPS，则所需算力约为16.5G×30 = 495 GOPS ≈ 0.5 TOPS。但实际NPU利用率通常只有50%-70%，因此建议选择算力为理论值2-3倍的芯片。此外，还需考虑内存带宽：YOLO模型在推理时需要频繁读写特征图，内存带宽不足会成为瓶颈。
1.3 课程项目概览：从零部署YOLOv5s到RK3588
本课程以一个完整的实战项目为主线：将YOLOv5s模型部署到RK3588开发板，实现实时视频流目标检测。项目将覆盖从环境搭建到性能调优的全部环节，最终交付一个可运行的Python推理脚本，支持USB摄像头或RTSP视频流输入。
项目关键参数与约束：
- 模型：YOLOv5s（COCO预训练权重，80类目标）
- 输入分辨率：640×640（可动态调整）
- 量化精度：INT8（目标精度损失<2% mAP）
- 推理帧率：≥30FPS（端到端，含后处理）
- 开发环境：Ubuntu 20.04 + rknn-toolkit2 1.6.0 + Python 3.8
- 硬件：RK3588开发板（8GB内存版本）
项目阶段拆解：
- 阶段一（第2-4章）：搭建交叉编译环境，安装rknn-toolkit2和RKNN Runtime，验证板卡连接。
- 阶段二（第5-8章）：完成ONNX导出、RKNN转换、INT8量化，并对比量化前后精度。
- 阶段三（第9-12章）：在板端实现Python推理脚本，完成YOLO后处理（Decode + NMS），实现单张图片检测。
- 阶段四（第13-16章）：接入视频流，使用多线程流水线优化，达到实时检测效果。
- 阶段五（第17-20章）：性能调优，包括NPU算子融合、内存复用、CPU绑定等高级技巧。
1.4 常见误区与学习路径建议
误区一：认为RKNN转换是“一键完成”的。实际上，ONNX模型中的某些算子（如GridSample、自定义ROI Align）可能不被NPU支持，需要手工替换或拆分为多个子图。课程第6章将专门讲解算子兼容性排查方法。
误区二：忽视输入数据的预处理一致性。训练时通常使用RGB顺序、0-1归一化，而RKNN默认使用RGB顺序、0-255范围。若转换时配置错误，检测结果将完全错乱。本课程第5章会给出标准预处理代码模板。
误区三：后处理直接套用PyTorch代码。NPU输出的张量布局（NCHW vs NHWC）与PyTorch不同，且置信度阈值和NMS的IoU阈值需要针对量化模型重新调优。第9章将提供一套专为RKNN优化的后处理实现。
学习路径建议：建议按照课程顺序学习，前4章是基础，必须动手操作；第5-8章是核心转换流程，建议准备一个自己的模型（不限于YOLO）同步练习；第9-12章是部署实战，需要一块RK3588开发板；第13章之后是进阶内容，可根据实际项目需求选学。