课程导入：学习目标、课程结构、RKNN与ONNX简介、应用场景
1.1 为什么需要模型转换？
在深度学习落地过程中，我们通常先在 GPU 服务器上使用 PyTorch、TensorFlow 等框架训练模型，得到的是框架专属的权重文件。然而，实际部署到边缘设备（如瑞芯微 RK3588、RK3566 等 SoC）时，硬件厂商提供的推理引擎往往无法直接读取这些权重。以瑞芯微平台为例，其 NPU（神经网络处理单元）只接受 RKNN 格式的模型文件。因此，我们需要一条从训练框架到 NPU 的“翻译通道”——这就是本课程的核心主题：将 ONNX 模型转换为 RKNN 模型。
ONNX（Open Neural Network Exchange）作为一种开放的模型交换格式，扮演着“通用语言”的角色。绝大多数深度学习框架都能导出 ONNX 模型，而 RKNN-Toolkit2 则负责将 ONNX 模型“翻译”成 RKNN 格式，并针对瑞芯微 NPU 进行算子映射与量化优化。理解这条链路，是后续所有部署工作的基础。
1.2 课程学习目标
完成本课程后，你将能够独立完成从 ONNX 模型到 RKNN 模型的完整转换流程，并解决转换过程中遇到的大部分常见问题。具体目标如下：
- 理解模型转换链路：清晰掌握 PyTorch/TensorFlow → ONNX → RKNN 的完整流程，以及每一步的作用与必要性。
- 掌握 RKNN-Toolkit2 的使用：能够正确安装、配置 RKNN-Toolkit2 环境，并编写转换脚本。
- 熟练处理算子兼容性问题：识别并解决 ONNX 模型中不被 RKNN 支持的算子，包括算子替换、图优化等技巧。
- 掌握量化与精度调优：理解 RKNN 的量化原理（INT8/FP16），能够使用量化数据集进行精度验证，并针对精度下降进行调优。
- 完成板端部署验证：能够在瑞芯微开发板上运行 RKNN 模型，进行推理测试与性能评估。
1.3 课程结构总览
本课程共 30 章，按照“基础认知 → 环境搭建 → 转换实操 → 问题排查 → 进阶优化 → 项目实战”的逻辑递进。下表展示了课程的核心模块分布：
| 模块 | 章节范围 | 核心内容 |
|---|---|---|
| 基础认知 | 第 1-3 章 | 课程导入、ONNX 结构详解、RKNN 与 NPU 架构简介 |
| 环境准备 | 第 4-6 章 | RKNN-Toolkit2 安装、开发板环境配置、模型获取与准备 |
| 转换实操 | 第 7-12 章 | ONNX 转 RKNN 完整流程、量化配置、单输入/多输入模型转换 |
| 问题排查 | 第 13-18 章 | 算子不支持、维度报错、精度异常、性能瓶颈等典型问题 |
| 进阶优化 | 第 19-24 章 | 混合量化、算子融合、RKNN 模型加密、多模型并行 |
| 项目实战 | 第 25-30 章 | YOLOv8 检测、OCR 识别、人脸关键点等完整部署案例 |
每一章都配有可运行的代码示例和常见问题复盘，建议按照顺序学习，尤其是第 7 章之后的实操内容，需要动手完成转换实验才能达到最佳学习效果。
1.4 RKNN 与 ONNX 核心概念
为了后续章节的顺利展开，这里先明确两个核心概念的定义与关系。
ONNX（Open Neural Network Exchange） 是由微软、Facebook 等公司联合推出的开放模型格式。它将模型的计算图以拓扑结构保存，包含节点（算子）、边（张量）以及模型的元信息（版本、作者等）。ONNX 的核心价值在于其“中间表示”属性——它不直接用于推理，而是作为不同框架之间模型互转的桥梁。例如，PyTorch 模型可以通过 torch.onnx.export 导出为 ONNX 文件，该文件随后可以被 TensorRT、OpenVINO、RKNN 等不同推理引擎消费。
RKNN 是瑞芯微电子为其 NPU 设计的专有模型格式。RKNN 文件不仅包含模型的计算图结构，还包含了经过 NPU 驱动编译后的权重数据、算子调度信息以及量化参数。RKNN-Toolkit2 是瑞芯微官方提供的模型转换与推理工具，它支持将 ONNX、PyTorch、TensorFlow 等格式的模型转换为 RKNN 格式，并提供模拟器进行精度验证。
两者的关系可以类比为：ONNX 是“通用语言写成的原稿”，RKNN 是“针对特定 NPU 编译后的可执行程序”。转换过程并非简单的格式重写，而是涉及算子映射、内存布局优化、量化精度调整等一系列复杂操作。
1.5 典型应用场景
RKNN 模型转换技术广泛应用于瑞芯微平台的各种边缘 AI 场景。以下是几个最具代表性的应用方向：
- 智能安防与视觉检测：在 RK3588 等高性能 SoC 上部署 YOLOv8、PP-YOLOE 等目标检测模型，实现实时视频流中的人脸检测、车辆识别、安全帽佩戴检测等功能。这类场景通常要求模型在 INT8 量化下保持较高的 mAP，且推理延迟控制在 30ms 以内。
- 工业视觉质检：在 RK3566 驱动的工业相机中部署缺陷检测模型（如 PCB 焊点检测、纺织品瑕疵识别）。由于工业场景对精度要求极高，往往需要结合混合量化（部分层保持 FP16）来平衡速度与精度。
- 边缘 OCR 识别：在瑞芯微设备上运行文字检测 + 文字识别两阶段模型，用于车牌识别、票据数字化、快递单信息提取等。转换时需注意 DBNet 等检测模型中的自定义后处理算子如何映射到 RKNN。
- 智能家居与语音交互：在低功耗 RK3308 等平台上部署唤醒词检测、声纹识别等轻量级模型。此类模型通常较小（< 10MB），转换重点在于减少内存占用和启动延迟。
rknn-toolkit2 提供的模型分析工具）。
1.6 常见误区与学习建议
根据过往学员的反馈，在入门阶段最容易出现以下几个认知偏差，这里提前澄清：
- 误区一：ONNX 转 RKNN 是“一键式”操作。实际上，虽然 RKNN-Toolkit2 提供了简单的 API 调用，但转换过程中经常遇到算子不支持、维度不匹配等问题，需要手动修改模型结构或调整转换参数。本课程第 13-18 章将系统讲解这些问题的排查方法。
- 误区二：量化一定会导致精度大幅下降。对于大多数 CNN 模型，使用 500-1000 张代表性图片进行 INT8 量化校准后，精度损失可以控制在 1% 以内。但如果校准数据集选择不当（例如与真实场景分布差异过大），精度下降可能超过 5%。第 10 章将专门讲解量化数据集的选择策略。
- 误区三：转换成功后模型就能直接高效运行。RKNN 模型在板端的推理性能受限于内存带宽、CPU 与 NPU 的数据拷贝效率等因素。即使转换成功，也可能需要针对 NPU 的硬件特性进行算子融合或输入尺寸调整，才能达到最佳帧率。第 19-24 章的进阶优化内容将覆盖这些技巧。