2、RKNN基础概念：RKNN工具链、模型转换流程、NPU架构特点、推理时延的关键影响因素

在进入RKNN模型转换与推理时延优化之前，必须先建立对RKNN工具链、模型转换流程、NPU硬件架构以及时延影响因素的系统性认知。很多开发者在实际调优时，往往直接跳到算子替换或量化参数调整，却忽略了底层工具链的工作机制和NPU的硬件特性，导致优化方向错误或事倍功半。本章将围绕这四个核心基础概念展开，为后续章节的实战调优打下坚实的认知底座。

2.1 RKNN工具链全景：从PC端到板端的完整链路

RKNN工具链是Rockchip为NPU（神经网络处理单元）提供的完整软件开发套件，其核心设计目标是让开发者能够将主流深度学习框架训练出的模型，高效地部署到搭载RK3588、RK3566、RK3568等芯片的嵌入式平台上。工具链的架构可以划分为三个层次：PC端开发工具、板端运行时环境以及模型仓库与示例代码。

核心原理：PC端的rknn-toolkit2负责模型转换、量化、仿真和性能预估。它接收ONNX、PyTorch或TensorFlow格式的模型文件，经过图优化、算子映射和量化后，生成RKNN格式的模型文件。这个文件包含了NPU可执行的指令序列、权重数据以及元信息。板端的rknn-toolkit-lite2则是一个轻量级的Python API，运行在目标板上，负责加载RKNN模型并调用NPU驱动执行推理。此外，rknn_server作为后台服务，管理NPU资源的分配和调度。

2.2 模型转换流程：从ONNX到RKNN的五个关键步骤

模型转换不是简单的格式变更，而是一个涉及图优化、算子映射和量化误差控制的复杂过程。理解每一步的内部机制，对于后续排查推理时延问题至关重要。

操作流程：

1. 模型导入与预处理：使用rknn.config()配置量化策略、目标平台等参数，然后通过rknn.load_onnx()或rknn.load_pytorch()加载模型。此阶段会进行基本的图检查，识别不支持的算子。
2. 图优化与算子映射：工具链会将计算图转换为内部中间表示（IR），并执行算子融合（如Conv+BN+ReLU融合）、常量折叠、冗余节点消除等优化。随后，将IR中的算子映射到NPU支持的算子集。无法映射的算子会被标记为"CPU算子"，这通常是性能瓶颈的来源。
3. 量化：默认使用INT8量化。工具链会分析权重和激活值的动态范围，选择合适的量化尺度（scale）和零点（zero point）。量化校准数据集的选择直接影响量化精度。
4. 生成RKNN模型：转换完成后，通过rknn.export_rknn()导出模型文件。该文件包含了NPU指令、量化参数和权重数据。
5. 板端部署与仿真：在PC端可以使用rknn.init_runtime()进行仿真推理，验证精度和性能。最终在板端通过rknn_toolkit_lite2加载模型进行实际推理。

2.3 NPU架构特点：理解硬件才能理解时延

RK3588集成的NPU算力达6 TOPS，但实际推理时延不仅取决于算力，更取决于数据搬运效率、算子并行度和存储带宽。NPU的架构设计决定了其擅长处理高并行、规则化的计算任务，而对不规则或依赖性强的小算子效率较低。

核心架构模块：

• MAC阵列：负责矩阵乘法和卷积运算。RK3588的NPU包含3个核心，每个核心有独立的MAC阵列。数据在阵列中的排布方式直接影响计算效率。
• 向量单元：处理激活函数、池化、归一化等元素级操作。向量单元与MAC阵列可以流水线并行，但需要避免数据依赖造成的等待。
• 存储层次：NPU内部有SRAM作为高速缓存，外部通过DDR访问权重和中间特征图。SRAM容量有限（通常为几百KB到几MB），当特征图或权重超过SRAM容量时，会产生频繁的DDR读写，这是时延的主要来源之一。
• 数据搬运引擎（DMA）：负责在DDR和SRAM之间搬运数据。DMA的带宽和调度效率决定了数据供给能否跟上计算单元的速度。

2.4 推理时延的关键影响因素：从算子到系统

推理时延是硬件架构、模型结构、运行时配置和系统环境共同作用的结果。在调优时，需要从多个维度进行拆解分析。

判断方法：当推理时延超标时，首先使用rknn-toolkit2的eval_perf()接口获取各算子的耗时分布。如果耗时集中在少数几个大算子（如Conv），则优化方向是减少计算量或提高计算效率；如果耗时分散在大量小算子或CPU算子，则优化方向是算子融合或模型结构改写。其次，通过rknn-toolkit-lite2的get_perf_detail()获取板端实际运行时的NPU利用率、DDR带宽占用等指标，判断是否存在数据搬运瓶颈。