课程导入：了解RKNN模型转换的整体流程、NPU子图分配的核心作用、课程目标与学习路径

在边缘计算与端侧AI快速落地的今天，Rockchip系列SoC（如RK3588、RK3576、RK3568等）凭借其内置的NPU（Neural Processing Unit）算力，成为众多嵌入式视觉、智能安防、工业检测产品的首选平台。然而，绝大多数AI模型最初是基于GPU或CPU环境（如PyTorch、TensorFlow、ONNX）训练得到的，这些模型无法直接在RKNN（Rockchip Neural Network）运行时上执行。开发者必须通过RKNN-Toolkit2工具链，将原始模型转换为RKNN格式的模型文件，并在此过程中完成算子的映射、权重的重排、量化策略的选定以及最关键的一步——NPU子图的分配与切分。本章作为整个课程的开篇，将系统梳理RKNN模型转换的整体流程，深入剖析NPU子图分配在其中的核心地位，并明确本课程的学习目标与路径。

1.1 RKNN模型转换的整体流程

RKNN模型转换并非简单的格式变更，而是一个涉及图优化、算子映射、精度量化、硬件适配的复杂编译过程。理解整体流程是掌握子图分配策略的前提。完整的转换流程可以划分为以下五个阶段：

1.1.1 模型加载与拓扑解析

RKNN-Toolkit2首先读取原始模型文件（如.onnx、.pt、.tflite），解析其计算图结构。此阶段会构建一个内存中的图表示（Graph IR），记录每个算子的类型、输入输出张量的形状、数据精度以及权重参数。值得注意的是，RKNN-Toolkit2对ONNX的支持最为完善，PyTorch模型通常需要先导出为ONNX格式再进行转换。在解析过程中，工具会检查模型的合法性，例如是否存在孤立节点、维度不匹配等问题。

1.1.2 算子支持度检查与映射

Rockchip NPU并非支持所有深度学习算子。RKNN-Toolkit2内置了一个算子库（OP-Support List），其中列出了NPU硬件加速的算子集合（如Conv2d、Relu、MaxPool、Gemm等），以及仅支持CPU执行的算子（如某些自定义算子、部分NMS变体、动态形状相关的算子）。此阶段会将原始模型中的每个算子与算子库进行比对，标记出“NPU支持”和“NPU不支持”两类节点。这一检查结果是后续子图划分的直接依据。

1.1.3 子图划分与分配策略

这是整个转换流程的核心决策点。RKNN-Toolkit2会将计算图切分为多个子图（Subgraph），其中包含NPU支持算子的连续区域被划分为“NPU子图”，而包含不支持算子的区域则被划分为“CPU子图”。NPU子图将被编译为NPU可执行的指令序列，CPU子图则保留为ARM CPU上的算子调用。子图之间的边界会产生数据拷贝开销（NPU与CPU共享内存或通过DMA搬运），因此切分策略直接决定了推理性能的上限。

1.1.4 量化与权重转换

为了充分利用NPU的整数计算单元，RKNN通常采用INT8或INT16量化。此阶段会收集激活值的动态范围（通过校准数据集），计算缩放因子（Scale）和零点（Zero Point），并将浮点权重转换为定点整数。量化策略（如逐层量化、逐通道量化）的选择会影响模型精度，而量化后的权重排布方式（如通道重排）则影响NPU的访存效率。

1.1.5 RKNN模型生成与验证

最后，工具将编译后的NPU指令、CPU算子代码、量化参数以及模型元数据打包为.rknn文件。开发者可以在PC上通过模拟器（Simulator）验证模型输出的正确性，或直接部署到开发板上进行实测。生成的RKNN模型还支持设置NPU核心数（如RK3588双核NPU）、CPU亲和性等运行时属性。

阶段	关键输入	核心输出	对子图分配的影响
模型加载	ONNX/PyTorch/TF文件	图IR（Graph IR）	提供完整的拓扑结构
算子检查	图IR + OP-Support列表	算子支持标记	确定哪些节点可进入NPU子图
子图划分	支持标记 + 硬件约束	子图边界定义	直接决定NPU/CPU执行比例
量化转换	子图 + 校准数据集	INT8权重与量化参数	影响子图内的数据精度与内存占用
模型生成	编译后的子图	.rknn文件	固化子图分配结果

1.2 NPU子图分配的核心作用

NPU子图分配之所以关键，是因为它直接决定了硬件利用率与系统整体性能。一个不合理的切分可能导致NPU大部分时间处于空闲状态，或者CPU与NPU之间频繁进行数据同步，造成严重的性能瓶颈。

1.2.1 性能的决定性因素

在端侧推理中，端到端延迟由三部分构成：NPU计算时间、CPU计算时间、以及NPU与CPU之间的数据搬运时间。理想情况下，我们希望所有算子都在NPU上执行，但现实是任何模型都可能包含NPU不支持的算子（如某些动态尺寸的Resize、复杂的NMS后处理）。子图分配策略的目标是：在满足功能正确性的前提下，最大化NPU子图的覆盖范围，同时最小化子图边界的数量和数据拷贝量。例如，一个包含100个算子的模型，如果切分为3个NPU子图和2个CPU子图，那么就会产生4个边界，每个边界都可能涉及一次完整特征图的DMA传输。对于高分辨率的特征图（如1920x1080），这种拷贝开销可能远超计算本身的耗时。

1.2.2 内存与带宽的约束

NPU子图分配还受到硬件内存架构的约束。Rockchip NPU通常使用内部SRAM作为高速缓存，当子图过大或中间张量过多时，可能超出SRAM容量，导致数据被频繁换入换出到DDR。此时，即使算子都支持NPU，性能也可能不如将部分算子放到CPU上执行。此外，CPU与NPU共享DDR带宽，如果子图分配导致CPU和NPU同时大量访问DDR，可能引发带宽竞争，反而降低整体吞吐量。

1.2.3 精度与数值稳定性的权衡

量化误差是NPU推理必须面对的问题。某些算子（如Softmax、LayerNorm）在INT8量化下精度损失较大，RKNN-Toolkit2可能会自动将这些算子分配到CPU子图，以浮点方式计算，从而保证整体精度。子图分配策略需要在“性能优先”和“精度优先”之间做出权衡。例如，在YOLO系列检测模型中，最后的Sigmoid和某些坐标解码操作通常被保留在CPU上执行，以确保边界框回归的精度。

1.3 课程目标与学习路径

本课程旨在帮助AI应用工程师、嵌入式软件工程师以及系统架构师，系统掌握RKNN模型转换中子图分配的原理、方法与调优技巧。通过本课程的学习，学员将能够：

• 理解底层机制：深入理解RKNN-Toolkit2的子图划分算法逻辑，包括算子融合规则、切分点的选择依据以及默认策略的局限性。
• 掌握分析方法：学会使用RKNN-Toolkit2提供的性能分析工具（如rknn_build的日志输出、Profiling功能）来定位子图分配中的性能瓶颈。
• 实施手动优化：掌握通过修改模型结构（如算子替换、图重构）、调整转换参数（如target_platform、optimization_level）来干预子图分配结果的方法。
• 应对复杂场景：能够处理包含多输入多输出、动态形状、控制流（如循环、条件分支）等复杂模型的子图分配问题。
• 平衡性能与精度：建立系统的调优方法论，在性能与精度之间找到最适合业务需求的平衡点。

1.3.1 课程内容架构

本课程共分为30个章节，按照“基础原理 → 工具实践 → 高级调优 → 实战案例”四个层次递进。第1至5章聚焦于RKNN转换流程与子图分配的基础概念；第6至12章深入讲解算子支持度、量化策略与子图切分的具体规则；第13至20章介绍性能分析工具、内存优化技巧以及针对不同模型架构（CNN、Transformer、LSTM）的专项调优；第21至28章通过多个真实项目案例（如人脸检测、车牌识别、姿态估计）进行全流程演练；最后两章总结常见问题与排障手册，并展望RKNN下一代技术趋势。

1.3.2 学习方法建议

考虑到子图分配是一个实践性极强的领域，建议学员在学习过程中遵循以下路径：

1. 动手实验：每学习一个原理，立即在RK3588或RK3568开发板上进行验证。使用RKNN-Toolkit2自带的示例模型（如mobilenet_v1、yolov5s）进行转换，观察默认的子图分配结果。
2. 日志分析：养成查看转换日志的习惯。RKNN-Toolkit2在构建模型时会输出详细的算子分配信息，包括每个算子被分配到哪个子图、子图之间的连接关系等。学会从日志中提取关键信息是调优的基础。
3. 对比测试：针对同一模型，尝试不同的转换参数（如开启/关闭optimization_level、手动指定custom_ops），对比生成的RKNN模型在推理速度、内存占用和精度上的差异。
4. 社区交流：Rockchip官方社区和GitHub上有大量关于子图分配问题的讨论，遇到问题时先搜索再提问，往往能获得现成的解决方案。

1.3.3 预期学习成果

完成本课程后，学员应具备以下能力：能够独立分析一个陌生模型在RKNN转换过程中可能遇到的子图分配问题；能够熟练使用工具链提供的各种接口和参数来优化子图划分；能够针对特定硬件平台（如RK3588的双核NPU）设计合理的多线程流水线方案，使NPU与CPU并行工作，最大化系统吞吐量。更重要的是，学员将建立起一种“硬件感知”的模型优化思维，在模型设计阶段就能预判哪些结构有利于NPU加速，哪些结构会导致性能退化。