课程导入：动态batch size在边缘AI部署中的意义、RKNN工具链简介、课程学习路径与目标

在边缘AI部署的真实场景中，模型推理的输入规模往往不是固定不变的。以智能摄像头为例，白天车流量大时单帧画面中目标数量多，夜间目标稀少；工业质检产线上，不同批次工件的尺寸和缺陷密度差异显著；智能座舱内，驾驶员和乘客的数量、姿态变化频繁。如果模型在转换时被锁定为单一batch size，要么因batch过大导致内存溢出或推理延迟超标，要么因batch过小浪费算力资源。动态batch size（Dynamic Batch Size）允许模型在运行时根据实际负载调整一次推理的样本数量，是平衡吞吐量、延迟和内存占用三大指标的关键手段。然而，在Rockchip的RKNN工具链中，动态batch size的实现并非简单的参数修改，它涉及模型结构约束、内存复用策略、驱动调度机制和运行时API的协同设计。本章作为全课程的开篇，将首先阐明动态batch size在边缘AI部署中的战略价值，随后介绍RKNN工具链的整体架构与核心组件，最后给出本课程的学习路径与预期目标，为后续章节的深入实践奠定认知基础。

1.1 动态batch size在边缘AI部署中的战略意义

1.1.1 核心原理：为什么固定batch size不够用

边缘AI设备的算力资源（NPU/GPU/CPU）、内存带宽和功耗预算都是受限的。固定batch size的模型在转换时，编译器会按照预设的shape分配静态内存、优化算子调度。这种方式的优点是实现简单、运行时开销小，但缺点同样明显：无法适应负载波动。例如，一个使用batch=4转换的检测模型，在只有1路视频流输入时，NPU仍有75%的算力闲置；而当视频流增加到8路时，batch=4又无法满足实时性要求，必须排队等待。动态batch size的核心思想是：将batch维度从静态编译参数变为运行时可变参数，让模型在推理时根据输入队列长度、当前NPU占用率、延迟预算等指标，动态选择最优的batch值。

从系统层面看，动态batch size的价值体现在三个维度：

• 资源利用率最大化：NPU的算力通常在大batch时才能达到峰值TOPS，动态batch允许系统在突发负载时自动增大batch，将算力“吃满”。
• 延迟SLA保障：对于实时交互类应用（如自动驾驶、工业控制），单帧延迟必须严格控制在几十毫秒内，动态减小batch可以缩短排队时间。
• 内存占用优化：RKNN模型在转换时会为输入输出tensor分配连续内存，动态batch意味着内存池可以按需扩展或收缩，避免为最大batch预留过多空间。

1.1.2 判断方法：何时需要动态batch size

在实际项目中，并非所有场景都需要动态batch。以下判断标准可以帮助你决策：

一个典型的判断流程是：先统计业务负载的分布曲线，如果峰值/谷值比超过3:1，且延迟要求严格，则强烈建议使用动态batch；如果负载平稳且内存充裕，固定batch反而更简单可靠。

1.1.3 案例拆解：智能安防多路视频流场景

某智慧园区项目需要在一台RK3588设备上部署人员检测模型，同时接入6~12路1080p摄像头。初始方案使用固定batch=4，转换后模型在6路输入时NPU利用率仅40%，延迟约25ms；当接入12路时，由于batch=4需要分3次推理，总延迟飙升至80ms，超过50ms的SLA要求。

改用动态batch方案后，推理调度器根据当前活跃视频流数量动态调整：6路时使用batch=6，12路时使用batch=12。实测结果：NPU利用率提升至85%，12路时延迟稳定在45ms以内。代价是模型转换时间从2分钟增加到5分钟（需要生成动态shape版本），且内存占用峰值比固定batch=12方案低30%。

复盘经验：动态batch的收益在负载波动大的场景中非常显著，但需要配套的调度策略（如基于队列长度的反馈控制），否则可能出现batch频繁切换导致的性能抖动。

1.1.4 常见误区与总结

• 误区一：动态batch一定比固定batch快。实际上，动态shape可能导致编译器无法做某些算子融合优化，单batch推理性能可能下降5%~10%。
• 误区二：所有模型都能转动态batch。包含非均匀采样、动态控制流等结构的模型可能不支持。
• 误区三：动态batch只影响推理阶段。实际上，它还会影响前处理（如resize、归一化）和后处理（如NMS）的batch维度设计。

总结：动态batch size是边缘AI部署中应对负载波动、优化资源利用率的有效手段，但需要从模型结构、转换配置、运行时调度三个层面协同设计。

1.2 RKNN工具链全景简介

1.2.1 核心原理：RKNN工具链的组成与工作流程

RKNN是Rockchip为旗下NPU（如RK3566、RK3588、RK3576）设计的神经网络推理框架。工具链的核心组件包括：

• rknn-toolkit2：运行在PC上的Python包，负责将PyTorch/ONNX/TensorFlow等模型转换为RKNN格式，支持量化（INT8/FP16）、模型验证和性能评估。
• rknn-toolkit-lite2：运行在开发板上的Python API，用于加载RKNN模型并执行推理，支持动态shape输入。
• rknn_server：板端后台服务，负责接收PC端的转换请求或提供推理服务。
• rknn_model_zoo：官方提供的预训练模型库和示例代码，覆盖检测、分类、分割等常见任务。

工作流程通常为：模型训练（PC）→ 模型转换与量化（PC，rknn-toolkit2）→ 模型部署（板端，rknn-toolkit-lite2）→ 运行时推理。其中，动态batch size的支持需要在转换阶段通过config参数指定动态shape范围，并在板端推理时通过API传入实际的batch值。

1.2.2 操作流程：从ONNX到RKNN动态batch模型

以下是一个简化的转换流程示例（详细参数将在后续章节展开）：

# PC端转换脚本（简化版）
from rknn.api import RKNN

rknn = RKNN()
# 配置动态shape范围：batch从1到8
rknn.config(target_platform='rk3588',
            dynamic_input=True,
            dynamic_batch_range=[1, 8])

# 加载ONNX模型
rknn.load_onnx(model='yolov5s.onnx')

# 构建RKNN模型（此处会生成动态shape版本）
rknn.build(do_quantization=True, dataset='dataset.txt')

# 导出RKNN文件
rknn.export_rknn('yolov5s_dynamic.rknn')

在板端推理时，通过rknn.inference(inputs=[...], data_format='nhwc')传入实际batch大小的输入数据即可，无需重新加载模型。

1.2.3 案例拆解：RK3588上动态batch模型转换的完整闭环

某工业质检项目使用RK3588部署缺陷检测模型（基于YOLOv5s）。初始转换时未开启动态batch，导致产线上不同批次工件数量变化时，需要维护多个RKNN模型文件（batch=1、2、4各一个），部署和切换非常繁琐。

优化方案：在转换时开启dynamic_input=True并设置batch范围[1, 8]。转换过程中发现，模型中的Focus层和SPP层在动态shape下无法直接编译，需要先修改模型结构（将Focus替换为Conv+BN，SPP改为SPPF）。修改后转换成功，板端推理时通过rknn.inference传入不同batch的输入，实测batch=1时延迟12ms，batch=8时延迟45ms，线性扩展比约85%。

风险与代价：动态shape版本模型大小增加了约15%（因为需要存储多个shape的算子调度信息），且首次推理时会有额外的shape初始化开销（约5ms）。

复盘经验：在转换前务必检查模型结构是否支持动态shape，特别是自定义层和特殊算子。建议先用rknn.config(verbose=True)查看详细的编译日志，提前发现不支持的算子。

1.2.4 常见误区与总结

• 误区一：RKNN工具链只支持Rockchip自家模型。实际上，它支持主流的ONNX/PyTorch/TensorFlow模型，只需先导出为ONNX格式。
• 误区二：动态batch会显著降低推理精度。精度损失主要来自量化，与batch是否动态无关。
• 误区三：转换时开启动态batch后，所有算子都会自动支持。部分算子（如某些Resize模式）需要手动调整。

总结：RKNN工具链提供了从模型转换到板端推理的完整链路，动态batch的支持需要转换配置和模型结构双方面配合。

1.3 课程学习路径与目标

1.3.1 核心原理：课程知识体系架构

本课程共30章，按照“基础→进阶→实战”的逻辑组织。第1~5章聚焦RKNN工具链基础与动态batch原理；第6~15章深入模型转换、量化、算子适配等关键技术；第16~25章覆盖板端部署、性能调优、多模型调度等实战内容；第26~30章通过完整项目案例（智能安防、工业质检、自动驾驶等）串联全部知识点。

学习路径建议：先掌握第1~3章的基础概念，再通过第4~10章的动手实验熟悉工具链操作，最后结合第11~30章的实战项目提升综合能力。每章均配有代码示例、常见问题排查和性能调优技巧。

1.3.2 判断方法：如何评估自己的学习进度

1.3.3 案例拆解：一个典型学员的学习路径复盘

某嵌入式工程师小李，有Python和Linux基础，但无NPU部署经验。他按照本课程路径学习：第1~3章用1周时间理解动态batch概念和RKNN工具链安装；第4~8章用2周时间完成YOLOv5s的转换和板端运行，期间遇到量化精度下降问题，通过第9章的校准数据集方法解决；第11~15章用3周时间学习性能调优，将模型延迟从35ms优化到22ms；最后用4周时间完成一个多路视频流动态batch项目，成功部署在RK3588上。

关键经验：不要跳过基础章节直接看实战，动态batch的坑往往隐藏在转换配置和模型结构细节中。建议每章动手实践至少2小时。

1.3.4 常见误区与总结

• 误区一：只学工具链不学原理。不理解NPU工作原理，遇到性能问题无从下手。
• 误区二：只做转换不部署验证。PC端转换成功不代表板端运行正常，必须做端到端验证。
• 误区三：忽略版本兼容性。RKNN工具链版本与板端固件版本需严格匹配。

总结：本课程的目标是让你不仅会“用”RKNN工具链，更能“懂”动态batch背后的系统原理，从而在实际项目中做出合理的技术决策。