3、动态batch size概念：什么是动态batch、静态batch与动态batch的区别、适用场景与性能权衡

在RKNN模型转换与部署的工程实践中，batch size（批大小）的定义直接决定了模型在NPU上的执行效率、内存占用以及接口灵活性。很多开发者习惯在PyTorch或TensorFlow中训练时使用固定batch size（如32或64），但在部署到RK3588、RK3566等边缘设备时，往往需要重新审视这一参数。本章将系统梳理动态batch与静态batch的本质差异，帮助你在模型转换前做出正确的设计决策。

3.1 核心原理：从数据流视角理解batch的本质

在深度学习推理中，batch size描述的是单次前向推理时输入张量（Tensor）的第一个维度大小。以RKNN NPU为例，其内部的计算单元（如MAC阵列）以固定时钟周期处理数据，batch size决定了数据在计算单元中的复用次数和流水线填充率。静态batch意味着模型在转换时（rknn.config 中的 batch_size 参数）将输入shape完全固定，例如 [1, 3, 640, 640] 或 [4, 3, 640, 640]。动态batch则允许在运行时通过设置 inputs 的shape来改变batch维度，但需在转换时声明动态范围，例如 dynamic_input=True 并指定 dynamic_batch_size=[1, 8]。

从底层实现看，RKNN的NPU调度器会为每个batch size生成独立的内部指令序列。静态batch时，这些指令在编译期完全确定，NPU可以提前预取权重、优化DMA传输，实现零开销的流水线切换。动态batch时，NPU需要在运行时根据实际batch size重新配置部分寄存器，并可能重新分配中间缓冲区，这引入了额外的同步开销。理解这一机制是后续性能调优的基础。

3.2 静态batch与动态batch的全面对比

为了更清晰地指导工程决策，下表从多个维度对两种模式进行了系统对比。在实际项目中，不应仅凭直觉选择，而应基于具体场景的约束条件进行权衡。

从上表可以看出，静态batch的核心优势在于确定性和效率，而动态batch的核心优势在于灵活性和资源复用。需要特别注意的是，动态batch并非“免费午餐”，其内存开销和调度开销在资源紧张的边缘设备上可能成为瓶颈。

3.3 适用场景与性能权衡的实战分析

在实际部署中，选择哪种模式取决于系统级需求。以下通过一个典型的智能安防场景进行拆解，帮助理解权衡过程。

# RKNN动态batch推理示例
import numpy as np
from rknnlite.api import RKNNLite

rknn = RKNNLite()
# 加载动态batch模型
rknn.load_rknn('yolov5_dynamic.rknn')
rknn.init_runtime()

# 动态设置输入shape，batch=4
input_data = np.zeros((4, 3, 640, 640), dtype=np.uint8)
outputs = rknn.inference(inputs=[input_data])

# 动态切换batch=1
input_single = np.zeros((1, 3, 640, 640), dtype=np.uint8)
outputs_single = rknn.inference(inputs=[input_single])

3.4 常见误区与工程建议

在指导多个RKNN部署项目后，发现以下高频误区值得特别注意：

• 误区一：动态batch一定能提升性能。实际上，动态batch的主要价值是灵活性，而非性能。在单路固定负载下，静态batch=1或4的延迟和吞吐都优于动态模式。
• 误区二：动态batch范围越大越好。过大的batch范围会导致NPU为最大shape预留过多资源，且内部指令缓存可能溢出，反而降低小batch时的效率。建议范围不超过硬件支持上限的50%。
• 误区三：忽略CPU与NPU的同步开销。动态batch需要CPU侧动态调整输入缓冲区，如果CPU负载已高，shape切换的延迟会显著增加。建议使用RKNN的异步推理接口（async_inference）配合双缓冲。
• 误区四：转换后不验证多batch精度。RKNN在动态batch模式下可能对不同shape采用不同的量化策略，导致batch=1和batch=8的检测精度有微小差异。务必在目标设备上逐batch验证mAP或准确率。