4、Batch概念详解：动态Batch与静态Batch的区别、Batch维度在TensorRT中的表示、如何设置最大Batch大小
在TensorRT部署图像分类模型时，Batch（批大小）是影响推理性能、显存占用和业务灵活性的核心参数。很多初学者在完成模型转换后，发现推理速度不达标或显存溢出，往往问题就出在对Batch维度的理解不够透彻。本章将系统拆解静态Batch与动态Batch的本质区别，说明Batch维度在TensorRT的Network Definition、Engine和ExecutionContext三个层面的表示方式，并给出设置最大Batch大小的工程化方法。
上图展示了Batch维度从输入到Engine的完整工程链路。下面我们逐一深入每个环节。
4.1 静态Batch与动态Batch的核心原理
静态Batch（Fixed Batch）是指在构建TensorRT引擎时，Batch大小被固定为一个常量。例如，你指定batch size = 8，那么生成的engine只能处理batch size恰好为8的输入。如果运行时传入batch size = 4或16，引擎会直接报错或产生未定义行为。静态Batch的优势在于：编译器可以针对固定形状做极致的层融合、内存复用和kernel自动调优，推理延迟通常最低，显存占用也最可预测。
动态Batch（Dynamic Batch）则允许在运行时指定不同的batch大小，但需要预先声明一个范围，例如min=1, opt=8, max=16。TensorRT会为这个范围生成多个优化变体，运行时根据实际传入的batch大小选择最合适的kernel。动态Batch的灵活性更高，适合业务流量波动大的场景，但代价是：引擎体积更大、构建时间更长、显存占用按最大batch预留，且部分层融合策略受限。
核心区别总结：静态Batch是“编译期常量”，动态Batch是“运行期变量+编译期范围”。选择哪种模式，取决于你的业务是追求极致性能还是灵活调度。
4.2 Batch维度在TensorRT中的三层表示
理解Batch维度在TensorRT中的表示，需要区分三个层次：Network Definition（网络定义）、Engine（引擎）和ExecutionContext（执行上下文）。
| 层次 | Batch表示方式 | 关键API/属性 | 说明 |
|---|---|---|---|
| Network Definition | 维度列表中的第0维（NCHW）或第0维（NHWC） | ITensor::setDimensions() | 构建网络时，Batch维度可以是-1（动态）或固定值（静态） |
| Engine | 绑定张量的维度信息 | ICudaEngine::getBindingDimensions() | 静态Batch引擎返回固定值；动态Batch引擎返回范围（min/max） |
| ExecutionContext | 实际推理时的输入维度 | IExecutionContext::setBindingDimensions() | 动态Batch必须调用此方法设置实际batch，静态Batch则不需要 |
在代码层面，当使用ONNX解析器时，如果ONNX模型的batch维度是动态的（通常为"unk__"或"None"），TensorRT会将其视为动态维度。如果你希望强制静态batch，可以在转换时使用setDimensions()将batch维度固定为具体值。反之，如果ONNX模型batch维度固定，但你希望支持动态batch，则需要修改ONNX模型或使用INetworkDefinition::addInput()重新定义输入。
4.3 如何设置最大Batch大小
设置最大Batch大小是构建TensorRT引擎时的关键步骤，直接影响显存占用和推理性能。以下是标准操作流程：
- 确定业务峰值需求：统计线上服务的QPS波动曲线，取99分位的并发请求数作为maxBatch的参考值。例如，你的服务平均QPS为200，峰值时可能同时到达32个请求，那么maxBatch至少设为32。
- 评估显存预算：使用
nvidia-smi查看GPU可用显存，预留30%给TensorRT的工作区（workspace）和其他开销。假设GPU为16GB，可用显存约14GB，那么maxBatch对应的显存占用不应超过10GB。 - 构建Builder配置：在代码中设置
builder->setMaxBatchSize(maxBatch)（静态Batch）或通过IOptimizationProfile设置动态范围（动态Batch）。 - 验证与调优：构建完成后，用不同batch大小进行压力测试，观察显存占用和延迟变化。如果显存溢出，降低maxBatch；如果延迟不满足SLA，考虑减小optBatch或启用FP16。
// 静态Batch示例（C++ API）
IBuilder* builder = createInferBuilder(logger);
builder->setMaxBatchSize(32); // 设置最大batch为32
INetworkDefinition* network = builder->createNetwork();
// ... 添加网络层 ...
ICudaEngine* engine = builder->buildCudaEngine(*network);
// 动态Batch示例
IOptimizationProfile* profile = builder->createOptimizationProfile();
profile->setDimensions("input", OptProfileSelector::kMIN, Dims4(1, 3, 224, 224));
profile->setDimensions("input", OptProfileSelector::kOPT, Dims4(8, 3, 224, 224));
profile->setDimensions("input", OptProfileSelector::kMAX, Dims4(32, 3, 224, 224));
config->addOptimizationProfile(profile);
常见误区：很多开发者误以为maxBatch设置得越大越好。实际上，maxBatch过大会导致：1）显存预留过多，浪费资源；2）构建时间显著增加；3）小batch推理时可能因为kernel选择不优而变慢。建议maxBatch设置为实际业务峰值的1.2~1.5倍即可。
4.4 实战案例：动态Batch在视频监控场景中的调优
某安防公司的图像分类服务需要处理来自多个摄像头的抓拍图片，业务特点是：白天流量平稳（每秒约20张），早晚高峰流量激增（每秒可达80张），夜间流量极低（每秒约2张）。他们最初使用静态Batch=32构建引擎，结果发现：夜间推理延迟虽然低，但显存占用高达6GB（大部分空闲）；高峰时段batch=32又无法充分利用GPU并行能力，导致请求排队。
分析过程：通过NVIDIA Nsight分析发现，静态Batch=32的引擎在batch=2时，GPU利用率仅为15%，大量CUDA核心空闲。而如果改用动态Batch，可以在低峰期使用小batch降低延迟，高峰期使用大batch提升吞吐。
实施步骤：
- 将ONNX模型的batch维度改为动态（-1），重新导出。
- 设置优化Profile：min=1, opt=16, max=64。选择opt=16是因为统计显示平均并发请求约为16。
- 构建FP16引擎，工作区设为4GB。
- 在推理服务中，根据当前队列长度动态调整batch：队列长度>50时使用batch=64，10~50时使用batch=16，<10时使用batch=4。
结果对比：
| 指标 | 静态Batch=32 | 动态Batch(1~64) | 提升幅度 |
|---|---|---|---|
| 平均延迟(ms) | 12.5 | 8.2 | 34%↓ |
| P99延迟(ms) | 28.3 | 19.7 | 30%↓ |
| GPU显存占用(GB) | 6.2 | 4.8 | 23%↓ |
| 吞吐量(张/秒) | 210 | 385 | 83%↑ |
复盘经验：动态Batch并非万能。在这个案例中，我们付出了构建时间从40秒增加到2分钟的代价，且引擎文件从120MB增大到210MB。但换来的吞吐提升和延迟降低是显著的。关键教训是：optBatch的选择比min/max更重要，它决定了大多数情况下的性能表现。我们通过分析一周的流量日志，取中位数作为optBatch，效果最好。
4.5 常见误区与总结复盘
误区一：混淆maxBatch与workspace大小。maxBatch决定输入张量的最大尺寸，workspace是层融合时的临时显存。两者独立，但都会影响总显存占用。建议分别设置，不要混为一谈。
误区二：动态Batch引擎一定比静态Batch慢。实际上，当实际batch等于optBatch时，动态引擎的性能与静态引擎几乎无差异。只有偏离optBatch较远时，性能才会下降。因此，合理设置optBatch可以兼顾灵活性和性能。
误区三：忽略Batch维度对预处理的影响。图像分类的预处理（resize、normalize）通常按单张图片进行，但TensorRT要求输入是连续内存的batch。如果预处理输出的是非连续内存，需要额外的memcpy操作，这会抵消动态Batch带来的性能优势。建议使用cudaMemcpy2DAsync或直接使用NVIDIA DALI库进行batch预处理。
误区四：在动态Batch下使用静态形状的优化配置。有些开发者设置了动态Batch，但忘记调用setBindingDimensions()，导致推理时使用默认维度而报错。记住：动态Batch引擎在每次推理前必须显式设置实际batch大小。
最佳实践建议：对于生产环境，如果业务流量相对稳定，优先使用静态Batch并配合多engine策略（例如分别构建batch=1、4、8的引擎，根据负载切换）。如果流量波动大且切换频繁，使用动态Batch，但务必做好optBatch的调优和显存监控。
总结本章：Batch维度的选择是TensorRT部署中“一次选择，长期影响”的决策。静态Batch适合性能极致追求，动态Batch适合业务弹性伸缩。理解Batch在Network、Engine、ExecutionContext三层的表示差异，掌握maxBatch的设置方法，并通过实际案例验证调优，是构建高效图像分类服务的关键能力。在实际项目中，建议先用静态Batch跑通基线，再根据业务需求逐步过渡到动态Batch，每一步都用数据说话。