3、精度模式概述：FP32、FP16、INT8、TF32的区别与适用场景

在TensorRT的引擎构建过程中，精度模式的选择直接决定了推理性能的上限与模型精度的下限。FP32、FP16、INT8与TF32这四种精度模式，分别对应不同的数值表示范围、存储开销、计算吞吐量以及量化误差特性。理解它们的本质区别，是配置TensorRT引擎参数（如BuilderFlag::kFP16、kINT8、kTF32）的前提。本章将从数值格式原理、硬件执行单元差异、适用场景判断方法以及实战调优案例四个维度展开，帮助你在实际项目中做出合理的精度选型决策。

上图展示了四种精度模式在TensorRT中的决策路径与核心属性。FP32作为精度基线，FP16与TF32在保持较高精度的同时提升吞吐，INT8则通过量化换取最大性能收益。下面逐一深入分析。

3.1 核心原理：数值格式与硬件执行差异

FP32（单精度浮点）采用1位符号位、8位指数位、23位尾数位，共32位存储。其动态范围约为1.18e-38至3.4e38，能够精确表示约7位十进制有效数字。在TensorRT中，FP32是默认的精度模式，所有层均以全精度计算，不存在数值截断误差。但FP32的硬件计算单元（CUDA Core）吞吐量相对较低，且显存占用较大。

FP16（半精度浮点）采用1位符号位、5位指数位、10位尾数位，共16位存储。其动态范围约为6.10e-5至65504，有效数字约3位十进制。FP16在NVIDIA GPU上的Tensor Core（Volta架构起）中拥有远超FP32的吞吐量（通常为2倍以上），且显存占用减半。但FP16的尾数位较少，对于权重绝对值较大或梯度变化剧烈的层，可能出现溢出或精度损失。

TF32（Tensor Float 32）是NVIDIA Ampere架构引入的特殊格式，它采用与FP32相同的8位指数位，但尾数位截断为10位（与FP16相同）。TF32并非一种独立的存储格式，而是计算模式：输入数据以FP32存储，但在送入Tensor Core前将尾数截断为10位。这使得TF32在保持FP32动态范围的同时，获得接近FP16的计算吞吐量。TF32的精度介于FP32与FP16之间，且无需修改模型代码即可启用。

INT8（8位定点整数）使用8位整数表示数值，通常配合缩放因子（Scale）和零点（Zero Point）进行量化。INT8的存储占用仅为FP32的1/4，计算吞吐量可达FP32的4倍以上。但INT8的动态范围极小（-128至127），必须通过校准数据集统计激活值的分布，选择合适的量化参数，否则精度损失可能超过5%。

3.2 判断方法：如何选择精度模式

选择精度模式需要综合考虑硬件架构、模型敏感度、性能目标与部署约束。以下是系统化的判断流程：

1. 确认硬件能力：查阅GPU规格表，确认是否支持Tensor Core（Volta及以上）、是否支持INT8加速（Turing及以上）、是否支持TF32（Ampere及以上）。例如，Tesla T4支持FP16与INT8，但不支持TF32；A100则全部支持。
2. 评估模型精度敏感度：运行模型在FP32下的推理结果作为基线。然后分别启用FP16与TF32，比较输出差异（如分类准确率、检测mAP、回归误差）。若FP16的精度下降在可接受范围内（通常<0.5%），则优先选择FP16；若FP16下降明显但TF32可接受，则选择TF32。
3. 考虑INT8量化成本：INT8需要准备校准数据集（通常500-1000张代表性样本），运行TensorRT的校准器（如IInt8EntropyCalibrator2）生成量化比例因子。若模型对量化敏感（如检测头、分割头），可能需要逐层检查量化误差。
4. 性能收益测算：使用TensorRT的trtexec工具分别构建不同精度的引擎，测量延迟与吞吐量。对比FP32基线，FP16通常带来1.5-2倍加速，INT8可带来3-4倍加速，TF32介于两者之间。
5. 部署环境约束：若目标设备为嵌入式（如Jetson Nano），显存有限，FP16/INT8可显著降低显存占用；若为数据中心GPU，则更关注吞吐量。

精度模式	存储占用	相对吞吐量	精度损失	启用方式	适用场景
FP32	4字节/参数	1x	无	默认	精度敏感、小模型、调试阶段
FP16	2字节/参数	~2x	低（通常<0.5%）	BuilderFlag::kFP16	大多数CNN/Transformer，显存受限场景
TF32	4字节/参数	~1.5x	极低（<0.1%）	默认开启（Ampere+）	Ampere架构、无需改代码、精度敏感
INT8	1字节/参数	~4x	中（需校准）	BuilderFlag::kINT8 + 校准器	高吞吐需求、批量推理、边缘部署

3.3 案例拆解：YOLOv5s在T4上的精度模式选型

假设我们有一个目标检测任务，使用YOLOv5s模型，部署在Tesla T4 GPU上，要求推理延迟<10ms，mAP@0.5下降不超过1%。

初始现象：FP32引擎延迟为18ms，无法满足需求。显存占用约2.1GB，T4显存16GB，显存不是瓶颈。

分析过程：

• T4支持FP16与INT8，但不支持TF32（Turing架构无TF32单元）。
• YOLOv5s为CNN模型，对FP16量化不敏感，预期精度损失较小。
• INT8需要准备校准集，且检测头对量化敏感，需谨慎评估。

实际操作步骤：

1. 使用trtexec --onnx=yolov5s.onnx --fp16构建FP16引擎，测得延迟为9.2ms，mAP下降0.3%。满足延迟要求，精度损失可接受。
2. 为进一步提升吞吐，尝试INT8。准备500张COCO验证集子集作为校准数据，使用IInt8EntropyCalibrator2校准。构建INT8引擎后，延迟降至5.1ms，但mAP下降1.8%，超出容忍范围。
3. 分析INT8精度损失来源：检测头的分类分支对量化敏感。尝试使用setDynamicRange为敏感层手动设置更大的动态范围，或使用IInt8MinMaxCalibrator重新校准，但mAP仍下降1.2%。
4. 最终决策：采用FP16引擎，延迟9.2ms满足要求，精度损失0.3%在容忍范围内。INT8虽性能更优，但精度不达标，且校准与调优成本较高。

结果对比：

精度模式	延迟（ms）	mAP@0.5	显存占用（GB）	结论
FP32	18.0	0.742	2.1	基线
FP16	9.2	0.739	1.1	采用
INT8	5.1	0.724	0.6	精度不达标

风险与代价：FP16方案需要确认所有自定义层（如NMS）支持FP16计算，否则会回退到FP32，导致性能下降。INT8方案若强行使用，需要额外的时间成本进行逐层量化调优，且可能需要对模型结构进行修改（如增加量化感知训练）。

复盘经验：精度模式选择不是简单的“越快越好”，而是精度与性能的权衡。FP16通常是性价比最高的起点；INT8适合对精度损失容忍度较高的场景（如分类任务），或经过量化感知训练优化的模型。TF32在Ampere架构上是“免费”的精度提升，无需任何代码修改。

3.4 常见误区与总结复盘

误区一：认为FP16一定比FP32快。实际上，FP16的加速依赖于Tensor Core。若模型中的层无法利用Tensor Core（如某些自定义算子），FP16可能反而因精度转换开销而变慢。此外，若模型较小或计算密度低，FP16的吞吐优势不明显。

误区二：TF32与FP32精度相同。TF32的尾数位只有10位，对于需要高精度的数值计算（如某些科学计算），TF32的舍入误差可能累积。在TensorRT中，TF32默认开启，但若发现精度异常，可显式关闭：config->clearFlag(BuilderFlag::kTF32)。

误区三：INT8校准集越大越好。校准集应具有代表性而非数量多。若校准集与真实部署数据分布不一致，量化参数会失真。通常500-1000张覆盖各类别、光照、角度的样本即可。

误区四：忽略层级精度控制。TensorRT允许对特定层设置不同的精度（setLayerPrecision）。例如，检测模型的输出层对精度敏感，可单独保留FP32，而其余层使用FP16/INT8。这种混合精度策略往往能兼顾性能与精度。

总结：精度模式的选择应遵循“基线评估-逐级尝试-混合优化”的路径。FP32是安全基线，FP16是性能与精度的最佳平衡点，TF32是Ampere架构的“免费午餐”，INT8是追求极致吞吐的进阶选项。理解每种模式的数值格式与硬件执行差异，结合模型敏感度与部署约束，才能构建出满足业务需求的TensorRT引擎。