4. TensorRT加速原理：层融合、量化（FP16/INT8）、张量内存复用、CUDA Kernel自动调优
各位同学，今天我们聊点硬核的——TensorRT到底是怎么把模型跑得飞快的？
我在车载项目里踩过不少坑，最开始以为TensorRT就是个推理引擎，装上去就能快。结果呢？模型是能跑了，但延迟和没优化前差不多。后来我才明白，TensorRT的加速不是魔法，而是四个核心技术的组合拳。
说白了，就是四招：层融合、量化、内存复用、Kernel自动调优。我们一个一个拆开讲。
4.1 层融合：把零碎操作打包
先讲层融合。这个概念其实很好理解——你想想看，一个神经网络动辄几十上百层，每层都要启动一次CUDA Kernel。启动Kernel是有开销的，哪怕你的计算量很小，启动时间也省不掉。
TensorRT的做法是什么？它会把相邻的、可以合并的层合并成一个Kernel。比如Conv + BN + ReLU，这三个操作在推理时可以合并成一个。数据不用来回搬运，Kernel只启动一次。
实际效果：我在一个ResNet-50模型上做过对比，层融合后Kernel启动次数从原来的180多次降到了40多次。延迟直接砍掉30%。
常见的融合模式有这些：
| 融合模式 | 原始操作 | 融合后 | 收益 |
|---|---|---|---|
| Conv + BN + ReLU | 3次Kernel启动 | 1次Kernel启动 | 减少访存+启动开销 |
| Conv + Add + ReLU | 3次Kernel启动 | 1次Kernel启动 | 残差结构常用 |
| Gemm + Bias + ReLU | 3次Kernel启动 | 1次Kernel启动 | 全连接层优化 |
| Concat + Slice | 2次Kernel启动 | 1次Kernel启动 | 减少内存拷贝 |
小技巧：我个人习惯在构建TensorRT引擎时，开启kSTRICT_TYPES约束，这样可以确保融合后的精度不会意外下降。尤其是FP16模式下，有些融合会改变数值计算顺序。
4.2 量化：FP16和INT8
量化是TensorRT加速的大杀器。为什么？因为减少数据位宽，直接降低计算量和带宽需求。
FP16量化相对简单，NVIDIA的GPU从Turing架构开始就有Tensor Core支持FP16计算。你只需要在构建引擎时设置精度为FP16，TensorRT会自动把能转成FP16的层都转过去。
但INT8就复杂多了。它需要校准过程——你得准备一批校准数据，让TensorRT统计出每层激活值的分布，然后找到合适的缩放因子。
我曾经在一个车载语义分割模型上试过INT8量化。校准数据集只用了500张图，结果模型精度掉了不到1%，但推理速度从30ms降到了12ms。嗯，这里要注意——校准数据集的选择很关键，必须覆盖实际场景的分布。
避坑指南：我曾经遇到过一个问题——INT8量化后，模型在晴天表现很好，一到雨天就崩了。后来发现是校准数据里没有雨天的样本。所以校准数据集一定要包含边缘场景。
量化的流程大致如下：
- 准备校准数据：从训练集中抽取500-1000张代表性样本
- 构建FP32引擎：先跑一遍FP32，作为精度基准
- 运行校准器：TensorRT会统计每层激活值的直方图
- 选择缩放因子：基于KL散度或均方误差找到最优阈值
- 构建INT8引擎：将权重和激活值都量化为INT8
- 精度验证：对比INT8和FP32的输出差异
不同量化策略的对比：
| 策略 | 位宽 | 加速比 | 精度损失 | 适用场景 |
|---|---|---|---|---|
| FP32 | 32-bit | 1x | 无 | 精度敏感层 |
| FP16 | 16-bit | 1.5x - 2x | 几乎无 | 大多数层 |
| INT8 (per-tensor) | 8-bit | 3x - 4x | 0.5% - 1% | 卷积层、全连接层 |
| INT8 (per-channel) | 8-bit | 3x - 4x | 0.1% - 0.5% | 对精度要求高的层 |
建议：我建议在车载项目中优先使用per-channel INT8量化。虽然校准时间会长一些，但精度损失更小，对安全场景更友好。
4.3 张量内存复用：别让显存闲着
内存复用这个技术，说白了就是TensorRT会提前算好整个推理过程中所有张量的生命周期，然后给它们分配一块共享内存池。同一块显存，在不同时间点可以被不同的张量使用。
你想想看，一个模型推理时，中间张量是逐层产生的。前一层算完了，它的输出内存就可以被后一层复用。如果不做复用，每个张量都单独分配，显存占用会爆炸。
我在一个YOLOv5s模型上做过测试：
- 不做内存复用：显存占用 1.8GB
- TensorRT默认复用：显存占用 420MB
- 优化后手动配置：显存占用 380MB
减少了将近4倍。这对车载平台来说太关键了——车载GPU的显存本来就有限，省下来的显存可以留给其他任务。
TensorRT的内存复用策略是这样的：
- 构建期分析：遍历整个计算图，标记每个张量的生命周期
- 内存池分配：根据生命周期，将不重叠的张量分配到同一块内存
- 运行时复用：推理过程中，张量指针指向池中对应偏移
关键点：内存复用不会影响推理速度，它只影响显存占用。所以你可以放心大胆地用。
4.4 CUDA Kernel自动调优：让GPU自己选最优方案
最后这个技术，我觉得是TensorRT最聪明的地方。CUDA Kernel自动调优，说白了就是TensorRT会为你的每一层操作，尝试几十种不同的Kernel实现，然后选最快的那个。
为什么会这样？因为同一个卷积操作，不同的GPU架构、不同的张量尺寸、不同的精度，最优的Kernel实现都不一样。你手动写一个Kernel，可能在这个卡上跑得快，换个卡就慢了。
TensorRT的调优过程是这样的：
- 枚举：对每个操作，生成多种Kernel变体（不同的tiling策略、不同的shared memory用量、不同的warp调度）
- 基准测试：在目标GPU上实际运行这些Kernel，测量执行时间
- 选择：选出最快的Kernel，固化到引擎中
这个过程在构建引擎时完成，所以构建时间会比较长。我见过一个深层模型，构建时调优花了将近40分钟。但值得——推理时快了30%。
注意：自动调优的结果是硬件相关的。你在A100上调出来的引擎，放到Orin上可能不是最优的。所以车载项目一定要在目标硬件上构建引擎。
调优的关键参数：
| 参数 | 作用 | 建议值 |
|---|---|---|
kAUTO |
自动选择调优策略 | 默认 |
kDEFAULT |
使用默认Kernel | 快速构建时使用 |
kFASTER |
更激进的调优 | 追求极致性能时 |
| workspace size | 调优可用的临时显存 | 1GB - 4GB |
经验之谈：我建议在项目初期用kDEFAULT快速验证模型能否跑通，到了性能调优阶段再切换到kFASTER。这样能节省大量构建时间。
好了，这四个技术讲完了。层融合减少Kernel启动，量化降低计算精度，内存复用节省显存，Kernel调优适配硬件。它们组合在一起，就是TensorRT能把模型跑得飞快的秘密。