2. TensorRT-LLM 简介

核心原理：从“通用执行”到“编译优化”的范式转变

TensorRT-LLM 是 NVIDIA 推出的开源推理框架，其核心思想是将大语言模型的推理过程从“运行时逐算子解释执行”转变为“编译期全局优化 + 运行时高效调度”。传统框架（如 PyTorch）在推理时依赖 Python 解释器逐层调用 GPU Kernel，存在大量调度开销和显存冗余；而 TensorRT-LLM 通过 图编译（Graph Compilation）、算子融合（Kernel Fusion） 和 显存静态规划（Static Memory Planning），将模型转换为高度优化的 CUDA 引擎。

其底层架构可拆解为四个关键层次：

• 模型定义层：提供 Python API 构建 Transformer 结构（如 Attention、MLP、RMSNorm），支持从 HuggingFace 权重直接转换。
• 图优化层：执行算子融合（如 QKV 融合、残差+LayerNorm 融合）、去除冗余计算、自动精度匹配（FP16/BF16/INT8/FP8）。
• 引擎生成层：通过 TensorRT 编译器生成针对特定 GPU 架构（如 Hopper、Ada）的 CUDA 引擎，包含最优 Kernel 选择与显存池规划。
• 运行时层：提供 C++/Python 运行时，支持 KV Cache 管理、连续批处理（In-flight Batching）、Paged Attention 等高级特性。

方法流程：从模型权重到高性能引擎的完整链路

使用 TensorRT-LLM 进行推理部署，通常遵循以下标准流程。理解每个阶段的作用，有助于在基准测试中定位性能瓶颈。

1. 权重准备与转换：从 HuggingFace 或其他来源获取模型权重，使用 convert_checkpoint.py 脚本转换为 TensorRT-LLM 的 checkpoint 格式。此过程会重新组织权重布局，使其适配目标 GPU 架构。
2. 构建引擎（Build）：通过 trtllm-build 命令指定模型配置、精度、批量大小范围、序列长度范围等参数，生成优化后的引擎文件（.engine）。此阶段耗时较长，但属于一次性成本。
3. 运行时加载与推理：使用 Python 或 C++ 运行时加载引擎，配置 KV Cache 大小、调度策略等，然后启动推理服务。

# 典型构建命令示例
trtllm-build --checkpoint_dir ./checkpoint \
             --model_config ./config.json \
             --output_dir ./engine \
             --max_batch_size 64 \
             --max_input_len 2048 \
             --max_seq_len 4096 \
             --gemm_plugin float16 \
             --paged_kv_cache enable

案例场景：三种典型部署模式下的性能表现

为了更直观地理解 TensorRT-LLM 的适用场景，我们对比三种常见部署方式。以下数据基于 Llama-2-7B 在单张 A100-80GB GPU 上的实测结果（batch_size=32，input_len=512，output_len=256）：

从数据可以看出，TensorRT-LLM 在 FP16 精度下相比 PyTorch 实现了约 3.2 倍吞吐提升，同时显存占用降低约 22%。而 INT8 量化进一步将吞吐提升至 5,200 tokens/s，显存压缩至 9 GB，这使得在单卡上部署更大模型或更高并发成为可能。

对比分析：TensorRT-LLM 与其他主流推理框架

当前大模型推理框架生态丰富，各有侧重。下表从多个维度对比 TensorRT-LLM、vLLM、HuggingFace TGI 和 llama.cpp：

误区与复盘：TensorRT-LLM 使用中的常见陷阱

在实际项目落地中，以下问题经常导致性能测试结果失真或部署失败，值得特别关注：

• 误区一：忽略引擎构建参数与测试负载的匹配。如果构建引擎时 max_batch_size=32，但测试时发送 64 个并发请求，框架会自动拆分批次或报错，导致吞吐量骤降。正确做法是构建时预留 1.5~2 倍余量。
• 误区二：混淆“模型加载时间”与“推理时间”。TensorRT-LLM 引擎加载需要反序列化 CUDA 引擎，耗时可能达数秒。基准测试应排除引擎加载时间，只统计纯推理延迟。
• 误区三：忽视 KV Cache 配置对长序列的影响。Paged Attention 虽能动态管理显存，但若 max_kv_cache_size 设置过小，长对话场景会频繁触发缓存淘汰，显著增加延迟。
• 误区四：跨框架对比时未统一精度和批处理策略。对比 TensorRT-LLM 与 vLLM 时，必须确保两者使用相同的精度（如均为 FP16）、相同的批处理算法（连续批处理 vs 静态批处理）以及相同的 GPU 时钟频率，否则对比结果毫无意义。