1. TensorRT LLM 概述

1.1 什么是TensorRT LLM

TensorRT LLM，说白了就是NVIDIA专门为大语言模型推理打造的开源加速库。它基于TensorRT，但又不完全一样。我刚开始接触时也有点懵——TensorRT不是做图像模型加速的吗？怎么又出来个LLM版本？

嗯，这里要说明一下。TensorRT LLM并不是TensorRT的简单升级，而是针对Transformer架构做了深度定制。它把LLM推理中的关键操作——比如注意力机制、逐层解码、KV Cache——都做了极致优化。你想想看，一个70B的模型，参数量就140GB，单卡根本放不下。TensorRT LLM就是解决这类问题的。

核心特点包括：

  • 针对Transformer架构优化：支持GPT、LLaMA、Falcon、ChatGLM等主流模型
  • 多GPU多节点并行：Tensor Parallelism、Pipeline Parallelism、Expert Parallelism
  • 动态批处理：In-flight Batching，不用等整个批次跑完再处理新请求
  • 量化支持：FP8、INT4、INT8、AWQ、GPTQ等
  • Paged KV Cache：像操作系统管理内存一样管理KV Cache

一句话总结：TensorRT LLM = TensorRT的底层优化能力 + LLM推理的特殊需求 + 分布式部署的工程实践。

1.2 核心优势

我在项目中对比过多个推理框架，TensorRT LLM的优势确实明显。挑几个重点说说：

1.2.1 推理速度

这是最直观的优势。同样的LLaMA-70B模型，用TensorRT LLM部署，首Token延迟能降低30%-50%。为什么会这样？因为它把计算图做了极致融合，减少了Kernel Launch的开销。我记得有一次做压力测试，单卡A100跑LLaMA-13B，吞吐量直接翻了一倍。

1.2.2 显存效率

大模型推理最怕什么？显存爆掉。TensorRT LLM的Paged KV Cache机制，说白了就是把KV Cache分页管理，按需分配。我曾经遇到过一个问题：用HuggingFace跑一个30B模型，显存直接撑爆。换成TensorRT LLM，同样的模型，显存占用少了40%。

1.2.3 多卡扩展性

单卡放不下大模型怎么办？Tensor LLM支持多种并行策略。我个人的习惯是：70B以下用Tensor Parallelism，70B以上加Pipeline Parallelism。扩展效率接近线性，这在生产环境中非常关键。

特性 TensorRT LLM HuggingFace vLLM
推理速度 ★★★★★ ★★★ ★★★★
显存效率 ★★★★★ ★★ ★★★★
多卡支持 ★★★★★ ★★★ ★★★★
易用性 ★★★ ★★★★★ ★★★★
量化支持 ★★★★★ ★★ ★★★

1.3 与传统推理框架对比

很多人问我：TensorRT LLM和HuggingFace、vLLM到底怎么选？我一般这么回答：

  • HuggingFace Transformers：适合做实验、调模型、快速验证。但生产环境？我劝你别用。它没有做任何推理优化，显存浪费严重。
  • vLLM：轻量级，上手快，PagedAttention是亮点。但多卡扩展和量化支持不如TensorRT LLM。
  • TensorRT LLM：部署门槛高，但性能天花板也高。适合对延迟和吞吐有严格要求的场景。

我的建议：如果团队有CUDA优化能力，直接上TensorRT LLM。如果追求快速上线，先用vLLM过渡，后续再迁移到TensorRT LLM。

1.4 适用场景

TensorRT LLM不是万能的。我总结了几类最适合的场景：

  1. 高并发在线服务：比如智能客服、AI助手，要求低延迟、高吞吐。
  2. 大模型私有化部署：数据不出域，需要极致利用硬件资源。
  3. 边缘端部署：配合量化技术，在Jetson等边缘设备上跑LLM。
  4. 多模型混合部署：同时服务多个不同规模的模型，动态调度资源。

不适合的场景也有：模型还在频繁迭代阶段，不建议上TensorRT LLM。因为每次模型更新都要重新编译Engine，很费时间。我踩过这个坑——模型一天改三次，编译一次半小时，那酸爽...

1.5 TensorRT LLM整体架构

下面这张图是我自己整理的TensorRT LLM整体架构。你看一眼就能明白它的工作流程：

TensorRT LLM 整体架构 模型输入 模型定义（GPT/LLaMA/Falcon...） TensorRT编译优化 图融合 | 量化(FP8/INT4/INT8) | Kernel Auto-Tuning 运行时引擎 In-flight Batching | Paged KV Cache | 多卡并行(TP/PP/EP) 推理输出 支持TensorRT-LLM Backend + Triton Server

从这张图能看出来，TensorRT LLM的流程很清晰：模型输入 → 模型定义 → 编译优化 → 运行时引擎 → 推理输出。其中编译优化和运行时引擎是核心，也是我们后面课程要重点讲的内容。

避坑提醒：我曾经在编译Engine时没注意CUDA版本兼容性，结果跑起来直接报错。TensorRT LLM对CUDA版本要求很严格，建议用NVIDIA官方推荐的版本组合。

1.6 本章小结

TensorRT LLM是目前大模型推理部署的天花板。它把NVIDIA在GPU优化上的积累，全部用在了LLM推理上。虽然学习曲线陡峭，但一旦掌握，你就能把硬件性能压榨到极致。

后面的课程，我会带你一步步搭建环境、编译模型、调优性能。嗯，准备好了吗？

← 上一章 📖 返回目录 下一章 →