📚 课程目录第1章课程导入

课程导入：学习目标、课程结构、环境准备与GPU资源要求

欢迎来到《TensorRT-LLM与vLLM性能对比实战》课程。在正式开始性能调优与框架选型之前，我们需要先明确“为什么对比”“对比什么”“用什么环境对比”这三个根本问题。大语言模型推理框架的选择直接影响部署成本、响应延迟与吞吐量，而TensorRT-LLM与vLLM分别代表了“极致优化”与“高并发易用”两条不同的技术路线。本章将为你建立完整的课程认知框架，并确保你的实验环境能够复现后续所有基准测试结果。

1.1 学习目标：从“跑通”到“跑赢”

完成本章学习后，你应当能够回答以下问题：

性能指标口径：准确区分首Token延迟（TTFT）、端到端延迟、输出吞吐量（tokens/s）与并发请求下的饱和吞吐量，理解它们在不同业务场景中的权重差异。
框架核心差异：从底层视角说明TensorRT-LLM依赖TensorRT引擎图优化与FP8/INT4量化，而vLLM依赖PagedAttention显存管理与连续批处理（Continuous Batching）的架构本质。
实验控制变量：能够设计公平对比实验，包括固定模型版本、输入输出长度分布、并发数、量化精度与GPU型号。
环境自检能力：独立完成NVIDIA驱动、CUDA、容器运行时与GPU显存验证，识别环境不匹配导致的性能异常。

课程定位提示：本课程不教授Transformer原理，也不讲解如何训练模型。我们聚焦于推理引擎的工程优化。如果你对KV Cache、GQA（分组查询注意力）或MoE（混合专家）结构尚不熟悉，建议先查阅相关背景资料，但并非强制前提。

1.2 课程结构：五阶段递进式实战

整个课程共30章，划分为五个递进阶段，每一阶段都包含理论讲解、动手实验与结果复盘。下图展示了课程的整体逻辑架构与各阶段的核心任务：

课程设计遵循“先统一度量衡，再分别深挖，最后同台竞技”的原则。前五章是地基，确保你拥有可复现的实验环境与科学的评测方法；中间两个阶段分别深入两个框架的内部机制与调优手段；最后阶段通过矩阵化对比实验，让你在真实业务约束下做出合理的框架选型决策。

1.3 环境准备：硬件与软件基线

性能对比实验对环境一致性极其敏感。一个CUDA版本或驱动差异，可能导致性能偏差超过20%。因此，我们设定以下统一基线环境，后续所有章节的实验均在此之上进行：

类别	推荐配置	最低要求	说明
GPU	NVIDIA A100 80GB / H100	RTX 4090 24GB	显存决定可承载的模型规模与KV Cache空间
GPU数量	1~2张（NVLink连接）	1张	多卡用于张量并行测试
驱动版本	≥ 535.104.05	≥ 525.60.13	过低驱动不支持CUDA 12.x
CUDA版本	12.2 ~ 12.4	12.1	TensorRT-LLM要求CUDA ≥ 12.1
容器运行时	Docker + NVIDIA Container Toolkit	同左	推荐使用NGC PyTorch容器
操作系统	Ubuntu 22.04 LTS	Ubuntu 20.04	Windows仅支持WSL2模式
模型	Llama-3.1-8B-Instruct	Qwen2.5-7B-Instruct	统一使用HuggingFace格式下载

1.3.1 环境验证命令

在开始任何实验前，请执行以下命令验证环境完整性。将输出结果与预期值比对，确保你的环境满足后续实验要求：

# 1. 验证GPU驱动与CUDA可用性
nvidia-smi
# 预期：显示GPU型号、驱动版本、CUDA版本（如12.2）

# 2. 验证NVIDIA容器运行时
docker run --rm --gpus all nvidia/cuda:12.2.0-base-ubuntu22.04 nvidia-smi
# 预期：容器内能正常显示GPU信息

# 3. 验证PyTorch与CUDA匹配
python3 -c "import torch; print(torch.__version__); print(torch.cuda.is_available()); print(torch.cuda.get_device_name(0))"
# 预期：输出2.x版本，True，以及你的GPU型号

# 4. 检查显存总量与可用量
python3 -c "import torch; print(f'Total: {torch.cuda.get_device_properties(0).total_memory/1024**3:.1f} GB'); print(f'Free: {torch.cuda.mem_get_info()[0]/1024**3:.1f} GB')"
# 预期：Total与GPU标称显存一致，Free大于20GB（用于8B模型）

常见环境陷阱：

CUDA版本不匹配：TensorRT-LLM 0.9+ 要求CUDA ≥ 12.1，若系统CUDA为11.x，请使用NGC容器或升级驱动。
显存不足：8B模型FP16权重占用约16GB，加上KV Cache与激活值，24GB显存是下限。若使用INT4量化，可降至约6GB，但性能特征不同。
CPU瓶颈：如果使用PCIe传输而非NVLink，多卡测试时通信开销可能掩盖真实性能差异。

1.4 核心概念：为什么这两个框架值得对比

在后续章节深入细节之前，我们先建立两个框架的宏观认知。TensorRT-LLM与vLLM的差异本质上是“编译期优化”与“运行时调度优化”两种技术路线的代表：

TensorRT-LLM：NVIDIA官方出品，将模型编译为TensorRT引擎，在算子融合、内核自动调优、量化感知方面做到极致。代价是构建引擎耗时较长（通常5-15分钟），且针对特定GPU与精度优化后的引擎不可移植。
vLLM：开源社区主导，核心创新是PagedAttention，将KV Cache分页管理，显存利用率接近100%，配合Continuous Batching实现高吞吐。无需预编译，模型加载后即可服务，但算子层面优化依赖cuBLAS/cuDNN。

一个直观的类比是：TensorRT-LLM像“定制化赛车”——为特定赛道（GPU型号）和燃料（精度）深度调校，性能上限高但准备时间长；vLLM像“高性能街车”——适应各种路况，启动快，在复杂交通（高并发动态请求）中表现优异。

1.5 误区与复盘：性能对比中的常见错误

根据过往教学与工程经验，以下误区会导致对比结论失真，请务必避免：

  误区一：忽略输入输出长度分布

  只测试固定长度（如128→128）的请求，得出A框架优于B框架的结论。实际业务中，输入长度可能从几十到几千不等。正确做法是使用真实业务日志的长度分布，或至少测试短（64）、中（512）、长（2048）三档。

  误区二：并发数设置不合理

  低并发（1-8）下，TensorRT-LLM通常延迟更低；高并发（32-128）下，vLLM的连续批处理优势显现。只测单一并发数会得出片面结论。本课程将在第21-26章提供完整的并发-延迟-吞吐三维对比矩阵。

  误区三：忽略预热（Warmup）

  框架首次推理包含CUDA内核加载、显存分配等开销。未预热直接计时，会导致首轮数据严重偏离稳态性能。所有基准测试必须丢弃前10-20次请求的耗时数据。

复盘清单：在开始第2章之前，请确认你已经完成以下事项：

GPU驱动与CUDA版本满足表1-1的最低要求。
Docker与NVIDIA Container Toolkit可正常工作。
PyTorch GPU版本验证通过，显存可用空间大于20GB。
已下载Llama-3.1-8B-Instruct或Qwen2.5-7B-Instruct模型权重。
理解TTFT、吞吐量、并发数三个核心指标的定义。