课程导入：学习目标、课程结构、环境准备与基本概念

欢迎来到《TensorRT-LLM 流式推理实现与优化实战》。大语言模型（LLM）的推理部署早已从“能跑通”进入“跑得快、响应快、成本低”的深水区。流式推理（Streaming Inference）作为提升用户交互体验的关键能力，其实现质量直接决定了生产系统的可用性。本章作为课程起点，将帮助你建立对 TensorRT-LLM 流式推理的整体认知框架，明确学习路径，并完成必要的环境与概念准备。

1.1 学习目标：从“逐字输出”到“首字延迟”

完成本章学习后，你将能够：

• 理解流式推理的工程价值：解释为什么流式输出能显著改善用户体验，并明确其与批量推理在延迟指标上的本质差异。
• 掌握 TensorRT-LLM 的核心执行模型：区分静态批处理（Static Batching）与动态批处理（In-flight Batching），并理解后者对流式场景的支撑作用。
• 搭建可复现的开发环境：独立完成 TensorRT-LLM 的 Docker 容器启动、模型转换与引擎构建流程。
• 识别流式推理的关键性能指标：能够区分 TTFT（Time To First Token）、ITL（Inter-Token Latency）与 TPOT（Time Per Output Token），并知道在优化时应关注哪一个。

1.2 课程结构：四大模块递进式学习

本课程共 30 章，划分为四个递进模块，帮助你从原理走向实战，再走向调优与排障。

每一章都会围绕一个真实可运行的项目片段展开，避免空谈理论。建议你按照顺序学习，因为后续章节的优化手段（如 Paged KV Cache）依赖前序章节对显存布局的理解。

1.3 环境准备：基于 Docker 的标准化部署

TensorRT-LLM 对 CUDA、TensorRT 版本有严格依赖。为避免“环境地狱”，我们统一使用 NVIDIA 官方发布的 TensorRT-LLM Docker 镜像。请确保你的机器具备 NVIDIA GPU（建议显存 ≥ 24GB，如 A10/A30/L40S/A100），并安装好 NVIDIA 驱动（版本 ≥ 535）与 Docker。

推荐使用以下命令拉取并启动容器：

# 拉取 TensorRT-LLM 镜像（以 v0.10.0 为例）
docker pull nvcr.io/nvidia/tensorrt-llm:v0.10.0

# 启动容器并挂载工作目录
docker run --gpus all -it --rm \
  --shm-size=16g \
  -v /home/yourname/trt-llm-workspace:/workspace \
  nvcr.io/nvidia/tensorrt-llm:v0.10.0 \
  bash

进入容器后，验证环境是否正常：

python3 -c "import tensorrt_llm; print(tensorrt_llm.__version__)"
# 预期输出: 0.10.0

1.4 核心概念：流式推理的执行链路

在动手写代码前，我们需要建立对 TensorRT-LLM 推理引擎执行流程的清晰认知。下图展示了流式推理请求从进入引擎到 token 流式返回的完整链路，以及各阶段涉及的核心组件。

上图揭示了流式推理的核心矛盾：Prefill 阶段计算密集（处理整个 prompt），而 Decode 阶段访存密集（每次只生成一个 token）。TensorRT-LLM 通过 In-flight Batching 让多个请求的 Prefill 和 Decode 阶段在 GPU 上交错执行，从而填满计算空隙。这也是后续章节将要深入展开的优化主线。

1.5 误区与复盘：流式推理的三个常见误解

在开始编码之前，先澄清几个初学者容易混淆的概念，这能帮助你避免后续调试中的方向性错误。