2. TensorRT-LLM 概述

核心原理：从“通用推理”到“编译优化推理”

TensorRT-LLM 是 NVIDIA 推出的开源大语言模型推理加速框架，其核心思想是将动态、解释执行的推理过程，转化为静态、编译优化的执行计划。传统 PyTorch 推理时，模型每层算子由运行时动态调度，GPU 利用率低且存在大量 kernel 启动开销。TensorRT-LLM 则通过以下三步实现加速：

1. 图编译：将模型结构解析为计算图，并做算子融合（如 QKV 融合、残差+LayerNorm 融合）。
2. 内核自动调优：针对目标 GPU 架构（如 Hopper、Ada、Blackwell）自动选择最优 kernel 实现与 tile 尺寸。
3. KV Cache 显存管理：采用 Paged KV Cache 机制，将 KV 缓存分页管理，避免显存碎片并支持动态批处理。

其推理流程可概括为：模型导出 → 编译构建 → 序列化引擎 → 运行时执行。引擎文件（.engine）一旦生成，即可脱离原始模型权重独立部署，这为生产环境带来了极大的确定性。

核心特性详解

TensorRT-LLM 的特性设计始终围绕生产级推理展开，以下特性对流式推理场景尤为关键：

方法流程：构建与部署一个流式推理服务

以 LLaMA-3-8B 为例，从模型权重到流式 API 的完整流程如下：

# 1. 转换权重为 TensorRT-LLM 格式
python convert_checkpoint.py \
    --model_dir ./llama-3-8b-hf \
    --output_dir ./tllm_checkpoint \
    --dtype float16 \
    --tp_size 1

# 2. 构建引擎（含量化与调优）
trtllm-build \
    --checkpoint_dir ./tllm_checkpoint \
    --output_dir ./engine_output \
    --gemm_plugin float16 \
    --max_batch_size 64 \
    --max_input_len 2048 \
    --max_seq_len 4096 \
    --kv_cache_type paged

# 3. 启动流式推理服务（Python API）
from tensorrt_llm import LLM, SamplingParams

llm = LLM(engine_dir="./engine_output")
params = SamplingParams(max_tokens=512, temperature=0.7)

for output in llm.generate_stream("量子计算是什么？", params):
    print(output.outputs[0].text, end="", flush=True)

上述流程中，generate_stream 返回一个生成器，每次迭代产生一个增量 token。实际生产环境通常通过 Triton Server 的 stream 模式暴露为 SSE 接口，客户端可逐字接收响应。

与其他推理框架的对比

当前主流的大模型推理框架各有侧重，选择时需结合硬件、场景与运维能力综合判断：

常见误区与复盘

• 误区一：认为 TensorRT-LLM 只是“另一个模型加载器”
  实际上它是编译型框架，引擎与硬件强绑定。换 GPU 型号必须重新构建引擎，不能直接迁移 .engine 文件。
• 误区二：忽略 KV Cache 配置对流式的影响
  max_seq_len 设置过小会导致长对话中途报错；设置过大则浪费显存。建议根据业务 P99 长度动态调整，并开启 Paged KV Cache。
• 误区三：量化后直接上线不做精度验证
  INT4 量化在部分模型上可能导致输出质量明显下降。建议先使用 --quant_ckpt 做离线评估，对比原始模型的困惑度或下游任务指标。
• 误区四：混淆“流式”与“连续批处理”
  流式只解决“逐 token 返回”的传输问题；连续批处理解决的是“多请求动态调度”的吞吐问题。两者需同时启用才能获得最佳体验。