Transformers库核心概念：从Pipeline到AutoModel的抽象层次

HuggingFace生态的核心是Transformers库，它为深度学习模型提供了一套高度统一的接口。理解这套接口的抽象层次，是后续将其迁移到TensorRT-LLM的前提。本节将围绕三个核心对象展开：Pipeline（流水线）、AutoModel（自动模型）与Tokenizer（分词器），并解释它们如何协同完成一次推理。

核心原理：三件套的分工与协作

Transformers库的设计哲学是“配置-模型-分词器”三件套分离。配置类（Config）负责描述模型架构参数（如层数、隐藏维度）；模型类（Model）承载权重与计算图；分词器（Tokenizer）负责将原始文本映射为数值ID，并将模型输出映射回文本。这种解耦使得同一套代码可以适配数千种预训练模型。

Pipeline则是更高层的封装，它将“预处理→推理→后处理”串联成一行代码。但Pipeline隐藏了细节，不利于后续的TensorRT-LLM导出。因此，我们更常使用AutoModelForXxx与AutoTokenizer来显式控制流程。

关键认知：Pipeline适合快速验证，但AutoModel + AutoTokenizer才是集成TensorRT-LLM的正确起点。因为TensorRT-LLM需要的是输入ID张量和注意力掩码，而非原始字符串。
原始文本 Tokenizer 分词/映射ID input_ids AutoModel 前向推理 logits / last_hidden 后处理 softmax/argmax 生成文本 AutoConfig 加载架构参数 共享配置 Pipeline封装层

方法流程：显式加载与推理的四个步骤

为了后续能无缝对接TensorRT-LLM，我们需要掌握非Pipeline的显式调用流程。以下是标准四步法：

  1. 初始化分词器：使用AutoTokenizer.from_pretrained()加载与模型匹配的词汇表。
  2. 初始化模型：根据任务类型选择AutoModelForCausalLM（文本生成）或AutoModelForSequenceClassification（分类）。
  3. 编码输入：调用tokenizer()，设置return_tensors="pt"获得PyTorch张量。
  4. 执行推理：将input_ids与attention_mask传入模型，获得输出。
from transformers import AutoTokenizer, AutoModelForCausalLM

# 1. 加载分词器与模型（以GPT-2为例）
model_name = "gpt2"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# 2. 编码：返回PyTorch张量，包含input_ids与attention_mask
inputs = tokenizer("TensorRT-LLM is", return_tensors="pt")
print("输入张量形状:", inputs["input_ids"].shape)

# 3. 推理：生成下一个token
outputs = model.generate(
    inputs["input_ids"],
    attention_mask=inputs["attention_mask"],
    max_new_tokens=10,
    do_sample=False
)

# 4. 解码：将ID序列转回文本
generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
print("生成结果:", generated_text)
实操提示：当模型未定义pad_token时（如GPT-2），批量推理会报错。建议在加载后立即设置：tokenizer.pad_token = tokenizer.eos_token。

案例：文本生成与序列分类的对比

为了体现不同任务在API上的差异，我们对比两个典型场景。下表展示了因果语言模型（CausalLM）与序列分类模型（SequenceClassification）在输入输出上的本质区别：

对比维度 文本生成（CausalLM） 情感分类（SequenceClassification）
模型类 AutoModelForCausalLM AutoModelForSequenceClassification
核心输出 logits形状为 [batch, seq_len, vocab] logits形状为 [batch, num_labels]
后处理 需要采样/贪心解码 直接取argmax或softmax
典型调用 model.generate() model(**inputs).logits

以情感分类为例，显式调用方式如下：

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

# 加载一个微调过的分类模型
cls_tokenizer = AutoTokenizer.from_pretrained("cardiffnlp/twitter-roberta-base-sentiment-latest")
cls_model = AutoModelForSequenceClassification.from_pretrained("cardiffnlp/twitter-roberta-base-sentiment-latest")

text = "TensorRT-LLM is incredibly fast!"
inputs = cls_tokenizer(text, return_tensors="pt", truncation=True, max_length=512)

with torch.no_grad():
    logits = cls_model(**inputs).logits

pred_class = torch.argmax(logits, dim=-1).item()
print("分类标签ID:", pred_class, "| 标签映射:", cls_model.config.id2label)

误区与复盘：Pipeline与底层API的取舍

在实际项目中，开发者常陷入两个误区。第一个误区是过度依赖Pipeline，导致无法获取中间张量。例如，pipeline("text-generation")返回的是字符串列表，而非可量化的logits，这直接阻碍了精度对比。第二个误区是忽略tokenizer的填充方向。TensorRT-LLM要求输入是左填充（left-padding）以匹配生成循环，而Transformers默认右填充（right-padding），这会导致批量推理时输出错位。

关键复盘：在集成TensorRT-LLM前，务必检查以下三点：
  • 确认tokenizer.padding_side是否为"left"，否则生成结果会偏移。
  • 确认attention_mask已正确传递，TensorRT-LLM不会自动忽略填充位。
  • 确认模型输出的是原始logits，而非已经过softmax的概率值。

通过本节学习，我们掌握了从Pipeline到AutoModel的抽象降维。在下一阶段，我们将把这里的input_ids与attention_mask直接作为TensorRT-LLM引擎的输入，实现无缝迁移。请务必动手运行上述代码，观察张量形状的变化，这是理解引擎优化的基础。

← 上一章 📖 返回目录 下一章 →