3. vLLM基础：模型加载流程、关键组件（LLMEngine、Worker、ModelRunner）
3.1 模型加载的整体流程
在排查多模型加载失败之前，必须先理解 vLLM 从启动到完成推理的完整链路。vLLM 的模型加载并非一次性将权重读入显存，而是经过 配置解析 → 分布式环境初始化 → 引擎构建 → Worker 分配 → ModelRunner 加载权重 → 显存规划 → 预热 七个阶段。任何一个环节出现异常，都会表现为“模型加载失败”，但根因可能截然不同。
下图展示了 vLLM 单节点多卡场景下，模型加载的核心流程与组件协作关系：
3.2 三大关键组件职责
vLLM 的架构设计将“调度控制”与“模型执行”分离，这种解耦使得多模型并发加载成为可能，但也引入了组件间协作的复杂性。三个核心组件各司其职：
| 组件 | 核心职责 | 关键方法/属性 | 加载失败相关表现 |
|---|---|---|---|
| LLMEngine | 顶层调度中枢，管理请求队列、KV Cache 分配、迭代调度 | __init__()、add_request()、step() |
初始化时创建 Worker 失败、KV Cache 分配不足 |
| Worker | 每个 GPU 对应一个 Worker，负责设备初始化、模型分发、执行推理 | init_device()、load_model()、execute_model() |
CUDA 设备不可用、NCCL 通信初始化失败 |
| ModelRunner | 实际加载权重、构建模型实例、执行前向传播 | load_model()、forward()、capture_model() |
权重文件损坏、精度转换错误、张量并行切分异常 |
3.3 模型加载的代码级流程
从代码执行路径来看，vLLM 启动时依次调用以下关键逻辑（以 vLLM 0.4.x 为例）：
# 1. LLMEngine 初始化入口
engine = LLMEngine.from_engine_args(engine_args)
# 2. 内部创建 Worker 集合（每个 GPU 一个）
workers = [Worker(worker_args, local_rank=i) for i in range(tensor_parallel_size)]
# 3. 每个 Worker 初始化设备并加载模型
for worker in workers:
worker.init_device() # 设置 CUDA 设备、分布式环境
worker.load_model() # 调用 ModelRunner 加载权重
# 4. ModelRunner 内部执行权重加载
model_runner = ModelRunner(model_config, ...)
model_runner.load_model() # 读取权重 → 精度转换 → 分发到各 GPU
# 5. 显存规划与 KV Cache 分配
engine._initialize_kv_cache() # 根据 gpu_memory_utilization 计算可用显存
# 6. 预热（CUDA Graph 捕获）
engine._init_workers() # 执行空输入前向传播，触发图编译理解这个调用链至关重要：LLMEngine 是“大脑”，负责决策；Worker 是“手臂”，负责执行；ModelRunner 是“手”，负责具体操作。多模型加载失败时，错误信息往往只显示最外层的异常，真正的根因可能深藏在 ModelRunner 的权重加载逻辑中。
3.4 多模型加载的典型失败场景
场景：在一台 8×A100 服务器上同时加载 Qwen2-72B 和 Llama3-70B 两个模型，第二个模型加载时报 CUDA out of memory。
通过逐层排查，最终定位到根因：
- LLMEngine 层：两个引擎各自独立创建，没有共享显存池，导致显存碎片化。
- Worker 层：每个模型都创建了 8 个 Worker，共 16 个 Worker 竞争显存。
- ModelRunner 层：第二个模型加载时，剩余显存不足以容纳其 KV Cache 预留空间。
修复方案：调整 gpu_memory_utilization 参数，为两个模型分别设置 0.4 和 0.35 的显存比例，并确保 max_model_len 设置合理，避免 KV Cache 过度预留。
3.5 常见误区与排查建议
误区一：认为“模型加载失败”就是权重文件损坏。实际上，超过 60% 的加载失败源于显存规划不当或分布式环境配置错误。
误区二：忽略 Worker 与 ModelRunner 的日志。vLLM 的日志是分层的，只看最外层错误会遗漏关键线索。
误区三：多模型加载时直接叠加显存占用，没有考虑 KV Cache 的动态增长特性。
排查多模型加载失败时，建议按以下顺序检查：
- 第一步：查看
nvidia-smi确认显存实际占用，排除显存不足。 - 第二步：检查
vllm.log中 Worker 初始化阶段的 NCCL 错误。 - 第三步：确认 ModelRunner 加载的权重路径、精度与模型配置是否匹配。
- 第四步：验证
tensor_parallel_size是否与 GPU 数量一致，且模型支持该并行度。