课程导入：学习目标、适用人群、课程整体框架与实战项目预览
大语言模型（LLM）的推理部署，是连接模型训练与业务应用的“最后一公里”。许多工程师在本地运行模型时，常遇到显存不足、吞吐量低、并发响应慢、部署流程繁琐等痛点。vLLM 作为当前业界最流行的高性能推理引擎之一，通过 PagedAttention、Continuous Batching、张量并行等核心技术，将推理吞吐量提升数倍至数十倍，已成为生产环境部署 LLM 的主流选择。本章作为课程的第一讲，将帮助你明确学习路径、判断自身定位，并预览贯穿全课程的实战项目全貌。
1.1 学习目标：从“能跑”到“会优化”
本课程的学习目标并非仅仅让你“把模型跑起来”，而是建立一套完整的 vLLM 推理部署知识体系与实战能力。我们将从三个层次递进：第一层是“会用”，掌握 vLLM 的安装、基本 API 调用、模型加载与推理；第二层是“懂原理”，深入理解 PagedAttention 如何管理 KV Cache、Continuous Batching 如何提升吞吐、量化与并行如何影响性能；第三层是“能优化”，能够针对不同硬件、模型和业务场景，进行性能压测、参数调优、故障排查与架构设计。
具体而言，完成本课程后，你将具备以下能力：
- 独立部署能力：能够在单卡、多卡环境下部署主流开源模型（如 Llama、ChatGLM、Qwen、DeepSeek 等），并支持 OpenAI 兼容的 API 服务。
- 性能调优能力：理解吞吐量（Tokens/s）、首 Token 延迟（TTFT）、端到端延迟等关键指标，并能通过调整 batch size、max model len、量化精度等参数优化性能。
- 问题排查能力：面对 OOM（显存溢出）、请求超时、推理结果异常等问题，能够从日志、监控指标、配置参数等维度定位根因。
- 架构设计能力：了解 vLLM 与 Kubernetes、Ray、Nginx 等组件的集成方式，能够设计高可用、可扩展的推理服务架构。
1.2 适用人群：你的技术栈是否匹配？
本课程面向对 LLM 推理部署有明确需求的开发者，但不同背景的学员关注点不同。我们梳理了四类典型人群及其学习重点：
| 人群类型 | 典型背景 | 学习重点 | 预期收获 |
|---|---|---|---|
| AI 应用开发工程师 | 熟悉 Python、REST API，有调用 LLM 经验 | vLLM 的 API 使用、服务化部署、与业务系统集成 | 快速搭建稳定的推理服务，支持高并发业务 |
| 算法工程师 / 研究员 | 熟悉 PyTorch、模型训练，了解 Transformer 结构 | PagedAttention 原理、量化技术、性能分析 | 将训练好的模型高效部署，理解推理优化本质 |
| DevOps / 平台工程师 | 熟悉 Docker、K8s、CI/CD，关注资源利用率 | vLLM 的容器化部署、监控告警、弹性伸缩 | 构建生产级推理平台，降低运维成本 |
| 技术决策者 / 架构师 | 负责技术选型、架构设计，关注成本与稳定性 | vLLM 与其他推理引擎对比、容量规划、高可用设计 | 做出合理的技术决策，评估部署方案的 ROI |
无论你属于哪类人群，都需要具备基础的 Python 编程能力，了解 HTTP 协议和 JSON 数据格式，并对深度学习模型的基本概念（如 Transformer、注意力机制）有初步认识。如果你对上述概念尚不熟悉，建议先补充相关基础知识，再进入本课程的学习。
1.3 课程整体框架：三阶段递进式学习
本课程共 30 章，分为三个递进阶段，每个阶段都有明确的核心任务和实战产出。这种设计遵循“认知负荷理论”，避免一次性灌输过多概念，而是通过“理论→实践→复盘”的循环，帮助你将知识内化为技能。
阶段一：基础入门（第 1-8 章）。这一阶段的目标是“快速跑通”。你将学习 vLLM 的安装与配置、核心概念（如 KV Cache、Continuous Batching）、单卡部署流程、OpenAI 兼容 API 的使用，以及如何用命令行和 Python SDK 进行推理。完成本阶段，你能够在一张 GPU 上部署一个开源模型，并通过 API 调用它。
阶段二：进阶实践（第 9-20 章）。这一阶段的目标是“深入优化”。你将学习量化（AWQ、GPTQ）、张量并行、流水线并行、投机解码、前缀缓存等高级特性，并掌握如何通过压测工具（如 Locust、wrk）评估性能。同时，我们会深入探讨 vLLM 的配置参数（如 --max-model-len、--gpu-memory-utilization）对性能的影响。完成本阶段，你能够针对特定模型和硬件，找到最优的部署配置。
阶段三：生产实战（第 21-30 章）。这一阶段的目标是“稳定上线”。你将学习如何将 vLLM 部署到 Kubernetes 集群，如何配置 HPA（Horizontal Pod Autoscaler）实现弹性伸缩，如何集成 Prometheus + Grafana 进行监控告警，以及如何处理推理失败、超时、OOM 等常见故障。此外，我们还会讨论多模型管理、A/B 测试、成本优化等生产环境中的实际问题。完成本阶段，你将具备设计和管理生产级 LLM 推理平台的能力。
1.4 实战项目预览：贯穿全课程的“企业级智能客服”
为了让你更好地理解所学知识的应用场景，本课程设计了一个贯穿始终的实战项目：“基于 vLLM 的企业级智能客服系统”。该项目模拟真实业务需求，从最简单的单卡部署开始，逐步演进到高可用、可扩展的生产架构。
项目背景与约束：假设你所在的公司需要为内部员工和外部客户提供一个智能问答系统，支持产品咨询、故障排查、知识库检索等功能。系统需要满足以下要求：
- 支持 100+ 并发用户，平均响应时间小于 3 秒。
- 能够处理长文档（如产品手册），单次请求最多 4096 个 Token。
- 需要 7×24 小时稳定运行，故障恢复时间不超过 15 分钟。
- 硬件预算有限，初期只有 2 张 NVIDIA A10（24GB）GPU。
项目演进路径：
| 课程阶段 | 项目里程碑 | 关键技术与工具 | 可量化成果 |
|---|---|---|---|
| 阶段一（1-8章） | 单卡部署 ChatGLM3-6B，提供 OpenAI 兼容 API | vLLM 基础 API、HuggingFace Hub、Postman | API 响应时间 < 2s，支持 10 并发 |
| 阶段二（9-20章） | 双卡张量并行部署，引入量化与压测 | 张量并行、AWQ 量化、Locust 压测 | 吞吐量提升 3 倍，支持 50 并发 |
| 阶段三（21-30章） | K8s 部署 + 监控 + 弹性伸缩 | Docker、K8s、Prometheus、HPA | 支持 100+ 并发，故障恢复 < 15 分钟 |
案例拆解：阶段一的关键决策。在项目初期，我们选择 ChatGLM3-6B 作为基础模型，因为它对中文支持好、显存占用适中（FP16 约 12GB），适合在单张 A10 上运行。部署时，我们设置 --gpu-memory-utilization 0.9 以充分利用显存，并设置 --max-model-len 4096 以满足长文档需求。通过 Postman 发送测试请求，我们记录了首 Token 延迟约 300ms，端到端延迟约 1.8s，满足初步要求。但当我们用 Locust 模拟 20 个并发用户时，发现吞吐量下降明显，部分请求超时。这促使我们在阶段二引入 Continuous Batching 调优和量化技术。
复盘与经验：这个项目让我们深刻体会到，“能跑”和“能扛住生产压力”是两回事。单卡部署虽然简单，但并发能力有限；量化虽然能提升吞吐，但可能影响模型精度。因此，在实际项目中，我们需要根据业务需求（并发量、延迟要求、精度敏感度）和硬件资源，做出权衡。本课程的每一章都会围绕这个项目展开，让你在解决真实问题的过程中，逐步掌握 vLLM 的全部能力。