VIP20
本课程属于：006 vLLM AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

vLLM量化推理从入门到精通

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 量化推理在LLM部署中的价值与挑战
课程导入学习目标
02
大模型推理基础
Transformer架构 · KV Cache · 自回归生成
大模型推理基础Transformer
03
量化核心概念
量化定义 · 定点与浮点 · 量化误差
量化核心概念量化定义
04
常见量化格式
INT8 · INT4 · FP8
常见量化格式INT8
05
量化方法分类
训练后量化（PTQ） · 量化感知训练（QAT） · 动态量化与静态量化的区别与适用场景
量化方法分类PTQ
06
vLLM框架入门
vLLM的架构 · PagedAttention · 连续批处理
vLLM框架入门
07
vLLM量化支持概览
vLLM内置的量化方法（如AWQ · GPTQ · FP8
vLLM量化支持概览
08
GPTQ量化原理
基于二阶信息的层间量化 · 校准数据集 · 量化流程与参数解析
GPTQ量化原理
09
AWQ量化原理
激活感知的权重量化 · 保护重要通道 · 缩放因子与实现细节
AWQ量化原理
10
SqueezeLLM量化
基于敏感度的非均匀量化 · 稀疏化与量化结合 · 在vLLM中的使用
SqueezeLLM量化
11
FP8量化
FP8格式（E4M3/E5M2） · 硬件支持（H100等） · 在vLLM中的启用与性能对比
FP8量化
12
量化模型加载与推理
在vLLM中加载量化模型（GPTQ/…
量化模型加载推理
13
量化模型评估
困惑度 · 下游任务准确率 · 内存占用
量化模型评估困惑度
14
量化与推理性能调优
批大小 · 并发数 · KV Cache量化
量化推理性能调优
15
量化模型部署实战
使用vLLM搭建量化模型推理服务（O…
量化模型部署实战vLLM
16
多GPU与分布式量化推理
张量并行 · 流水线并行 · 量化模型在多卡环境下的部署与优化
GPU分布式量化推理
17
量化与投机解码
结合投机采样（Speculative…
量化投机解码
18
量化模型微调与量化感知训练
使用PEFT/LoRA对量化模型进行… · 以及QAT在vLLM中的集成
量化模型微调量化感知训练
19
量化误差分析与缓解
常见误差来源 · 校准数据集选择 · 混合精度量化
量化误差分析缓解
20
量化与硬件适配
不同GPU（A100 · V100 · T4
量化硬件适配
21
量化模型安全与鲁棒性
量化对模型安全性的影响 · 对抗样本与防御策略
量化模型安全鲁棒性
22
vLLM量化配置详解
命令行参数 · 配置文件 · 环境变量
vLLM量化配置详解
23
量化模型与RAG结合
在RAG系统中使用vLLM量化模型 · 实现高效检索增强生成
RAG量化模型
24
量化模型与多模态模型
在视觉语言模型（如LLaVA）中应用…
量化模型多模态模型
25
量化模型与流式输出
在vLLM中实现量化模型的流式响应 · 长文本生成优化
量化模型流式输出
26
量化模型监控与运维
性能监控 · 错误日志 · 模型版本管理
量化模型监控运维
27
量化推理常见问题排查
加载失败 · 精度下降 · 显存不足
量化推理常见问题…加载失败
28
量化推理前沿进展
最新量化方法（如QuIP# · OmniQuant） · vLLM新特性
量化推理前沿进展QuIP#
29
综合实战项目
从HuggingFace下载模型 · 量化 · 部署到vLLM
综合实战项目HuggingFace
30
课程总结与进阶路径
知识体系回顾 · 常见误区 · 推荐资源
课程总结进阶路径