VIP8
本课程属于：013-vLLM大模型推理工程 AI智能与边缘计算工程 · 共 8 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

vLLM量化部署与吞吐加速实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · vLLM简介与量化部署的价值
课程导入学习目标
02
环境搭建
Python环境 · CUDA · PyTorch
环境搭建Python
03
Transformer模型基础
注意力机制 · 层结构 · 推理过程
Transformer模型基础
04
模型量化基础
量化原理 · 定点与浮点 · 量化误差来源
模型量化基础量化原理
05
量化方法概览
PTQ · QAT · 动态量化
量化方法概览PTQ
06
常见量化精度
INT8 · INT4 · FP8
常见量化精度INT8
07
vLLM核心架构
PagedAttention · Continuous Batchin… · KV Cache管理
vLLM核心架构
08
vLLM推理流程
请求调度 · 张量并行 · 模型加载
vLLM推理流程
09
量化模型在vLLM中的加载
支持格式 · 转换工具
vLLM量化模型
10
量化实战
原理 · 使用AutoGPTQ量化LLaMA模…
量化实战
11
AWQ量化实战
原理 · 使用AWQ量化模型
AWQ量化实战
12
FP8量化实战
FP8格式 · 在vLLM中的应用
FP8量化实战
13
量化模型部署到vLLM
配置参数 · 启动服务
vLLM量化模型部署到
14
量化效果评估
困惑度 · 下游任务性能 · 内存占用
量化效果评估困惑度
15
吞吐量概念
吞吐量定义 · 影响因素 · 性能指标
吞吐量概念吞吐量定义
16
vLLM性能调优
批处理大小 · 并发数 · KV Cache配置
vLLM性能调优
17
连续批处理优化
动态批处理 · 抢占策略
连续批处理优化动态批处理
18
PagedAttention深入
内存管理 · 分页机制 · 性能影响
PagedAttenti…深入
19
张量并行与模型并行
多GPU部署 · 通信开销
张量并行模型并行
20
量化与吞吐的关系
量化对吞吐的影响 · 加速效果
量化吞吐的关系
21
案例实战
使用vLLM部署量化后的LLaMA-…
案例实战vLLM
22
案例实战
对比不同量化精度下的吞吐与质量
案例实战对比不同量化精度…
23
常见问题
量化模型输出质量下降 · 推理错误 · 兼容性问题
常见问题量化模型输出质量…
24
常见问题
vLLM部署中的OOM · 延迟高 · 吞吐低
常见问题vLLM
25
性能分析工具
使用vLLM的metrics · Profiling工具
性能分析工具vLLM
26
优化策略
模型剪枝 · 蒸馏与量化结合
优化策略模型剪枝
27
生产环境部署
Docker · Kubernetes · API服务
生产环境部署Docker
28
综合实战
构建一个高吞吐的量化LLM服务
综合实战LLM
29
前沿进展
最新量化方法 · vLLM新特性
前沿进展最新量化方法
30
课程总结
知识回顾 · 最佳实践 · 学习路径建议
课程总结知识回顾