VIP19

本课程属于：026-vLLM吞吐优化实战指南 AI与大模型 · 共 19 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

从零掌握vLLM内存管理与吞吐优化

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 课程结构 · vLLM在LLM推理中的角色与性能瓶…

课程导入学习目标

vLLM的架构 · 核心特性（PagedAttentio… · Continuous Batchin…

内存管理原理

GPU内存层次 · KV Cache机制 · PagedAttention如何减少…

内存管理原理GPU

内存分配与调度

Block Manager的工作方式 · 内存池设计 · 动态分配与释放策略

内存分配调度

吞吐量基础

吞吐量定义 · 影响吞吐的关键因素（批大小 · 延迟

吞吐量基础吞吐量定义

Continuous Batching

动态批处理机制 · 请求调度策略 · 如何提升GPU利用率

ContinuousBatching

共享前缀缓存原理 · 实现方式 · 适用场景与效果分析

模型并行与内存

张量并行 · 流水线并行对内存的影响及配置方法

模型并行内存

量化与内存

量化技术（INT8/FP8）如何降低… · 精度与吞吐的权衡

KV Cache的量化方法 · 对内存和吞吐的影响

Speculative Decodi… · 如何提升吞吐 · 内存开销分析

投机解码Speculative

内存优化技巧

减少内存峰值的方法（如梯度检查点 · 内存复用）在推理中的应用

内存优化技巧减少内存峰值的方…

吞吐优化技巧

批大小调优 · 并发控制 · 请求长度分布对吞吐的影响

吞吐优化技巧批大小调优

性能分析工具

使用nvidia-smi · Nsight · vLLM内置metrics监控内存与…

性能分析工具nvidia-smi

基准测试方法

如何设计基准测试 · 使用vLLM benchmark脚本 · 解读结果

基准测试方法如何设计基准测试

单GPU部署LLaMA-7B · 优化内存与吞吐的完整流程

案例实战GPU

多GPU部署LLaMA-13B · 使用张量并行与流水线并行

案例实战GPU

高并发场景下优化吞吐 · 使用Continuous Batch…

案例实战高并发场景下优化…

长序列生成的内存优化 · 处理长上下文

案例实战长序列生成的内存…

OOM错误分析与解决 · 内存泄漏排查

常见问题OOM

吞吐瓶颈定位与调优策略

常见问题吞吐瓶颈定位

量化后精度下降的应对方法

常见问题量化后精度下降的…

多GPU负载不均衡的调整

常见问题GPU

vLLM与Ray集成 · 分布式推理的内存管理

高级主题vLLM

vLLM的异步执行与流式输出对吞吐的…

高级主题vLLM

自定义模型支持与内存优化扩展

高级主题自定义模型支持

构建一个端到端的高性能推理服务 · 涵盖配置 · 优化

综合实战构建一个端到端的…

对比不同优化组合（量化 · 批处理 · 缓存）的效果

综合实战对比不同优化组合

设计一个内存与吞吐优化的决策框架 · 根据场景选择策略

综合提升设计一个内存

核心要点回顾 · 最佳实践 · 未来趋势与学习资源

课程总结核心要点回顾