VIP20
本课程属于：011-vLLM推理框架实战：从入门到精通 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

大模型vLLM推理框架核心概念通识

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · vLLM在LLM推理中的地位与价值
课程导入学习目标
02
大模型推理基础
Transformer架构 · 自回归生成 · 推理与训练的区别
大模型推理基础Transformer
03
推理性能瓶颈
显存占用 · 计算效率 · 延迟与吞吐量的权衡
推理性能瓶颈显存占用
04
vLLM概述
vLLM的起源 · 设计目标 · 核心特性与优势
vLLM的起源
05
PagedAttention原理
虚拟内存分页思想 · KV Cache管理 · 显存利用率提升
PagedAttenti…原理
06
Continuous Batching
动态批处理机制 · 请求调度 · 吞吐量优化
ContinuousBatching
07
模型加载与初始化
模型格式 · 权重加载 · 设备配置
模型加载初始化
08
推理引擎架构
LLMEngine · Scheduler · Worker等核心组件
推理引擎架构LLMEngine
09
请求处理流程
从API请求到生成完成的完整流程
请求处理流程API
10
采样参数
temperature · top_p · top_k
采样参数temperature
11
流式输出
Streaming模式 · 增量生成 · 客户端交互
流式输出Streaming
12
并行推理
张量并行 · 流水线并行 · 数据并行在vLLM中的实现
并行推理张量并行
13
量化与精度
FP16 · BF16 · INT8
量化精度
14
模型部署
使用vLLM部署OpenAI兼容AP… · 命令行工具
模型部署vLLM
15
性能调优
批处理大小 · 并行度 · 缓存策略等配置优化
性能调优批处理大小
16
监控与日志
日志级别 · 性能指标 · 错误排查
监控日志
17
常见问题与解决方案
OOM · 延迟高 · 吞吐低等问题的处理
常见问题解决方案
18
高级特性
Prefix Caching · LoRA适配 · 多模态支持
高级特性Prefix
19
与HuggingFace集成
从HF模型到vLLM的转换与使用
HuggingFace集成
20
实战案例
使用vLLM部署一个聊天机器人
实战案例vLLM
21
实战案例
使用vLLM进行文本生成与摘要
实战案例vLLM
22
实战案例
使用vLLM实现流式对话
实战案例vLLM
23
实战案例
多模型管理与动态加载
实战案例多模型管理
24
性能对比
vLLM与其他推理框架（如TGI · FasterTransformer）…
性能对比vLLM
25
安全与稳定性
模型安全 · 输入过滤 · 故障恢复
安全稳定性
26
扩展开发
自定义算子 · 自定义模型支持
扩展开发自定义算子
27
社区与生态
vLLM的社区资源 · 贡献指南 · 未来方向
社区生态
28
综合项目
构建一个高并发推理服务
综合项目构建一个高并发推…
29
综合提升
结合RAG · Agent等应用场景的推理优化
综合提升RAG
30
课程总结
核心要点回顾 · 学习路径建议 · 进阶资源推荐
课程总结核心要点回顾