VIP20
本课程属于：011-vLLM推理框架实战：从入门到精通 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

vLLM推理框架入门与组件概览

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · vLLM在LLM推理中的地位与优势
课程导入学习目标
02
环境搭建
安装vLLM · 依赖项 · GPU要求
环境搭建vLLM
03
基础概念
LLM推理流程 · 批处理 · 吞吐量
基础概念LLM
04
vLLM核心特性
PagedAttention · Continuous Batchin… · 量化支持
vLLM核心特性
05
快速开始
使用vLLM加载模型 · 生成文本 · 基本API调用
快速开始vLLM
06
模型加载与配置
模型路径 · HuggingFace集成 · 模型参数设置
模型加载配置
07
推理参数详解
temperature · top_p · max_tokens
推理参数详解temperature
08
批处理与性能优化
动态批处理 · 调度策略 · 性能调优
批处理性能优化
09
PagedAttention原理
显存管理 · KV Cache优化 · 对比传统方法
PagedAttenti…原理
10
Continuous Batching机制
请求调度 · 吞吐量提升原理
ContinuousBatching
11
量化与精度
支持量化类型 · 加载量化模型 · 精度权衡
量化精度
12
分布式推理
张量并行 · 流水线并行 · 多GPU部署
分布式推理张量并行
13
API服务部署
使用vLLM启动OpenAI兼容服务… · 客户端调用
API服务部署
14
离线批处理
使用离线API处理大量请求 · 性能测试
离线批处理API
15
与LangChain集成
在LangChain中使用vLLM作…
LangChain集成
16
与HuggingFace生态集成
使用transformers模型 · tokenizer
HuggingFace生态集成
17
常见问题与调试
OOM · CUDA错误 · 模型加载失败等
常见问题调试
18
性能监控与日志
监控吞吐量 · 延迟 · 资源使用
性能监控日志
19
高级特性
前缀缓存 · 投机解码 · LoRA适配
高级特性前缀缓存
20
案例实战
使用vLLM部署聊天机器人
案例实战vLLM
21
案例实战
使用vLLM进行文本生成任务
案例实战vLLM
22
案例实战
使用vLLM进行代码生成
案例实战vLLM
23
案例实战
使用vLLM进行翻译任务
案例实战vLLM
24
案例实战
使用vLLM进行摘要生成
案例实战vLLM
25
案例实战
使用vLLM进行问答系统
案例实战vLLM
26
性能对比
vLLM与其他推理框架（如TGI · TensorRT-LLM）对比
性能对比vLLM
27
最佳实践
生产环境部署 · 高并发处理 · 稳定性保障
最佳实践生产环境部署
28
综合项目
构建一个完整的推理服务 · 包括API · 监控
综合项目构建一个完整的推…
29
课程总结
核心知识点回顾 · 学习路径建议 · 进一步学习资源
课程总结核心知识点回顾
30
结课测试
综合测试题 · 检验学习成果
结课测试综合测试题