VIP20
本课程属于：006 vLLM AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

vLLM离线批处理与在线服务双模式实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
vLLM简介 · 离线批处理与在线服务的区别 · 课程目标与学习路径
课程导入vLLM
02
环境搭建
安装vLLM · 依赖配置 · GPU/CPU环境验证
环境搭建vLLM
03
核心概念
LLM推理原理 · KV Cache · PagedAttention
核心概念LLM
04
离线批处理基础
使用vLLM的离线API进行批量文本… · 输入输出格式 · 批处理参数设置
离线批处理基础vLLM
05
离线批处理进阶
批量推理性能优化 · 并发控制 · 内存管理
离线批处理进阶批量推理性能优化
06
离线批处理实战
构建一个完整的离线批量摘要生成任务 · 包括数据准备 · 推理执行
离线批处理实战构建一个完整的离…
07
在线服务基础
启动vLLM OpenAI兼容服务器 · API端点介绍 · 请求/响应格式
线服务基础vLLM
08
在线服务进阶
并发请求处理 · 流式输出 · 采样参数动态调整
线服务进阶并发请求处理
09
在线服务实战
部署一个聊天机器人服务 · 集成到Web应用或命令行客户端
线服务实战部署一个聊天机器…
10
双模式对比
离线批处理与在线服务的适用场景 · 性能差异 · 资源利用率分析
双模式对比离线批处理
11
模型加载与切换
加载不同模型（如Llama · Mistral） · 量化模型
模型加载切换
12
推理参数详解
temperature · top_p · top_k
推理参数详解temperature
13
性能调优
使用vLLM的统计信息 · 吞吐量优化 · 延迟优化
性能调优vLLM
14
内存优化
KV Cache管理 · GPU内存监控 · 模型分片
内存优化KV
15
分布式推理
多GPU推理 · 张量并行 · 流水线并行
分布式推理GPU
16
离线批处理案例
大规模文本分类任务 · 处理10万条数据 · 输出结构化结果
离线批处理案例大规模文本分类任…
17
在线服务案例
构建RAG问答系统 · 结合vLLM服务与向量数据库
线服务案例RAG
18
错误处理与调试
常见异常（OOM · 超时 · API错误）
错误处理调试
19
安全与稳定性
服务限流 · 请求排队 · 模型安全
安全稳定性
20
离线批处理与在线服务混合架构
设计一个同时支持批量任务和实时请求的…
离线批处理线服务混合架构
21
vLLM与其他框架集成
与Hugging Face Tran… · LangChain · FastAPI集成
vLLM其他框架集成
22
模型评估与验证
离线批处理结果评估 · 在线服务响应质量评估 · A/B测试
模型评估验证
23
成本控制
GPU资源估算 · 批处理任务调度 · 在线服务弹性伸缩
成本控制GPU
24
实战项目一
离线批处理生成产品描述 · 包含数据清洗 · 批量推理
实战项目一离线批处理生成产…
25
实战项目二
在线服务实现代码补全API · 支持流式输出和并发请求
实战项目二API
26
实战项目三
离线批处理与在线服务结合 · 实现每日新闻摘要自动生成与实时查询
实战项目三离线批处理
27
常见问题与解决方案
vLLM使用中的高频问题 · 社区资源 · 官方文档导航
常见问题解决方案
28
性能基准测试
使用vLLM benchmark工具 · 对比不同配置下的吞吐量和延迟
性能基准测试vLLM
29
最佳实践总结
离线批处理与在线服务的开发规范 · 部署建议 · 运维要点
最佳实践总结离线批处理
30
综合提升与展望
vLLM新特性 · LLM推理趋势 · 课程总结与进阶学习路径
综合提升vLLM