VIP20
本课程属于：011-vLLM推理框架实战：从入门到精通 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

vLLM框架入门与核心组件速览

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程大纲 · vLLM在LLM推理中的地位与优势
课程导入学习目标
02
环境搭建
安装vLLM · 依赖项 · GPU要求
环境搭建vLLM
03
核心概念
LLM推理 · 批处理 · KV Cache
核心概念LLM
04
快速上手
使用vLLM加载模型并生成文本
快速上手vLLM
05
模型加载
支持模型格式 · Hugging Face集成 · 本地模型加载
模型加载支持模型格式
06
推理参数
温度 · top_p · max_tokens等参数详解
推理参数温度
07
批处理推理
批量请求处理 · 性能对比
批处理推理批量请求处理
08
流式输出
实现流式生成 · 应用场景
流式输出实现流式生成
09
量化与精度
支持量化方法 · 精度选择
量化精度
10
性能优化
吞吐量 · 延迟 · 内存优化技巧
性能优化吞吐量
11
分布式推理
多GPU推理 · 张量并行 · 流水线并行
分布式推理GPU
12
与LangChain集成
构建LLM应用
LangChain集成
13
与OpenAI API兼容
使用vLLM作为后端
OpenAIAPI
14
监控与日志
日志配置 · 性能监控
监控日志
15
常见问题
OOM · CUDA错误 · 模型加载失败等
常见问题OOM
16
案例实战
文本生成 · 对话系统 · 代码生成
案例实战文本生成
17
高级特性
Prefix Caching · Continuous Batchin…
高级特性Prefix
18
模型服务化
部署REST API · gRPC
模型服务化REST
19
安全与稳定性
错误处理 · 超时设置
安全稳定性
20
调优实践
针对不同模型和硬件的调优
调优实践针对不同模型
21
对比分析
vLLM与其他推理框架（如TGI · TensorRT-LLM）
对比分析vLLM
22
扩展开发
自定义模型支持 · 自定义算子
扩展开发自定义模型支持
23
社区与生态
vLLM社区 · 相关工具
社区生态
24
实战项目
构建一个完整的推理服务
实战项目构建一个完整的推…
25
性能基准测试
使用Benchmark工具
性能基准测试Benchmark
26
故障排查
常见错误及解决方案
故障排查常见错误
27
最佳实践
生产环境部署建议
最佳实践生产环境部署建议
28
未来趋势
vLLM的发展方向
未来趋势vLLM
29
综合练习
综合运用所学知识解决实际问题
综合练习综合运用所学知识…
30
课程总结
重点回顾 · 学习路径建议
课程总结重点回顾