VIP20

本课程属于：011-vLLM推理框架实战：从入门到精通 AI与大模型 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

vLLM推理引擎部署与性能调优基础

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 课程结构 · vLLM在LLM推理中的地位与优势

课程导入学习目标

Python环境 · CUDA · PyTorch安装

环境准备Python

vLLM核心概念

PagedAttention · Continuous Batchin… · KV Cache等原理

vLLM核心概念

模型加载与推理基础

使用vLLM加载模型并执行文本生成

模型加载推理基础

推理参数详解

temperature · top_p · max_tokens等参数对生成的影…

推理参数详解temperature

本地部署 · Docker部署 · Kubernetes部署

部署方式本地部署

API服务搭建

使用vLLM的OpenAI兼容API…

API服务搭建

吞吐量 · 延迟 · TTFT

性能指标吞吐量

性能调优基础

批处理大小 · 并发请求数 · 模型并行等配置

性能调优基础批处理大小

INT8 · INT4量化对性能与精度的影响

量化技术INT8

张量并行与流水线并行

多GPU部署策略

张量并行流水线并行

推理优化技巧

KV Cache管理 · 前缀缓存 · 投机解码

推理优化技巧KV

常见问题排查

OOM · CUDA错误 · 模型加载失败等

常见问题排查OOM

监控与日志

使用Prometheus · Grafana监控vLLM服务

性能基准测试

使用Benchmark工具评估vLL…

性能基准测试Benchmark

部署Llama 3 8B模型并优化性…

案例实战Llama

部署Qwen 7B模型并处理高并发请…

案例实战Qwen

多模型部署与路由策略

案例实战多模型部署

安全与稳定性

模型权限控制 · 请求限流 · 故障恢复

安全稳定性

资源规划 · 自动扩缩容 · Spot实例使用

成本优化资源规划

与LangChain集成

构建RAG应用

LangChain集成

与FastAPI集成

自定义API端点

实现流式生成与WebSocket通信

流式输出WebSocket

多模态模型支持

部署视觉语言模型

多模态模型支持部署视觉语言模型

vLLM与Ray集成

分布式推理

vLLM与Triton集成

生产级部署

性能调优进阶

使用vLLM的Profiling工具…

性能调优进阶vLLM

模型微调与vLLM

微调后模型的部署

vLLM模型微调

构建一个高可用 · 高性能的推理服务

综合实战构建一个高可用

知识回顾 · 最佳实践 · 学习路径建议

课程总结知识回顾