VIP8
本课程属于：013-vLLM大模型推理工程 AI智能与边缘计算工程 · 共 8 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

vLLM多模态模型推理实战指南

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 多模态推理的行业价值与vLLM的定位
课程导入学习目标
02
环境搭建
安装vLLM · 配置GPU驱动 · 验证CUDA与PyTorch环境
环境搭建vLLM
03
多模态基础
理解文本 · 图像 · 音频
多模态基础理解文本
04
vLLM核心概念
PagedAttention · Continuous Batchin… · KV Cache
vLLM核心概念
05
支持的多模态模型
盘点vLLM支持的模型列表（如LLa… · Qwen-VL · InternVL等）及各自特点
支持的多模态模型vLLM
06
模型加载与配置
使用vLLM加载多模态模型的参数设置 · dtype选择 · 设备映射与内存优化
模型加载配置
07
文本+图像推理实战
编写代码实现图像+文本输入 · 调用vLLM生成描述或回答
文本+图像推理实…编写代码实现图像…
08
文本+视频推理实战
处理视频帧序列 · 使用vLLM进行视频理解与问答
文本+视频推理实…处理视频帧序列
09
文本+音频推理实战
音频特征提取与模型输入格式转换 · 实现语音问答
文本+音频推理实…音频特征提取
10
多轮对话与上下文管理
在vLLM中维护多模态对话历史 · 实现连续交互
多轮对话上下文管理
11
推理参数调优
temperature · top_p · max_tokens等参数对多模态生…
推理参数调优temperature
12
性能优化
使用vLLM的量化（AWQ/… · 投机解码 · 张量并行提升推理速度
性能优化vLLM
13
批处理与高并发
构建多用户请求队列 · 利用vLLM的Continuous…
批处理高并发
14
与HuggingFace集成
从HF Hub下载模型 · 转换格式并适配vLLM
HuggingFace集成
15
自定义多模态模型接入
编写自定义模型类 · 注册到vLLM并实现推理
自定义多模态模型…编写自定义模型类
16
多模态数据预处理
图像缩放 · 归一化 · 视频抽帧
多模态数据预处理图像缩放
17
推理结果后处理
解码 · 过滤 · 结构化输出
推理结果后处理解码
18
错误处理与调试
常见报错（OOM · shape mismatch · 模型不支持）及解决方案
错误处理调试
19
部署为API服务
使用vLLM的兼容服务器 · 提供RESTful多模态推理接口
API部署为
20
容器化部署
使用Docker打包vLLM多模态服… · 实现一键部署与扩展
容器化部署Docker
21
性能基准测试
使用工具测量延迟 · 吞吐 · 显存占用
性能基准测试使用工具测量延迟
22
多模态RAG实战
结合向量数据库 · 实现图文检索增强生成
RAG多模态
23
多模态Agent应用
基于vLLM构建能看图 · 听音 · 读文档的智能体
Agent多模态
24
模型微调与vLLM结合
介绍LoRA/QLoRA微调多模态模… · 并加载到vLLM推理
vLLM模型微调
25
安全与合规
多模态内容过滤 · 隐私保护 · 模型偏见与伦理问题
安全合规
26
常见问题FAQ
模型加载失败 · 推理速度慢 · 显存不足
FAQ常见问题
27
案例实战
电商图文客服系统——使用vLLM实现…
案例实战vLLM
28
案例实战
视频内容审核系统——自动识别视频中的…
案例实战视频内容审核系统
29
案例实战
多模态知识助手——结合文档 · 图表 · 语音的智能问答平台
案例实战多模态知识助手
30
综合提升与展望
总结最佳实践 · 性能调优心法 · vLLM多模态未来趋势与学习资源
综合提升总结最佳实践