VIP20
本课程属于：006 vLLM AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

vLLM与HuggingFace模型无缝集成实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · vLLM与HuggingFace生态…
课程导入学习目标
02
HuggingFace Transformers基础
模型加载 · tokenizer使用 · pipeline快速推理
HuggingFaceTransformers
03
vLLM核心概念
PagedAttention · Continuous Batchin… · KV Cache
vLLM核心概念
04
vLLM安装与快速上手
安装方式 · 命令行推理 · OpenAI兼容API启动
vLLM安装
05
从HuggingFace加载模型到vLLM
模型ID选择 · 本地路径加载 · 信任远程代码
HuggingFacevLLM
06
vLLM与Transformers的API对比
LLM类 vs pipeline · generate参数差异 · 返回结果结构
vLLMTransformers
07
Tokenizer集成
vLLM中tokenizer的自动加… · 自定义tokenizer · 特殊token处理与对齐
Tokenizer集成
08
模型配置同步
从HuggingFace confi… · max_model_len · gpu_memory_utiliza…
模型配置同步HuggingFace
09
量化模型集成
加载GPTQ · AWQ · FP8等量化模型到vLLM
量化模型集成GPTQ
10
多GPU与分布式推理
张量并行 · 流水线并行 · vLLM与HuggingFace的d…
GPU分布式推理
11
vLLM离线批量推理
使用LLM类进行批量生成 · 批处理参数 · 性能调优
vLLM离线批量推理
12
vLLM在线服务部署
启动OpenAI服务器 · curl调用 · Python客户端
vLLM线服务部署
13
HuggingFace数据集与vLLM结合
加载数据集 · 批量推理 · 结果保存与评估
HuggingFacevLLM
14
流式输出实现
vLLM流式生成 · 与HuggingFace Strea… · WebSocket集成
流式输出实现vLLM
15
自定义模型集成
将自定义HuggingFace模型注… · 支持新架构 · 注册表使用
自定义模型集成HuggingFace
16
LoRA/微调模型集成
加载PEFT模型到vLLM · 多LoRA管理 · 与HuggingFace PEFT兼…
LoRA微调模型集成
17
vLLM与HuggingFace Agent/工具集成
使用HuggingFace Agen… · 工具调用
vLLMHuggingFace
18
性能监控与调优
日志分析 · 吞吐量/延迟指标 · vLLM与Transformers性…
性能监控调优
19
常见错误与解决方案
OOM · 模型不兼容 · tokenizer mismatch
常见错误解决方案
20
vLLM与HuggingFace Pipeline混合使用
在pipeline中嵌入vLLM · 自定义pipeline
vLLMHuggingFace
21
多模态模型集成
加载LLaVA等视觉语言模型到vLL… · 与HuggingFace多模态pip…
多模态模型集成LLaVA
22
vLLM与HuggingFace Hub交互
模型下载 · 缓存管理 · 离线模式
vLLMHuggingFace
23
vLLM与HuggingFace Spaces部署
在Spaces上部署vLLM服务 · Gradio/Streamlit前端
vLLMHuggingFace
24
vLLM与HuggingFace生态工具链
与datasets · evaluate · optimum等库的协同
vLLMHuggingFace
25
实战项目一
构建一个基于vLLM的聊天机器人 · 使用HuggingFace模型 · 实现流式对话
实战项目一vLLM
26
实战项目二
批量文本生成与质量评估 · 使用HuggingFace评估指标 · 对比vLLM与Transformer…
实战项目二批量文本生成
27
实战项目三
部署一个OpenAI兼容的API服务 · 集成到LangChain或Llama…
实战项目三OpenAI
28
实战项目四
多模型管理与动态切换 · 使用vLLM Serving多个Hu…
实战项目四多模型管理
29
综合提升
vLLM高级特性（如prefix c… · speculative decodi… · 与HuggingFace结合的最佳实…
综合提升vLLM
30
课程总结与展望
常见问题回顾 · 学习资源推荐 · vLLM与HuggingFace未来…
课程总结常见问题回顾