VIP20
本课程属于：006 vLLM AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

vLLM自定义模型加载与适配实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程适用人群 · vLLM在LLM推理中的定位与价值
课程导入学习目标
02
vLLM基础架构
核心组件（LLMEngine · ModelRunner · Worker）
vLLM基础架构
03
模型加载机制
vLLM默认支持的模型格式 · HuggingFace模型加载流程 · 权重初始化与设备映射
模型加载机制vLLM
04
自定义模型适配概览
为什么需要自定义模型 · 适配的常见场景（新架构 · 量化
自定义模型适配概…为什么需要自定义…
05
环境准备与工程搭建
安装vLLM · 配置GPU环境 · 创建项目结构
环境准备工程搭建
06
模型注册与配置
注册自定义模型类 · 配置config.json · 模型名称与架构映射
模型注册配置
07
模型类继承与接口实现
继承LLM类 · 实现forward · load_weights
模型类继承接口实现
08
权重加载与转换
从HuggingFace权重到vLL… · 权重映射表 · 分片加载与内存优化
权重加载转换
09
自定义注意力实现
适配不同注意力机制（GQA · MQA · Sliding Window等）的要…
自定义注意力实现GQA
10
位置编码适配
RoPE · ALiBi等位置编码在vLLM中的实…
位置编码适配RoPE
11
激活函数与层归一化
自定义激活函数 · RMSNorm等归一化层的适配方法
激活函数层归一化
12
量化模型适配
GPTQ · AWQ · FP8等量化格式在vLLM中的加载与…
量化模型适配GPTQ
13
多模态模型适配
视觉编码器 · 跨模态投影层 · 输入处理流程的定制
多模态模型适配视觉编码器
14
自定义分词器与预处理
分词器加载 · 特殊token处理 · 输入ids与attention ma…
自定义分词器预处理
15
采样参数与生成配置
自定义采样策略 · logits processor · stopping criteria的…
采样参数生成配置
16
模型并行与张量并行
自定义模型在TP/PP下的分片策略与…
模型并行张量并行
17
KV Cache适配
自定义cache结构 · cache管理 · PagedAttention的兼容性…
KVCache
18
性能调优
自定义模型下的吞吐优化 · 显存占用分析 · batch策略调整
性能调优自定义模型下的吞…
19
调试与日志
vLLM日志系统 · 自定义模型调试技巧 · 常见错误定位
调试日志
20
单元测试与验证
编写测试用例 · 对比HuggingFace输出 · 数值一致性检查
单元测试验证
21
实战案例一
加载一个非官方支持的GPT模型（如M…
实战案例一GPT
22
实战案例二
为自定义模型添加RoPE位置编码并验…
实战案例二RoPE
23
实战案例三
适配一个量化模型（如GPTQ）并对比…
实战案例三GPTQ
24
实战案例四
集成一个简单的多模态模型（如LLaV…
实战案例四LLaV
25
常见问题与解决方案
权重不匹配 · 维度错误 · OOM
常见问题解决方案
26
与HuggingFace生态协同
使用transformers tok… · 模型配置与vLLM的桥接
HuggingFace生态协同
27
自定义模型的服务化部署
使用vLLM的OpenAI兼容API · 部署为REST服务
自定义模型的服务…vLLM
28
进阶扩展
自定义模型与vLLM的离线批处理 · 流式输出 · 异步接口
进阶扩展vLLM
29
综合项目
从零适配一个自定义架构模型 · 完成训练后加载 · 推理
综合项目从零适配一个自定…
30
课程总结与展望
回顾核心要点 · 常见陷阱 · vLLM社区资源与后续学习路径
课程总结回顾核心要点