VIP20
本课程属于：006 vLLM AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

vLLM推理精度控制与调试技巧

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程适用人群 · vLLM推理精度问题的重要性与整体学…
课程导入学习目标
02
vLLM基础与推理流程
vLLM架构 · 推理管线（prefill/decod… · KV cache机制
vLLM推理流程
03
精度基础概念
FP32/FP16/BF16/INT… · 量化误差 · 溢出与舍入误差
精度基础概念FP32/FP16/BF…
04
vLLM中的精度设置
dtype参数 · quantization参数 · 模型加载精度
vLLM精度设置
05
量化推理原理
PTQ · QAT · AWQ
量化推理原理PTQ
06
vLLM量化配置实战
使用AWQ/GPTQ量化模型 · 加载量化模型 · 验证推理精度与性能
vLLM量化配置实战
07
KV cache量化与精度
KV cache量化原理 · FP8/INT8 KV cache配… · 对生成质量的影响
KVcache
08
精度诊断工具
vLLM内置日志 · torch.profiler · nvidia-smi
精度诊断工具vLLM
09
基准测试与精度评估
困惑度（perplexity） · BLEU/ROUGE · 任务准确率
基准测试精度评估
10
常见精度问题现象
输出乱码 · 重复生成 · 逻辑错误
常见精度问题现象输出乱码
11
精度问题定位流程
从模型加载 · 预处理 · 推理
精度问题定位流程从模型加载
12
输入与预处理精度
tokenizer参数 · padding/truncation · 特殊token
输入预处理精度
13
采样参数与精度
temperature · top_p · top_k
采样参数精度
14
模型权重精度调试
加载FP16/BF16/INT8模型… · 权重转换错误 · 权重加载校验
模型权重精度调试FP16/BF16/IN…
15
注意力机制精度
attention实现（flash… · paged attention）对精…
注意力机制精度attention
16
数值稳定性处理
梯度裁剪 · logits处理 · softmax稳定性
数值稳定性处理梯度裁剪
17
多GPU与分布式推理精度
张量并行 · 流水线并行下的精度一致性 · 通信误差处理
GPU分布式推理精度
18
vLLM与HuggingFace精度对比
同一模型在HF Transforme…
vLLMHuggingFace
19
精度与性能调优平衡
如何在保证精度的前提下提升吞吐量 · 降低延迟 · 实际案例
精度性能调优平衡
20
案例实战一
FP16模型输出异常——从现象到根因…
案例实战一FP16
21
案例实战二
量化模型精度下降——AWQ量化后修复…
案例实战二AWQ
22
案例实战三
KV cache量化导致生成质量劣化…
案例实战三KV
23
案例实战四
长文本生成精度问题——上下文长度 · 位置编码 · KV cache溢出处理
案例实战四长文本生成精度问…
24
案例实战五
多卡推理精度不一致——排查通信与并行…
案例实战五多卡推理精度不一…
25
精度调试脚本编写
自动化对比脚本 · 回归测试 · CI集成精度检查
精度调试脚本编写自动化对比脚本
26
vLLM版本与精度
不同vLLM版本精度差异 · 升级注意事项 · bug排查
vLLM版本
27
常见错误与解决方案
CUDA error · OOM · 精度相关报错信息解读与处理
常见错误解决方案
28
高级精度控制
混合精度推理 · 动态量化 · per-token量化
高级精度控制混合精度推理
29
综合实战项目
从模型选择 · 量化 · 部署到精度验证的完整流程
综合实战项目从模型选择
30
课程总结与进阶路径
核心要点回顾 · 常见陷阱 · 学习资源
课程总结进阶路径