VIP20

本课程属于：011-vLLM推理框架实战：从入门到精通 AI与大模型 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

大模型vLLM量化算子底层原理剖析

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 课程结构 · 量化在LLM推理中的重要性

课程导入学习目标

量化定义 · 量化类型（PTQ · QAT）

量化基础量化定义

常见量化格式

INT8 · INT4 · FP8

常见量化格式INT8

vLLM框架概览

vLLM架构 · 推理流程 · 量化模块的定位

vLLM框架概览

量化算子概述

常见量化算子（如quantize · dequantize · matmul量化）及其作用

量化算子概述quantize

量化原理深入

对称量化与非对称量化 · 量化误差分析

量化原理深入对称量化

量化参数计算

MinMax · Percentile · MSE等校准方法

量化参数计算MinMax

量化算子实现

基于CUDA的量化内核实现（如qua…

量化算子实现CUDA

反量化算子实现

dequantize内核的编写与优化

反量化算子实现dequantize

量化矩阵乘法

INT8矩阵乘法的实现与优化（如使用…

量化矩阵乘法INT8

量化注意力机制

QKV投影的量化 · attention计算的量化实现

量化注意力机制QKV

量化激活与权重

激活量化 · 权重量化 · 混合精度量化

量化激活权重

vLLM中的量化配置

量化方法选择 · 配置文件解析

vLLM量化配置

量化模型加载

量化权重的加载与反量化流程

量化模型加载量化权重的加载

量化推理流程

从输入到输出的量化推理全流程

量化推理流程从输入到输出的量…

性能优化技巧

内存布局 · 向量化 · 算子融合

性能优化技巧内存布局

量化与LayerNorm · 激活函数的融合

算子融合LayerNorm

量化与KV Cache

KV Cache量化 · 缓存管理

量化与投机解码

投机解码中的量化应用

量化投机解码

量化与并行策略

张量并行 · 流水线并行下的量化

量化并行策略

量化精度评估

量化模型与原始模型的精度对比方法

量化精度评估量化模型

量化性能评估

吞吐量 · 延迟 · 显存占用等指标

量化性能评估吞吐量

常见问题与调试

量化导致的精度下降 · 性能瓶颈 · 错误排查

常见问题调试

使用vLLM量化LLaMA模型并部署

案例实战vLLM

量化OPT模型并对比性能

案例实战OPT

自定义量化算子并集成到vLLM

案例实战vLLM

GPTQ · AWQ · SmoothQuant等量化方法在v…

前沿进展GPTQ

设计一个量化方案并评估其效果

综合提升设计一个量化方案…

优化量化算子性能并分析瓶颈

综合提升优化量化算子性能…

核心要点回顾 · 学习路径建议 · 未来展望

课程总结核心要点回顾