VIP20
本课程属于：035-工业缺陷检测模型移植实战 AI视觉与工业视觉 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

模型量化与推理加速全流程解析

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
量化基础
什么是模型量化？为什么需要量化？量化… · FP16 · INT8
量化基础什么是模型量化？…
02
量化感知训练（QAT）
原理介绍 · 伪量化节点插入 · 训练策略与调参技巧
QAT量化感知训练
03
训练后量化（PTQ）
校准数据集 · 动态量化与静态量化 · 逐层与逐通道量化
PTQ训练后量化
04
量化工具链实战
PyTorch量化工具包（torch… · TensorRT量化流程 · ONNX Runtime量化
量化工具链实战PyTorch
05
推理引擎与部署
TensorRT · ONNX Runtime · OpenVINO
推理引擎部署
06
模型剪枝
结构化剪枝与非结构化剪枝 · 剪枝策略（L1/L2范数 · 基于梯度的剪枝）
模型剪枝结构化剪枝
07
知识蒸馏
软标签与硬标签 · 温度参数 · 蒸馏损失函数设计
知识蒸馏软标签
08
算子融合与图优化
Conv+BN+ReLU融合 · 层融合策略 · 计算图优化技术
算子融合图优化
09
内存优化与访存优化
内存池 · 张量复用 · 数据布局优化（NHWC vs NCH…
内存优化访存优化
10
并行计算与异构计算
数据并行 · 模型并行 · 流水线并行
并行计算异构计算
11
低比特量化（INT4/INT2/二值化）
极端量化挑战 · 精度恢复技术 · 硬件适配
INT4/INT2低比特量化
12
混合精度训练与推理
AMP原理 · 动态损失缩放 · 精度与速度的平衡
混合精度训练推理
13
稀疏化推理
权重稀疏化 · 激活稀疏化 · 稀疏矩阵计算优化
稀疏化推理权重稀疏化
14
模型编译与代码生成
TVM · MLIR · XLA的编译优化流程
模型编译代码生成
15
边缘端推理优化
模型大小压缩 · 内存限制下的推理 · 端侧NPU/DSP适配
边缘端推理优化模型大小压缩
16
服务端推理优化
批处理（Dynamic Batchi… · 连续批处理（Continuous B… · 请求调度
服务端推理优化Dynamic
17
Transformer模型优化
KV-Cache优化 · FlashAttention · PagedAttention
Transformer模型优化
18
CNN模型优化
Winograd卷积 · FFT卷积 · 深度可分离卷积优化
CNN模型优化
19
大语言模型（LLM）推理加速
量化（/AWQ） · 投机解码 · 模型并行
LLM大语言模型
20
扩散模型（Diffusion）推理加速
步数压缩（LCM/LORA） · ONNX导出 · TensorRT优化
Diffusion扩散模型
21
推理框架选型与对比
TensorRT vs ONNX R…
推理框架选型对比
22
性能分析与Profiling
NVIDIA Nsight Syst… · PyTorch Profiler · ONNX Runtime Profi…
Profiling性能分析
23
模型格式转换与兼容性
ONNX导出 · TorchScript · TensorRT Engine
模型格式转换兼容性
24
量化精度评估与调优
精度损失分析 · 校准数据集选择 · 量化敏感层分析（Sensitivit…
量化精度评估调优
25
硬件加速器原理
GPU Tensor Core · NPU MAC阵列 · DSP SIMD指令
硬件加速器原理GPU
26
推理延迟与吞吐量优化
延迟分解 · 吞吐量计算公式 · QPS优化策略
推理延迟吞吐量优化
27
模型服务化部署
Triton Inference S… · TorchServe · MLflow模型服务
模型服务化部署Triton
28
端到端推理流水线
数据预处理加速 · 后处理优化 · 异步推理流水线设计
端到端推理流水线数据预处理加速
29
量化与加速的工业案例
BERT推理加速 · ResNet-50量化部署 · LLaMA推理优化
量化加速的工业案例
30
未来趋势与前沿技术
FP8量化 · 混合专家模型（MoE）推理 · 神经架构搜索（NAS）加速
未来趋势前沿技术