VIP20

本课程属于：001-大模型推理部署 AI与大模型 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

模型量化精度与速度平衡

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

什么是模型量化？为什么需要量化？量化的数学原理，从浮点到整数的映射。

对称量化 vs 非对称量化，权重量化 vs 激活量化，零点的作用。

INT8、INT4、FP16、混合精度，精度损失分析与量化误差来源。

训练后量化(PTQ) vs 量化感知训练(QAT)，适用场景与精度对比。

量化后的推理加速原理，GPU/NPU/CPU硬件加速与内存带宽优化。

校准数据集

如何选择校准数据，校准数据对精度的影响，数据增强策略。

逐层量化 vs 逐通道量化，Per-tensor vs Per-channel 粒度选择。

量化工具链

TensorRT、ONNX Runtime、PyTorch量化、TFLite 工具对比与选型。

量化后精度下降的常见原因与恢复策略：重训练、混合精度、敏感层保护。

实战案例：BERT INT8

BERT模型INT8量化部署全流程，从校准到推理延迟对比。

实战案例：ResNet50

ResNet50量化前后性能对比，精度、吞吐量、模型大小分析。

实战案例：YOLOv5边缘部署

YOLOv5量化部署到边缘设备（Jetson/树莓派），速度与精度权衡。

量化与剪枝

联合优化策略，先剪枝还是先量化？结构化剪枝+量化协同。

量化与蒸馏

知识蒸馏辅助量化，提升小模型精度，教师-学生架构。

不同硬件（NVIDIA、Qualcomm、Apple、Intel）的量化差异与算子支持。

PyTorch动态量化原理与实践，适合RNN/Transformer的动态范围。

TensorRT静态量化完整流程，校准、INT8引擎生成与部署。

量化误差分析

量化噪声、饱和误差、截断误差，如何测量与缓解。

混合精度量化

不同层使用不同精度，平衡精度与速度，敏感层保留FP16。

混合精度敏感层

量化部署Pipeline

从训练到部署的完整Pipeline：导出、校准、量化、推理服务。

量化模型调试

如何定位量化后的精度瓶颈，逐层对比、敏感度分析。

量化与稀疏化

结合稀疏化进一步压缩模型，非结构化/结构化稀疏+量化。

MLPerf推理基准中的量化要求，精度与性能指标。

量化模型的鲁棒性与安全性问题，对抗攻击下的表现。

安全鲁棒性

4-bit、2-bit量化，二值化网络，极端压缩下的精度保持。

前沿二值化

量化工具对比

TensorRT vs ONNX Runtime vs OpenVINO，精度、速度、生态对比。

量化模型可视化

如何可视化量化后的权重分布，直方图、离群点分析。

可视化权重

量化自动化

AutoML在量化中的应用，自动搜索最佳量化配置与粒度。

量化在NLP中的应用

Transformer模型量化挑战与解决方案，BERT/GPT量化实践。

量化在CV中的应用

检测、分割、分类模型的量化实践，YOLO/DeepLab/ResNet。

专注课程资料整理