VIP20
本课程属于：026-ONNX模型转换与边缘推理兼容性 嵌入式边缘AI与TinyML · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

8. ONNX量化入门：动态量化、静态量化与校准数据

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 量化在ONNX中的价值 · 课程整体框架与前置知识要求
课程导入学习目标
02
量化基础
什么是模型量化 · 量化的数学原理（对称/非对称 · 缩放因子与零点）
量化基础什么是模型量化
03
ONNX与量化生态
ONNX Runtime · ONNX量化工具链（onnxrunt… · onnxconverter-comm…
ONNX量化生态
04
动态量化原理
动态量化的定义 · 适用场景（如LSTM/Transfo… · 权重量化与激活动态量化的机制
动态量化原理动态量化的定义
05
动态量化实战
使用onnxruntime.quan… · 并对比推理速度与精度
动态量化实战onnxruntime.…
06
静态量化原理
静态量化的定义 · 需要校准数据的原因 · 激活值静态量化的流程（预量化
静态量化原理静态量化的定义
07
校准数据概念
什么是校准数据 · 校准数据集的要求（代表性 · 多样性
校准数据概念什么是校准数据
08
校准方法
MinMax · Percentile · MSE
校准方法MinMax
09
静态量化流程
从ONNX模型到静态量化模型的完整步… · 生成校准数据 · 执行量化
静态量化流程ONNX
10
静态量化实战
使用quantize_static对… · 编写校准数据生成器 · 并评估量化后模型
静态量化实战quantize
11
量化算子支持
ONNX Runtime中支持量化的… · 量化与反量化节点（QuantizeL…
量化算子支持ONNX
12
量化模型格式
量化后的ONNX模型结构 · 权重与激活的量化参数存储方式 · 如何检查量化模型
量化模型格式ONNX
13
量化参数选择
位宽（8bit/16bit） · 粒度（per-tensor/per-… · 对称与非对称的选择策略
量化参数选择bit/16bit
14
精度评估方法
量化前后模型输出的差异度量（如余弦相… · 均方误差） · 在验证集上的精度对比
精度评估方法量化前后模型输出…
15
性能评估方法
量化前后推理延迟 · 吞吐量 · 模型大小的对比
性能评估方法量化前后推理延迟
16
动态量化案例
以BERT或LSTM为例 · 展示动态量化在NLP模型上的应用与效…
动态量化案例BERT
17
静态量化案例
以ResNet或MobileNet为… · 展示静态量化在CV模型上的应用与效果
静态量化案例ResNet
18
校准数据生成实战
从训练集或验证集中采样校准数据 · 编写数据加载器并生成校准数据缓存
校准数据生成实战从训练集或验证集
19
校准数据规模影响
不同校准样本数量对量化精度的影响实验 · 如何确定最佳样本数
校准数据规模影响不同校准样本数量…
20
常见问题与调试
量化后精度下降严重 · 校准数据不匹配 · 算子不支持等问题的排查与解决
常见问题调试
21
混合量化
部分层使用动态量化 · 部分层使用静态量化的混合策略 · 以及如何实现
混合量化部分层使用动态量…
22
量化与剪枝/蒸馏结合
量化与其他模型压缩技术的协同 · 提升压缩率与保持精度
量化剪枝
23
ONNX Runtime量化API详解
quantize_dynamic · quantize_static · QuantFormat
ONNXRuntime
24
量化模型部署
将量化后的ONNX模型部署到不同推理… · TensorRT · OpenVINO）的注意事项
量化模型部署ONNX
25
量化模型转换
从PyTorch/TensorFlo… · 以及QDQ格式的转换
量化模型转换PyTorch/Tens…
26
量化工具对比
ONNX Runtime量化与Ten… · PyTorch量化 · TFLite量化的异同
量化工具对比ONNX
27
量化进阶
低比特量化（4bit/2bit） · 混合精度量化 · 量化感知训练（QAT）与后训练量化（…
量化进阶bit/2bit
28
综合实战项目
从给定模型出发 · 完成动态量化 · 静态量化
综合实战项目从给定模型出发
29
课程总结
量化核心要点回顾 · 常见误区 · 学习路径建议与进一步资源推荐
课程总结量化核心要点回顾
30
综合测试与挑战
设计一个量化方案解决实际部署问题 · 并撰写实验报告
综合测试挑战