VIP20

本课程属于：031-Edge AI GPU加速与TensorRT部署 嵌入式边缘AI与TinyML · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

4. TensorRT INT8量化：校准集、Calibration Cache与误差评估

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

INT8量化的背景与动机 · TensorRT中INT8加速的原理 · 课程学习目标与整体框架

课程导入INT8

定点数与浮点数表示 · 线性量化与非线性量化 · 对称量化与非对称量化

量化基础定点数

TensorRT INT8量化流程

从FP32模型到INT8引擎的完整步… · 包括校准 · 量化

校准集的作用与构建

什么是校准集 · 校准集应如何选取 · 数据量要求

校准集的作用构建

校准方法详解

TensorRT支持的校准算法（如M… · Entropy · Percentile

校准方法详解TensorRT

校准过程实战

使用Python API配置校准器 · 编写校准数据加载器 · 执行校准并生成INT8引擎

校准过程实战Python

Calibration Cache机制

什么是Calibration Cac… · 其格式与内容 · 如何生成

CalibrationCache

Calibration Cache实战

保存与加载校准缓存 · 避免重复校准 · 在部署中如何管理缓存

CalibrationCache

误差评估指标

量化误差的度量方法 · 包括均方误差（MSE） · 平均误差（MAE）

误差评估指标量化误差的度量方…

误差评估流程

在TensorRT中如何比较FP32… · 评估层间误差与端到端误差 · 以及评估数据集的构建

误差评估流程TensorRT

精度损失原因分析

量化误差的来源 · 包括权重分布 · 激活值分布

精度损失原因分析量化误差的来源

层级敏感度分析

逐层或逐块量化敏感性分析 · 识别对量化敏感的网络层 · 并针对性地进行混合精度或跳过量化

层级敏感度分析逐层或逐块量化敏…

改进量化精度的方法

使用更高精度的校准算法 · 调整校准集 · 使用量化感知训练（QAT）

改进量化精度的方…使用更高精度的校…

TensorRT INT8 API详解

配置INT8的BuilderConf… · Calibrator类 · setCalibrator等接口

自定义校准器实现

继承IInt8Calibrator · 实现getBatchSize · getBatch

自定义校准器实现IInt8Calibra…

校准集数据预处理

图像缩放 · 归一化 · 通道顺序

校准集数据预处理图像缩放

批量大小与迭代次数的影响

校准时的batch size和迭代次… · 如何选择最优参数

批量大小迭代次数的影响

Calibration Cache的版本兼容性

不同TensorRT版本之间缓存格式… · 如何跨版本迁移 · 以及注意事项

CalibrationCache

多平台部署中的校准问题

GPU架构差异（如Turing · Ampere · Ada）对INT8量化的影响

多平台部署校准问题

动态形状与INT8量化

动态batch或动态尺寸下校准的注意… · 如何设置优化profile · 以及缓存与动态形状的交互

INT8动态形状

INT8量化与TensorRT优化结合

INT8与层融合 · 内存优化 · 并发执行等特性的协同

图像分类模型（如ResNet-50）… · 包括校准 · 构建引擎

案例实战ResNet-50

目标检测模型（如YOLOv5）的IN… · 处理多输出 · 锚框等特殊结构

案例实战YOLOv5

语义分割模型（如DeepLabV3）… · 处理上采样层 · 多尺度特征

案例实战DeepLabV3

常见问题与解决方案

校准集过小导致精度差 · 校准缓存加载失败 · 量化后输出NaN

常见问题解决方案

误差评估工具与可视化

编写脚本计算量化前后输出的差异 · 绘制分布图 · 散点图

误差评估工具可视化

INT8量化与推理性能分析

使用Nsight Systems · TensorRT Profiler等… · 对比FP32

量化感知训练（QAT）与TensorRT INT8的配合

QAT原理 · 如何在PyTorch/TensorF… · 导出模型后TensorRT INT8…

从零构建一个完整的INT8量化部署流… · 包括数据准备 · 校准

综合实战INT8

课程总结与进阶方向

回顾核心知识点 · 总结最佳实践 · 探讨INT8量化的前沿技术（如混合精…

课程总结进阶方向