VIP20
本课程属于：162-NVIDIA CUDA与TensorRT GPU加速工程 AI智能与边缘计算工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

TensorRT INT8量化与精度验证工程

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入与工程全景
目标=TensorRT INT8量化… · 典型部署场景 · 精度验证的必要性
课程导入工程全景
02
INT8量化数学基础
目标=对称与非对称量化 · 缩放因子与零点 · 量化误差来源
INT8量化数学基础
03
TensorRT量化工具链总览
目标=PyTorch导出ONNX · ONNX解析 · TensorRT Builder与N…
TensorRT量化工具链总览
04
校准与训练后量化原理
目标=校准数据集选择 · 熵校准 · 最小最大校准
校准训练后量化原理
05
敏感层分析与混合精度策略
目标=逐层敏感度评估方法 · 回退FP16/FP32的决策依据 · 混合精度网络构建与性能精度权衡
敏感层分析混合精度策略
06
量化感知训练与TensorRT协同
目标=QAT基本流程 · 伪量化节点插入 · PyTorch QAT模型导出ONN…
TensorRT量化感知训练
07
构建第一个INT8引擎
目标=以ResNet-50为例 · 完成ONNX导出 · 校准器实现
INT8构建第一个
08
校准数据集工程实践
目标=数据预处理一致性 · 校准样本数量与分布 · 校准缓存管理
校准数据集工程实…目标=数据预处理…
09
精度验证指标体系
目标=Top-1/Top-5准确率 · mAP · PSNR
精度验证指标体系Top-1/Top-5
10
逐层精度对比与误差定位
目标=使用TensorRT层输出对比 · ONNX Runtime与Tenso… · 误差传播分析与问题层定位
逐层精度对比误差定位
11
分类模型INT8量化实战
目标=以MobileNet · EfficientNet为例 · 完成校准
INT8分类模型
12
检测模型INT8量化实战
目标=以YOLO系列为例 · 处理多输出头 · 锚框解码
INT8检测模型
13
分割模型INT8量化实战
目标=以UNet · DeepLab为例 · 处理上采样与跳跃连接
INT8分割模型
14
NLP模型INT8量化实战
目标=以BERT · Transformer为例 · 处理注意力机制
NLPINT8
15
动态形状与INT8量化
目标=动态批次 · 动态分辨率下的校准策略 · 优化配置文件设置
INT8动态形状
16
多流与并发推理下的精度稳定性
目标=CUDA流 · 多线程推理 · 批处理调度对INT8结果一致性的影响…
多流并发推理下的精度…
17
DLA与INT8量化
目标=Jetson平台DLA核心的I… · 层回退策略 · DLA与GPU混合执行下的精度验证
DLAINT8
18
量化调试工具与日志分析
目标=TensorRT verbos… · Polygraphy工具 · ONNX GraphSurgeon
量化调试工具日志分析
19
精度回归测试工程化
目标=自动化测试框架 · 基准模型库 · 精度阈值设定
精度回归测试工程…目标=自动化测试…
20
性能与精度联合调优
目标=层融合 · 内核选择 · 显存占用
性能精度联合调优
21
校准算法进阶
目标=基于KL散度的校准改进 · 直方图分箱策略 · 自适应校准
校准算法进阶KL
22
量化感知训练进阶
目标=LSQ · PACT · 可学习缩放因子
量化感知训练进阶LSQ
23
大模型INT8量化与精度验证
目标=LLM权重仅量化 · 激活量化挑战 · KV Cache量化
INT8大模型
24
跨平台精度一致性验证
目标=x86与ARM · 不同GPU架构 · 不同TensorRT版本间的INT8…
跨平台精度一致性…x86
25
安全与鲁棒性验证
目标=对抗样本下的INT8精度变化 · 分布外数据测试 · 量化模型鲁棒性评估与增强策略
安全鲁棒性验证
26
端到端部署案例
目标=从训练框架到TensorRT… · 再到Triton Inference…
端到端部署案例TensorRT
27
精度验证报告与文档规范
目标=实验记录 · 指标表格 · 可视化对比
精度验证报告文档规范
28
常见精度问题与解决方案
目标=精度骤降 · 层输出异常 · 校准失败
常见精度问题解决方案
29
前沿量化技术跟踪
目标=FP8与INT4量化 · 稀疏量化 · 硬件感知量化
前沿量化技术跟踪FP8
30
课程总结与工程能力自评
目标=知识体系回顾 · 实战项目复盘 · 精度验证检查清单
课程总结工程能力自评