VIP20
本课程属于：031-Edge AI GPU委托与TensorRT 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

TensorRT FP16与INT8引擎构建参数教程

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 适用人群 · 课程结构
课程导入学习目标
02
TensorRT基础
推理引擎概念 · 计算图优化 · 层融合
TensorRT推理引擎概念
03
精度模式概述
FP32 · FP16 · INT8
精度模式概述FP32
04
FP16原理
半精度浮点格式 · 动态范围 · 精度损失来源
FP16原理
05
INT8原理
定点量化 · 缩放因子 · 校准数据集
INT8原理
06
构建引擎API
C++与Python接口对比 · BuilderConfig · BuilderFlag设置
API构建引擎
07
FP16引擎构建参数
设置FP16标志 · 允许精度下降 · 层精度覆盖
FP16引擎构建参数
08
INT8引擎构建参数
设置INT8标志 · 校准器选择（IInt8Calibra… · 校准批次大小
INT8引擎构建参数
09
校准方法
熵校准 · 最小化校准 · 百分位校准
校准方法熵校准
10
校准数据集准备
数据多样性 · 数量要求 · 预处理与归一化
校准数据集准备数据多样性
11
动态形状与精度
动态输入维度对FP16/INT8引擎… · 优化配置
动态形状精度
12
工作空间与内存
设置工作空间大小 · 内存池 · 减少显存占用
工作空间内存
13
层级精度控制
Per-layer精度设置 · 混合精度策略 · 敏感层保留FP32
层级精度控制Per-layer
14
量化感知训练（QAT）
QAT概念 · 与PTQ对比 · TensorRT对QAT模型的支持
QAT量化感知训练
15
后训练量化（PTQ）
PTQ流程 · 校准数据使用 · 精度评估与调优
PTQ后训练量化
16
精度验证方法
输出对比 · 余弦相似度 · 最大误差
精度验证方法输出对比
17
性能基准测试
延迟 · 吞吐量 · 功耗
性能基准测试延迟
18
常见问题与调试
精度下降 · NaN/Inf · 校准失败
常见问题调试
19
案例实战
ResNet-50 FP16引擎构建…
案例实战ResNet-50
20
案例实战
YOLOv5 INT8引擎构建与校准…
案例实战YOLOv5
21
案例实战
BERT模型FP16/INT8优化与…
案例实战BERT
22
多平台部署
Jetson · 数据中心GPU · 边缘设备上的参数调整
多平台部署Jetson
23
TensorRT版本差异
不同版本对FP16/INT8支持的变… · 迁移注意事项
TensorRT版本差异
24
与深度学习框架集成
PyTorch · TensorFlow模型导出ONNX · 转TensorRT
深度学习框架集成PyTorch
25
高级优化
TensorRT插件 · 自定义层 · 融合策略对精度的影响
高级优化TensorRT
26
批处理与并发
动态批处理 · 多流推理 · 精度与吞吐平衡
批处理并发
27
模型压缩与量化结合
剪枝 · 蒸馏与FP16/INT8的协同
模型压缩量化结合
28
自动化调优
使用TensorRT自调优工具 · 网格搜索最佳参数
自动化调优TensorRT
29
生产环境部署
模型序列化 · 反序列化 · 热更新
生产环境部署模型序列化
30
综合项目
从零构建一个FP16/INT8推理服… · 包含完整流程 · 测试与优化报告
综合项目FP16/INT8