VIP9
本课程属于：123-TensorRT边缘GPU推理优化 AI智能与边缘计算工程 · 共 9 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

3. TensorRT FP16优化：半精度推理和精度验证

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
FP16优化的背景 · 目标 · 适用场景以及课程整体学习路径
课程导入FP16
02
FP16基础
IEEE 754半精度格式 · 表示范围 · 精度特性与常见误区
FP16IEEE
03
TensorRT概述
TensorRT在推理加速中的角色 · 核心组件与FP16支持概览
TensorRT推理加速
04
FP16与FP32对比
数值范围 · 精度 · 内存带宽
FP16FP32
05
TensorRT FP16启用方法
通过Python API和C++ A…
TensorRTFP16
06
构建引擎时的FP16配置
Builder配置 · 精度标志 · 动态形状与FP16的交互
FP16构建引擎时的
07
FP16引擎序列化与反序列化
保存和加载FP16引擎文件 · 确保可复用性
FP16引擎序列化
08
FP16推理流程
使用FP16引擎进行推理的完整代码示…
FP16推理流程
09
精度验证基础
常用指标（最大误差 · 均方误差 · 余弦相似度）及其适用场景
精度验证基础常用指标
10
精度验证工具
使用NumPy · PyTorch或TensorFlow…
精度验证工具NumPy
11
精度验证实战
对典型模型（如ResNet · YOLO）进行FP16推理并量化精度…
精度验证实战ResNet
12
FP16精度损失原因
数值溢出 · 舍入误差 · 梯度消失（训练相关）及层敏感度分析
FP16精度损失原因
13
敏感层识别
通过逐层对比找出对FP16敏感的层 · 并分析原因
敏感层识别FP16
14
混合精度策略
在TensorRT中为特定层设置FP… · 实现混合精度推理
混合精度策略TensorRT
15
FP16与INT8对比
精度 · 性能 · 部署复杂度差异
FP16INT8
16
FP16优化技巧
调整批大小 · 使用TensorRT优化器 · 减少内存拷贝等提升性能
FP16优化技巧
17
FP16性能基准测试
使用trtexec或自定义脚本测量F…
FP16性能基准测试
18
FP16在GPU上的硬件支持
不同GPU架构（如Turing · Ampere · Hopper）对FP16的加速差异
FP16GPU
19
FP16与TensorRT插件
自定义插件中FP16的实现与精度处理
FP16TensorRT
20
FP16与动态形状
动态batch或动态分辨率下FP16…
FP16动态形状
21
FP16与多流推理
多线程或多流环境下FP16引擎的并发…
FP16多流推理
22
FP16精度验证自动化
编写脚本批量对比多个输入 · 生成精度报告
FP16精度验证自动化
23
FP16常见问题排查
输出NaN · Inf · 精度骤降等问题的诊断与解决
FP16常见问题排查
24
FP16与模型量化感知训练
如何在训练阶段模拟FP16效果 · 提升推理精度
FP16模型量化感知训练
25
FP16与校准
是否需要校准？与INT8校准的区别 · 以及FP16下的校准方法
FP16校准
26
FP16在NLP模型中的应用
Transformer · BERT等模型的FP16推理实践与精…
FP16NLP
27
FP16在目标检测模型中的应用
YOLO · SSD等模型的FP16推理案例与精度…
FP16目标检测模型
28
FP16在生成模型中的应用
GAN · Diffusion模型的FP16推理…
FP16生成模型
29
FP16优化综合实战
从原始模型到FP16引擎的完整流程 · 包括精度验证和性能调优
FP16优化综合实战
30
课程总结与进阶
FP16优化要点回顾 · 常见陷阱 · 未来趋势（如FP8）及学习资源推荐
课程总结进阶