VIP20
本课程属于：162-NVIDIA CUDA与TensorRT GPU加速工程 AI智能与边缘计算工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

NVIDIA TensorRT推理部署工程

共计 30 章节
可可资料掘金营 · 点击在线试看
01
TensorRT推理部署工程导论
目标=TensorRT的定位 · 核心价值 · 推理部署全流程概览
TensorRT推理部署工程导论
02
TensorRT环境搭建与工具链
目标=CUDA · cuDNN · TensorRT安装
TensorRT环境搭建
03
ONNX模型导出与检查
目标=从PyTorch/Tensor… · opset选择 · 动态轴设置
ONNX模型导出
04
TensorRT引擎构建基础
目标=Builder · Network · Parser
TensorRT引擎构建基础
05
ONNX Parser解析机制
目标=解析器工作原理 · 算子映射 · 不支持算子处理
ONNXParser
06
TensorRT精度模式
目标=FP32 · FP16 · INT8
TensorRT精度模式
07
校准与INT8量化
目标=校准器接口 · 校准集构建 · 熵校准与minmax校准
INT8校准
08
显式量化与QAT模型部署
目标=Q/DQ节点插入 · 显式量化解析 · 量化感知训练模型到TensorRT的…
QAT显式量化
09
动态Shape与Profile配置
目标=动态输入维度 · OptimizationProfil… · 多Profile切换
ShapeProfile
10
TensorRT插件开发基础
目标=IPluginV2与IPlug… · 插件创建 · 序列化
TensorRT插件开发基础
11
自定义算子插件实战
目标=实现一个实际自定义算子插件 · CUDA核函数编写 · 插件集成到引擎并验证精度
自定义算子插件实…目标=实现一个实…
12
TensorRT引擎序列化与加载
目标=引擎序列化 · 反序列化 · 版本兼容性
TensorRT引擎序列化
13
运行时推理执行
目标=ExecutionContex… · enqueueV3 · executeV2
运行时推理执行ExecutionCon…
14
CUDA流与多流推理
目标=CUDA Stream · 事件 · 多流并行
CUDA多流推理
15
批处理与并发推理
目标=静态批与动态批 · 多Context并发 · 多线程推理
批处理并发推理
16
内存优化与显存管理
目标=设备内存分配 · Pinned Memory · 零拷贝
内存优化显存管理
17
TensorRT性能分析
目标=trtexec性能测试 · Nsight Systems/Com… · 层耗时分析
TensorRT性能分析
18
层融合与图优化
目标=TensorRT图优化策略 · 层融合 · 精度校准
层融合图优化
19
TensorRT与Triton Inference Server集成
目标=模型仓库配置 · TensorRT backend · 动态批处理
TensorRTTriton
20
TensorRT在边缘设备部署
目标=Jetson平台环境 · DLA加速 · 功耗模式
TensorRT边缘设备部署
21
TensorRT与DeepStream视频分析
目标=DeepStream pipe… · TensorRT推理插件 · 多路视频流处理与目标检测部署
TensorRTDeepStream
22
TensorRT与CUDA Graph
目标=CUDA Graph捕获 · 实例化 · 在TensorRT推理中的应用
TensorRTCUDA
23
TensorRT与PyTorch/TensorFlow集成
目标=torch-tensorrt · TF-TRT · 框架内推理加速
TensorRTPyTorch/Tens…
24
TensorRT模型精度调试
目标=Polygraphy精度对比 · 逐层精度分析 · ONNX与TensorRT输出差异定…
TensorRT模型精度调试
25
TensorRT部署中的常见错误与排查
目标=构建失败 · 解析错误 · 运行时错误
TensorRT部署
26
TensorRT服务化部署实战
目标=基于FastAPI/Flask… · 请求批处理 · 健康检查与日志监控
TensorRT服务化部署实战
27
TensorRT容器化与Kubernetes部署
目标=Docker镜像构建 · NVIDIA Container T… · K8s GPU调度
TensorRTKubernetes
28
TensorRT推理服务性能压测
目标=Locust/wrk压测 · QPS/延迟/P99指标 · 并发调优
TensorRT推理服务性能压测
29
TensorRT端到端项目实战
目标=从模型训练导出 · 引擎构建 · 服务封装
TensorRT端到端项目实战
30
TensorRT前沿与生态演进
目标=TensorRT-LLM · TensorRT 10新特性 · 多模态推理
TensorRT前沿