VIP20
本课程属于：161-NVIDIA IGX工业边缘AI与高可靠系统 AI智能与边缘计算工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

NVIDIA IGX TensorRT实时推理部署工程

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入与工程全景
目标=NVIDIA IGX平台定位 · TensorRT在实时推理中的角色 · 端到端部署流程概览
课程导入工程全景
02
IGX硬件与系统架构解析
目标=IGX Orin计算模块 · 安全与可靠性特性 · 传感器接口
IGX硬件
03
TensorRT核心概念与工作流程
目标=计算图优化 · 层融合 · 精度校准
TensorRT核心概念
04
开发环境搭建与工具链配置
目标=IGX开发者套件系统烧录 · CUDA/cuDNN/TensorR… · 容器化开发环境
开发环境搭建工具链配置
05
模型准备与ONNX导出
目标=从PyTorch/Tensor… · 动态轴设置 · 算子兼容性检查
ONNX模型准备
06
TensorRT引擎构建实战
目标=trtexec与Python… · 精度模式选择（FP32/FP16/I… · 工作空间配置
TensorRT引擎构建实战
07
INT8量化与校准
目标=校准算法原理 · 校准集制作 · 熵校准与最小最大校准
INT8量化
08
动态形状与批处理优化
目标=动态输入配置 · 优化配置文件（Optimizatio… · 多批次推理
动态形状批处理优化
09
TensorRT插件开发
目标=自定义层插件编写 · 插件注册与序列化 · 插件性能调优
TensorRT插件开发
10
实时推理流水线设计
目标=多流执行 · 异步推理 · CUDA流与事件
实时推理流水线设…目标=多流执行
11
DeepStream与TensorRT集成
目标=DeepStream插件架构 · gst-nvinfer配置 · 多路视频流推理
DeepStreamTensorRT
12
多模型与多任务推理调度
目标=多引擎并发执行 · 资源隔离 · 优先级调度
多模型多任务推理调度
13
性能分析与瓶颈定位
目标=Nsight Systems与… · TensorRT层分析器 · 延迟与吞吐量测量
性能分析瓶颈定位
14
延迟优化技术
目标=层融合与精度选择 · 内核自动调优 · 内存复用
延迟优化技术目标=层融合
15
吞吐量优化技术
目标=批处理策略 · 多流并行 · 动态批处理
吞吐量优化技术目标=批处理策略
16
功耗与热管理优化
目标=IGX功耗模式配置 · 动态电压频率调整 · 热约束下的推理调度
功耗热管理优化
17
模型精度验证与调优
目标=精度评估指标 · 逐层精度对比 · 混合精度策略
模型精度验证调优
18
安全与可靠性部署
目标=功能安全概念 · 冗余推理 · 故障检测与恢复
安全可靠性部署
19
容器化与编排部署
目标=Docker容器构建 · NVIDIA Container T… · Kubernetes与IGX集成
容器化编排部署
20
边缘-云协同推理
目标=模型分割与卸载 · 云边通信优化 · 联邦学习与增量更新
边缘云协同推理
21
实时视频分析实战
目标=多路视频解码 · 目标检测与跟踪 · TensorRT加速
实时视频分析实战目标=多路视频解…
22
自动驾驶感知推理实战
目标=多传感器融合 · BEV感知模型部署 · TensorRT优化
自动驾驶感知推理…目标=多传感器融…
23
工业视觉质检实战
目标=缺陷检测模型部署 · 高分辨率图像处理 · 低延迟推理
工业视觉质检实战目标=缺陷检测模…
24
机器人实时控制推理实战
目标=强化学习策略部署 · 低延迟推理 · ROS 2集成
机器人实时控制推…目标=强化学习策…
25
医疗影像实时推理实战
目标=医学图像分割 · 3D卷积网络优化 · TensorRT INT8量化
医疗影像实时推理…目标=医学图像分…
26
模型更新与OTA部署
目标=增量模型更新 · 版本管理 · A/B测试
OTA模型更新
27
监控、日志与远程运维
目标=推理服务监控指标 · 日志收集与分析 · 远程诊断
监控日志
28
端到端部署项目实战（一）
目标=需求分析与架构设计 · 模型选型与优化 · TensorRT引擎构建
端到端部署项目实…目标=需求分析
29
端到端部署项目实战（二）
目标=系统集成与测试 · 性能基准测试 · 安全与可靠性验证
端到端部署项目实…目标=系统集成
30
课程总结与前沿展望
目标=核心知识点回顾 · 工程最佳实践总结 · TensorRT与IGX生态新特性
课程总结前沿展望