VIP20

本课程属于：160-NVIDIA Jetson边缘AI与嵌入式视觉工程 AI智能与边缘计算工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

NVIDIA Jetson TensorRT推理部署与优化

共计 30 章节

可可资料掘金营 · 点击在线试看

Jetson平台与TensorRT生态全景

目标=Jetson硬件系列对比 · JetPack SDK组成 · TensorRT在边缘推理中的定位

开发环境搭建与工具链配置

目标=Jetson设备刷机 · JetPack安装 · CUDA/cuDNN/TensorR…

开发环境搭建工具链配置

TensorRT核心概念与工作流程

目标=计算图 · 层与张量 · 精度模式（FP32/FP16/INT…

TensorRT核心概念

模型转换与ONNX导出实战

目标=PyTorch/TensorF… · ONNX图优化 · 动态轴与动态形状处理

ONNX模型转换

TensorRT引擎构建与序列化

目标=Builder配置 · 优化配置文件（Optimizatio… · 显存池限制

TensorRT引擎构建

精度校准与INT8量化部署

目标=校准数据集准备 · 熵校准与最小最大值校准 · 校准缓存生成

INT8精度校准

动态形状与批处理推理优化

目标=动态形状配置 · 多优化配置文件 · 批处理策略

动态形状批处理推理优化

TensorRT插件开发与自定义层

目标=插件接口（IPluginV2/… · 自定义层实现 · 插件注册与序列化

TensorRT插件开发

Jetson上部署YOLO系列目标检测模型

目标=YOLOv5/v8导出ONNX · TensorRT引擎构建 · 后处理插件实现

Jetson上部署语义分割与实例分割模型

目标=DeepLabv3 · UNet · Mask R-CNN等模型转换

Jetson上部署语义分割

Jetson上部署图像分类与骨干网络

目标=ResNet · MobileNet · EfficientNet等模型转换

Jetson上部署图像分类

Jetson上部署Transformer与注意力模型

目标=ViT · Swin Transformer · BERT等模型导出

JetsonTransformer

多模型并行与流水线推理

目标=多引擎并发执行 · CUDA流与事件同步 · 内存共享

多模型并行流水线推理

DeepStream与TensorRT集成部署

目标=DeepStream SDK架… · GStreamer插件 · TensorRT推理集成

DeepStreamTensorRT

TensorRT与ROS/ROS2集成

目标=ROS节点封装TensorRT… · 图像与点云消息处理 · 实时性保障

TensorRTROS/ROS2

Jetson硬件资源监控与瓶颈分析

目标=tegrastats · jtop · Nsight Systems

Jetson硬件资源监控

TensorRT性能调优策略

目标=层融合 · 内核自动调优 · 精度选择

TensorRT性能调优策略

模型剪枝与知识蒸馏辅助TensorRT优化

目标=结构化剪枝 · 稀疏化 · 知识蒸馏

TensorRT模型剪枝

Jetson低功耗与散热约束下的推理优化

目标=功耗模式设置 · DVFS调频 · 散热管理

Jetson低功耗

TensorRT推理服务化与API封装

目标=REST/gRPC服务封装 · 多客户端并发 · 请求批处理

Jetson边缘端模型更新与OTA部署

目标=模型版本管理 · 远程更新机制 · A/B分区

TensorRT推理精度调试与验证

目标=逐层精度对比 · ONNX与TensorRT输出差异分… · FP16/INT8精度回归

TensorRT推理精度调试

Jetson多传感器融合推理部署

目标=摄像头 · 激光雷达 · 毫米波雷达数据融合

Jetson多传感器融合推理…

TensorRT在Jetson上的安全与可靠性

目标=输入验证 · 异常处理 · 内存泄漏检测

Jetson集群与分布式推理

目标=多Jetson设备协同 · 网络通信（NCCL/MPI） · 模型分片

TensorRT与CUDA编程协同优化

目标=自定义CUDA内核 · 与TensorRT插件结合 · 内存拷贝优化

Jetson上部署生成式AI模型

目标=Stable Diffusio… · LLM等大模型量化与部署 · 内存优化

TensorRT推理基准测试与报告

目标=基准测试方法论 · trtexec与自定义脚本 · 延迟/吞吐量/精度指标

TensorRT推理基准测试

真实项目实战

目标=智能视频分析系统端到端部署 · 模型选型 · TensorRT优化

真实项目实战目标=智能视频分…

课程总结与前沿展望

目标=核心知识点回顾 · Jetson与TensorRT生态发… · 新技术（如Transformer引擎

课程总结前沿展望