VIP20
本课程属于：160-NVIDIA Jetson边缘AI与嵌入式视觉工程 AI智能与边缘计算工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

NVIDIA Jetson推理平台部署与性能优化

共计 30 章节
可可资料掘金营 · 点击在线试看
01
Jetson平台全景与推理部署挑战
目标=Jetson系列硬件规格对比 · 典型边缘AI应用场景 · 推理部署的核心挑战与优化目标
Jetson平台全景
02
JetPack与开发环境搭建
目标=JetPack SDK组成 · 刷机与系统配置 · CUDA/cuDNN/TensorR…
JetPack开发环境搭建
03
TensorRT推理引擎基础
目标=TensorRT架构 · 模型解析与序列化 · ONNX到TensorRT转换流程
TensorRT推理引擎基础
04
PyTorch/TensorFlow模型导出与优化
目标=模型导出为ONNX · 算子兼容性检查 · 图优化与常量折叠
PyTorch/Tens…模型导出
05
TensorRT引擎构建实战
目标=使用trtexec构建引擎 · 显式批次与工作空间配置 · 精度模式选择（FP32/FP16/I…
TensorRT引擎构建实战
06
INT8量化与校准
目标=PTQ与QAT流程 · 校准集选择与预处理 · 敏感层分析
INT8量化
07
DeepStream视频推理流水线
目标=DeepStream架构 · 插件与元件 · 多路视频流处理
DeepStream视频推理流水线
08
Triton推理服务器在Jetson上的部署
目标=Triton架构与模型仓库 · 配置多模型与动态批处理 · 并发模型执行
TritonJetson
09
模型部署为独立服务
目标=使用Flask/FastAPI… · gRPC与HTTP接口设计 · 请求批处理与异步处理
模型部署为独立服…Flask/FastAP…
10
Jetson性能剖析工具
目标=Nsight Systems与… · tegrastats与jetson_… · GPU/CPU/内存瓶颈定位
Jetson性能剖析工具
11
推理性能优化策略
目标=层融合与内核自动调优 · 内存复用与零拷贝 · CUDA流与异步执行
推理性能优化策略目标=层融合
12
动态批处理与并发推理
目标=TensorRT动态批处理 · Triton动态批处理配置 · 多实例GPU（MIG）与多流并发
动态批处理并发推理
13
模型剪枝与知识蒸馏
目标=结构化剪枝与稀疏化 · 知识蒸馏流程 · 剪枝后微调与TensorRT兼容性
模型剪枝知识蒸馏
14
Jetson上的视觉Transformer优化
目标=ViT/Swin Transf… · 注意力算子优化 · TensorRT插件开发
JetsonTransformer
15
多模型级联与流水线并行
目标=级联模型部署（检测+分类） · 流水线并行与数据依赖 · TensorRT多引擎调度
多模型级联流水线并行
16
Jetson集群与分布式推理
目标=多Jetson设备协同 · Kubernetes与K3s部署 · 模型分发与负载均衡
Jetson集群
17
边缘端模型更新与OTA
目标=模型版本管理 · 安全OTA更新流程 · A/B测试与回滚
OTA边缘端模型更新
18
功耗与热管理优化
目标=Jetson功耗模式配置 · 动态电压频率调整（DVFS） · 散热方案与温度监控
功耗热管理优化
19
内存优化与零拷贝
目标=统一内存与固定内存 · 零拷贝推理 · 内存池与重用
内存优化零拷贝
20
实时视频分析优化案例
目标=多路RTSP流解码与推理 · DeepStream与TensorR… · 目标跟踪与行为分析
实时视频分析优化…RTSP
21
自动驾驶感知部署案例
目标=多传感器融合推理 · BEV感知模型部署 · TensorRT与CUDA协同优化
自动驾驶感知部署…目标=多传感器融…
22
工业质检推理优化案例
目标=高分辨率图像缺陷检测 · 小目标检测优化 · TensorRT INT8量化实战
工业质检推理优化…目标=高分辨率图…
23
智能零售与行为识别案例
目标=行人检测与属性识别 · 多目标跟踪与ReID · Triton多模型服务
智能零售行为识别案例
24
机器人视觉与SLAM推理
目标=视觉SLAM前端推理 · 深度估计与障碍物检测 · TensorRT加速特征提取
SLAM机器人视觉
25
语音识别与NLP推理部署
目标=语音识别模型（如Conform… · BERT类模型推理优化 · TensorRT插件与量化
NLP语音识别
26
Jetson上的生成式AI推理
目标=Stable Diffusio… · 内存与计算优化 · TensorRT-LLM与量化
JetsonAI
27
推理服务监控与运维
目标=Prometheus与Graf… · 推理延迟与吞吐指标 · 异常检测与告警
推理服务监控运维
28
安全与隐私保护
目标=模型加密与安全启动 · 可信执行环境（TEE） · 联邦学习与差分隐私
安全隐私保护
29
性能基准测试与对比
目标=MLPerf Inferenc… · 自定义基准测试设计 · 不同Jetson型号对比
性能基准测试对比
30
综合项目
目标=端到端边缘AI推理系统 · 模型选型与优化 · 部署与性能调优
综合项目AI