VIP20

本课程属于：031-Edge AI GPU委托与TensorRT 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

TensorRT硬件加速调参指南：TinyML边缘推理优化

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 目标学员 · 课程结构

课程导入学习目标

微控制器与边缘设备分类 · 资源约束（内存 · 算力

TinyML微控制器

TensorRT在NVIDIA边缘设… · 版本演进 · 与CUDA/cuDNN的关系

硬件平台选型

Jetson Nano/TX2/Xa… · 内存带宽 · GPU核心数

硬件平台选型Jetson

模型量化基础

FP32/FP16/INT8精度原理 · 量化误差来源 · 动态范围与校准数据集

模型量化基础FP32/FP16/IN…

TensorRT构建流程

从ONNX/PyTorch/Tens…

TensorRT构建流程

ONNX模型导出与优化

算子兼容性检查 · 动态轴设置 · 批处理维度处理

ONNX模型导出

TensorRT API入门

C++与Python API对比 · Builder/Network/En…

构建参数调优

工作空间大小 · 最大批处理量 · 精度模式（FP16/INT8）

构建参数调优工作空间大小

INT8量化实战

校准器选择（Entropy/MinM… · 校准数据数量与代表性 · 量化敏感层识别

INT8量化实战

层融合与图优化

TensorRT自动融合机制（Con… · 手动融合策略 · 减少内存拷贝

层融合图优化

内存管理优化

显存池 · 张量内存复用 · 零拷贝推理

内存管理优化显存池

推理引擎序列化与反序列化

引擎文件保存/加载 · 跨设备兼容性 · 版本一致性

推理引擎序列化反序列化

动态形状处理

动态输入尺寸配置 · 优化配置文件（Optimizatio… · 多Profile切换

动态形状处理动态输入尺寸配置

多流与并发推理

Stream管理 · 多Context并行 · CPU与GPU异步执行

多流并发推理

性能分析工具

NVIDIA Nsight Syst… · Nsight Compute · TensorRT Profiler

性能分析工具NVIDIA

使用trtexec测试不同精度/批处… · 生成时间线

常见性能瓶颈

数据加载瓶颈 · 预处理开销 · 后处理延迟

常见性能瓶颈数据加载瓶颈

模型结构优化

轻量化网络（MobileNet · EfficientNet-Lite） · 剪枝

模型结构优化MobileNet

边缘部署案例

基于Jetson Nano的实时图像…

边缘部署案例Jetson

目标检测优化案例

YOLOv5/YOLOv8在Tens…

目标检测优化案例YOLOv5/YOLOv…

语义分割优化案例

DeepLabV3在边缘设备上的内存…

语义分割优化案例DeepLabV3

语音唤醒词检测案例

TinyML音频模型（如TinyLS…

语音唤醒词检测案…TinyML

多模型协同推理

多模型共享GPU资源 · 优先级调度 · 模型分时复用

多模型协同推理GPU

功耗与散热调优

DVFS（动态电压频率调整） · GPU/CPU频率锁定 · 功耗墙限制对性能的影响

功耗散热调优

常见错误与调试

构建失败 · 精度下降 · 内存溢出

常见错误调试

TensorRT版本迁移

从旧版本升级到新版本时的API变化 · 引擎兼容性 · 性能差异

TensorRT版本迁移

综合实战项目

从零构建一个完整的边缘推理系统（模型… · 量化 · 调参

综合实战项目从零构建一个完整…

性能调优方法论

系统化调优流程（基线测量 · 瓶颈定位 · 迭代优化）

性能调优方法论系统化调优流程

课程总结与进阶方向

回顾核心知识点 · 推荐学习资源 · 未来趋势（Transformer在边…

课程总结进阶方向