VIP20

本课程属于：031-Edge AI GPU委托与TensorRT 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

TensorRT边缘部署实战：GPU委托调优完整教程

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 适用人群 · 课程结构

课程导入学习目标

边缘部署基础

边缘计算概念 · GPU在边缘端的优势 · TensorRT在边缘AI中的地位与…

边缘部署基础边缘计算概念

TensorRT核心概念

引擎（Engine） · 网络定义（Network） · 优化器（Builder）

TensorRT核心概念

GPU委托（Delegate）原理

什么是委托 · TensorRT委托在TensorF… · 与纯TensorRT的差异

环境搭建与验证

安装CUDA · cuDNN · TensorRT

环境搭建验证

模型转换流程

从TensorFlow/PyTorc… · 再到TensorRT引擎的完整转换步…

模型转换流程TensorFlow/P…

TensorRT委托集成

在TensorFlow Lite中启…

TensorRT委托集成

委托参数调优

线程数 · 精度选择 · 缓存策略

委托参数调优线程数

性能基准测试

使用perf tools · Nsight Systems · TensorRT自带的trtexec…

性能基准测试perf

减少显存占用 · 内存池配置 · 张量内存复用

内存优化减少显存占用

模型量化实战

INT8量化原理 · 校准数据集准备 · 量化后精度损失评估与补偿

模型量化实战INT8

动态形状处理

动态输入尺寸 · 动态batch · 优化动态形状引擎的构建与使用

动态形状处理动态输入尺寸

多模型并发

在边缘设备上同时运行多个模型 · 资源分配与调度策略

多模型并发边缘设备上同时运…

边缘端推理管线

数据预处理 · 推理 · 后处理全流程的GPU加速优化

边缘端推理管线数据预处理

常见性能瓶颈

CPU-GPU数据传输 · 内存拷贝 · 算子效率

常见性能瓶颈CPU-GPU

调试与错误处理

常见错误码 · 日志分析 · 引擎构建失败

调试错误处理

图像分类模型（如ResNet）在Je…

案例实战ResNet

目标检测模型（如YOLOv5）的Te… · 包括NMS后处理优化

案例实战YOLOv5

语义分割模型（如DeepLabV3）…

案例实战DeepLabV3

自然语言处理模型（如BERT）在边缘…

案例实战BERT

视频流处理

使用TensorRT委托加速视频解码 · 推理与显示 · 实现实时视频分析

视频流处理TensorRT

多线程与异步推理

使用线程池 · 异步队列 · 事件同步提升吞吐量

多线程异步推理

功耗与散热管理

在边缘设备上平衡性能与功耗 · 使用nvpmodel和jetson_…

功耗散热管理

模型压缩与剪枝

结合TensorRT的层融合 · 算子替换 · 权重剪枝等技巧

模型压缩剪枝

跨平台部署

将TensorRT委托应用扩展到其他…

跨平台部署TensorRT

与深度学习框架集成

在PyTorch · TensorFlow · ONNX Runtime中调用Ten…

深度学习框架集成PyTorch

自动化部署流程

使用Docker容器化TensorR… · 实现一键部署与版本管理

自动化部署流程Docker

安全与可靠性

模型加密 · 防篡改 · 异常检测

安全可靠性

综合项目实战

从零构建一个完整的边缘AI应用（如智… · 涵盖模型训练 · 转换

综合项目实战AI

课程总结与进阶方向

常见问题回顾 · 最佳实践总结 · 未来趋势（如TensorRT 10

课程总结进阶方向