VIP8

本课程属于：082-嵌入式AI平台与NPU部署 智能机器人、自动化与智能装备工程 · 共 8 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

TensorRT GPU委托在边缘网关上的部署指南

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 适用人群 · 边缘网关与GPU委托的总体概览

课程导入学习目标

边缘计算与边缘网关基础

边缘计算架构 · 网关硬件形态 · 典型应用场景

边缘计算边缘网关基础

GPU在边缘端的价值与挑战

GPU加速优势 · 功耗与散热限制 · 与云端部署的差异

GPU边缘端的价值

TensorRT核心概念

TensorRT是什么 · 推理优化原理 · 与CUDA和cuDNN的关系

TensorRT核心概念

GPU委托（Delegate）机制解析

什么是委托 · TensorFlow Lite与Te… · 委托的工作流程

TensorRT GPU委托的架构与组件

委托API · 执行流程 · 内存管理

边缘网关硬件选型 · 操作系统配置 · NVIDIA驱动与CUDA安装

环境准备边缘网关硬件选型

TensorRT与TensorFlow Lite安装

版本兼容性 · 安装步骤 · 验证安装

TensorRTTensorFlow

模型转换与优化

从TensorFlow/PyTorc…

模型转换优化

构建TensorRT引擎

精度设置（FP32/FP16/INT… · 动态形状 · 工作空间配置

在TensorFlow Lite中启用TensorRT委托

代码示例 · 委托参数配置 · 回调与日志

在PyTorch中集成TensorRT委托

Torch-TensorRT的使用方… · 推理脚本编写

PyTorchTensorRT

边缘网关上的性能调优

批处理大小 · 并发推理 · 内存复用

边缘网关上的性能…批处理大小

量化与精度控制

INT8量化原理 · 校准数据集准备 · 精度损失评估与缓解

量化精度控制

多模型管理与动态加载

模型仓库 · 按需加载 · 资源隔离与优先级调度

多模型管理动态加载

边缘网关上的实时推理案例

视频流分析 · 目标检测 · 语义分割等典型任务

边缘网关上的实时…视频流分析

在Jetson Nano上部署Ten… · 环境搭建 · 模型部署全流程

在Jetson Xavier NX上… · 多路视频流处理

在树莓派+GPU模块上部署Tenso… · 性能优化技巧

使用TensorRT委托加速YOLO… · 引擎构建 · 推理测试

使用TensorRT委托加速BERT… · 动态形状处理

常见错误与调试

驱动问题 · 内存不足 · 模型转换失败

常见错误调试

性能监控与基准测试

使用Nsight · TensorRT Profiler等…

性能监控基准测试

安全与稳定性

边缘网关的可靠性设计 · 故障恢复 · 日志与监控

安全稳定性

与云边协同

模型更新 · 远程管理 · 数据回传与联邦学习基础

云边协同模型更新

多GPU与异构计算

多GPU负载均衡 · CPU+GPU协同 · NPU对比

GPU异构计算

容器化部署

Docker与Kubernetes在… · GPU直通与共享

容器化部署Docker

构建一个完整的边缘AI推理服务 · 架构设计 · 部署与测试

常见问题与最佳实践

总结部署中的坑 · 性能优化清单 · 维护建议

常见问题最佳实践

课程总结与进阶方向

回顾核心知识 · 推荐学习资源 · 未来趋势（如TensorRT-LLM…

课程总结进阶方向