VIP20

本课程属于：031-Edge AI GPU委托与TensorRT 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

TensorRT plugin自定义算子开发与部署课程

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

TensorRT整体架构 · plugin在推理加速中的角色 · 课程学习路径与前置知识要求

课程导入TensorRT

CUDA · cuDNN · TensorRT版本选择与安装

环境搭建CUDA

TensorRT基础概念

网络定义 · 引擎构建 · 序列化与反序列化

TensorRT基础概念

ONNX模型转换与调试

从PyTorch/TF导出ONNX · onnx-simplifier · TensorRT解析ONNX常见问题…

ONNX模型转换

plugin的必要性

标准层不支持的自定义算子场景 · 性能优化需求 · 如何识别需要plugin的算子

plugin的必要性

plugin开发总览

plugin生命周期 · IPluginV2系列接口演进 · plugin工厂与注册机制

plugin开发总览

C++基础回顾

面向对象 · 智能指针 · STL容器

C++基础回顾

CUDA kernel编写入门

向量加法示例 · 内存访问优化 · shared memory使用

TensorRT plugin接口详解

getPluginType · getPluginVersion · getNbOutputs

plugin配置与序列化

setPluginNamespace · serialize · deserialize

plugin资源管理

显存分配与释放 · workspace大小计算 · stream句柄管理

plugin资源管理

plugin执行逻辑

enqueue/enqueueV2/… · 输入输出张量绑定 · kernel启动与流同步

plugin执行逻辑

plugin注册机制

REGISTER_TENSORRT_… · PluginCreator实现 · 插件名称与版本管理

plugin注册机制

第一个plugin实战

实现一个简单的ReLU自定义plug… · 从编写到在TensorRT中加载并推…

plugin第一个

plugin调试技巧

使用cuda-gdb · Nsight Compute · 打印中间结果

plugin调试技巧

动态shape支持

动态输入尺寸下的plugin设计 · getOutputDimension… · 优化profile配置

plugin性能优化

kernel融合 · 减少内存拷贝 · 使用向量化加载

plugin性能优化

plugin与TensorRT高级特性

INT8量化 · FP16精度 · DLA支持

常见plugin案例（一）

LayerNorm plugin实现 · 包括前向kernel · 反向（若需要）

常见plugin案例（二）

RoIAlign plugin实现 · 涉及坐标变换 · 双线性插值

常见plugin案例（三）

自定义激活函数（如GELU · Swish）plugin · 融合bias与激活

常见plugin案例（四）

矩阵乘/卷积变体plugin · 如稀疏卷积 · 深度可分离卷积的优化实现

plugin与TensorRT API集成

在C++和Python中加载plug… · 构建网络时添加plugin层 · 设置plugin参数

plugin部署实战

将含plugin的TensorRT引… · 处理引擎序列化 · 版本兼容

plugin部署实战

plugin性能测试与剖析

使用trtexec · Nsight Systems · TensorRT profiler评…

plugin性能测试

plugin常见错误与解决方案

维度不匹配 · 内存越界 · stream同步问题

plugin常见错误

plugin代码规范与工程化

项目结构 · CMake构建 · 单元测试

plugin代码规范

自定义融合plugin（如Conv+… · 多输入多输出 · 动态形状复杂场景

plugin与TensorRT生态

与onnx-tensorrt · torch2trt · trtexec等工具链的配合使用

综合项目实战

从模型分析 · plugin设计 · 开发

综合项目实战从模型分析