VIP20

本课程属于：031-Edge AI GPU加速与TensorRT部署 嵌入式边缘AI与TinyML · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

6. TensorRT插件开发：自定义Plugin解决不支持算子

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

TensorRT插件开发的背景 · 学习目标 · 课程整体框架与适用人群

课程导入TensorRT

TensorRT算子支持概览

内置算子覆盖范围 · 常见不支持算子类型及识别方法

TensorRT算子支持概览

插件开发前置知识

TensorRT网络定义 · 层类型 · 执行上下文与内存管理基础

插件开发前置知识TensorRT

插件架构解析

IPluginV2系列接口 · 插件工厂 · 插件注册与生命周期管理

插件架构解析IPluginV2

插件开发环境搭建

CUDA · C++编译环境 · TensorRT头文件与库的配置

插件开发环境搭建CUDA

第一个自定义插件

实现一个简单的ReLU插件 · 走通开发 · 编译

第一个自定义插件ReLU

插件接口详解

getSerializationSi… · serialize · deserialize等序列化方法实…

插件接口详解getSerializa…

插件维度与输出张量推导

getOutputDimension… · supportsFormatComb…

插件维度输出张量推导

插件执行逻辑

enqueue或enqueueV2中…

插件执行逻辑enqueue

插件内存管理

workspace大小计算 · 临时缓冲区分配与释放策略

插件内存管理workspace

插件注册与反序列化

REGISTER_TENSORRT_… · PluginCreator的使用

插件注册反序列化

插件在ONNX解析器中的集成

如何让TensorRT识别自定义ON…

实现一个自定义LeakyReLU插件 · 替换TensorRT不支持的ONNX…

案例实战LeakyReLU

实现一个自定义GatherEleme… · 处理动态索引场景

案例实战GatherEleme

实现一个自定义LayerNorm插件 · 融合多个操作提升性能

案例实战LayerNorm

插件性能优化

CUDA kernel优化技巧 · 内存访问模式 · 算子融合策略

插件性能优化CUDA

插件调试方法

使用CUDA-GDB · Nsight · 打印日志定位问题

插件调试方法CUDA-GDB

插件常见错误与解决

序列化失败 · 维度不匹配 · 格式不支持等典型问题

插件常见错误解决

插件与动态形状

支持动态batch和动态维度时的注意…

插件动态形状

插件与多精度

FP16 · INT8量化下插件的适配与校准方法

插件多精度

插件与多流执行

多上下文 · 多流并发时插件的线程安全与资源管理

插件多流执行

插件与TensorRT版本兼容

不同版本API差异 · 迁移与维护策略

插件测试与验证

单元测试 · 与PyTorch结果对比 · 精度与性能评估

插件测试验证

插件部署集成

将插件打包到推理引擎 · 在C++和Python中加载使用

插件部署集成将插件打包到推理…

高级插件特性

使用CUDA图 · 多kernel融合 · 自定义内存池

高级插件特性CUDA

插件生态与社区

常用开源插件库 · 如何借鉴与贡献

插件生态社区

从ONNX模型出发 · 识别所有不支持算子并开发对应插件完成…

综合实战ONNX

针对一个真实模型（如BERT）开发自…

综合实战BERT

插件开发核心要点 · 常见陷阱 · 最佳实践与学习路径建议

课程总结插件开发核心要点

拓展与展望

TensorRT插件未来趋势 · 与TensorRT-LLM等高级工具…