VIP20
本课程属于：162-NVIDIA CUDA与TensorRT GPU加速工程 AI智能与边缘计算工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

TensorRT自定义Plugin开发与算子扩展

共计 30 章节
可可资料掘金营 · 点击在线试看
01
TensorRT Plugin机制全景
目标=为什么需要自定义Plugin · Plugin与原生算子的边界 · 典型应用场景与限制
TensorRTPlugin
02
开发环境与工具链搭建
目标=TensorRT版本选择 · CUDA/cuDNN匹配 · CMake工程组织
开发环境工具链搭建
03
IPluginV2与IPluginV2DynamicExt接口解析
目标=接口继承关系 · 生命周期 · 关键虚函数职责与调用时机
IPluginV2IPluginV2Dyn…
04
Plugin注册与序列化机制
目标=REGISTER_TENSOR… · PluginCreator · 序列化/反序列化流程与版本兼容
Plugin注册
05
Plugin的构建与配置
目标=PluginFieldColl… · PluginField参数传递 · 动态shape支持与配置阶段校验
Plugin的构建
06
CUDA Kernel编写基础
目标=线程组织 · 内存访问模式 · 向量化加载
CUDAKernel
07
Plugin中的内存管理
目标=workspace分配 · enqueue与enqueueV2/… · 异步执行与流同步
Plugin内存管理
08
第一个自定义Plugin实战
目标=实现逐元素加法Plugin · 完成注册 · 构建
Plugin第一个自定义
09
Plugin调试与错误排查
目标=常见错误码 · 日志级别 · cuda-gdb与compute-s…
Plugin调试
10
动态Shape Plugin开发
目标=支持运行时shape推导 · getOutputDimension…
ShapePlugin
11
Plugin性能优化
目标=Kernel融合 · 共享内存 · 寄存器压力
Plugin性能优化
12
INT8量化Plugin开发
目标=量化参数传递 · Q/DQ节点处理 · 校准与精度验证方法
INT8Plugin
13
FP16与BF16 Plugin开发
目标=半精度数据类型支持 · 类型转换 · 精度与性能权衡
FP16BF16
14
Plugin与ONNX解析器集成
目标=自定义ONNX节点映射 · 解析器扩展 · 模型转换与部署链路
PluginONNX
15
Plugin与TensorRT网络API集成
目标=addPluginV2/add… · 网络构建期与运行期交互
PluginTensorRT
16
多输入多输出Plugin设计
目标=输入输出绑定 · shape一致性检查 · 数据依赖与执行顺序
Plugin多输入多输出
17
Plugin中的控制流与条件执行
目标=if/while等控制流算子的…
Plugin控制流
18
Plugin的版本管理与向后兼容
目标=Plugin版本号 · 序列化格式演进 · 旧模型加载策略
Plugin的版本管理
19
Plugin在TensorRT-LLM中的应用
目标=注意力算子 · KV Cache · 自定义融合算子的实现要点
PluginTensorRT-LLM
20
Plugin在计算机视觉模型中的应用
目标=NMS · ROIAlign · Deformable Conv等算子…
Plugin计算机视觉模型
21
Plugin在推荐系统模型中的应用
目标=Embedding · 特征交叉 · 序列建模算子的Plugin扩展
Plugin推荐系统模型
22
Plugin在语音与NLP模型中的应用
目标=Beam Search · CTC · LayerNorm等算子的Plugi…
PluginNLP
23
Plugin性能基准测试
目标=构建benchmark框架 · 对比原生算子 · 统计延迟与吞吐
Plugin性能基准测试
24
Plugin的CUDA Graph兼容性
目标=CUDA Graph捕获 · 流捕获模式 · Plugin在Graph中的行为
PluginCUDA
25
Plugin与多流/多线程推理
目标=线程安全 · 流间同步 · 并发执行下的资源管理
Plugin多流
26
Plugin的显存优化
目标=显存复用 · workspace共享 · 动态显存分配策略
Plugin的显存优化
27
Plugin的算子融合策略
目标=融合模式识别 · 融合收益评估 · 融合后Plugin的实现
Plugin的算子融合策略
28
Plugin的自动化测试
目标=单元测试 · 精度回归 · 性能回归
Plugin的自动化测试
29
Plugin部署与生产化
目标=模型打包 · 版本管理 · 跨平台部署
Plugin部署
30
Plugin开发最佳实践与前沿趋势
目标=代码规范 · 常见陷阱 · TensorRT新版本特性与算子扩展…
Plugin开发最佳实践