VIP20
本课程属于：017-TensorRT-LLM 实战课程 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

TensorRT-LLM插件开发与自定义算子实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · TensorRT-LLM概述与插件开…
课程导入学习目标
02
环境搭建
CUDA · cuDNN · TensorRT
环境搭建CUDA
03
TensorRT-LLM基础
模型加载 · 推理流程 · 引擎构建与序列化
TensorRT-LLM模型加载
04
插件机制解析
插件的作用 · 类型 · 注册与生命周期
插件机制解析插件的作用
05
自定义算子入门
编写第一个简单的自定义算子（如ReL…
自定义算子入门ReL
06
插件API详解
IPluginV2DynamicEx… · IPluginCreator等核心接…
API插件
07
张量描述与内存管理
维度 · 数据类型 · 内存分配与释放
张量描述内存管理
08
序列化与反序列化
插件状态的保存与恢复
序列化反序列化
09
调试与性能分析
使用Nsight · TensorRT日志等工具定位问题
调试性能分析
10
常见自定义算子案例
LayerNorm · RoPE · GELU等实现
常见自定义算子案…LayerNorm
11
融合算子设计
将多个操作融合为一个算子以减少开销
融合算子设计将多个操作融合为…
12
自定义注意力机制
实现FlashAttention或变…
自定义注意力机制FlashAttenti…
13
量化算子支持
INT8/FP8量化算子的实现与集成
量化算子支持INT8/FP8
14
多精度支持
FP16 · BF16 · TF32等精度下的算子实现
多精度支持FP16
15
动态形状处理
在插件中处理动态输入维度
动态形状处理插件
16
插件与TensorRT-LLM的集成
在LLM模型中使用自定义插件
TensorRT-LLM插件
17
自定义采样算子
实现top-k · top-p等采样策略
自定义采样算子top-k
18
KV Cache优化
自定义KV Cache管理算子
KVCache
19
并行与多流
在插件中利用CUDA流和事件实现并发
并行多流
20
性能优化技巧
内存访问优化 · 指令级优化 · 算子融合
性能优化技巧内存访问优化
21
常见错误与解决方案
编译错误 · 运行时错误 · 精度问题
常见错误解决方案
22
单元测试与验证
编写测试用例确保算子正确性
单元测试验证
23
案例实战
为LLaMA模型添加自定义激活函数
案例实战LLaMA
24
案例实战
实现自定义位置编码插件
案例实战实现自定义位置编…
25
案例实战
优化Gemm算子并集成
案例实战Gemm
26
案例实战
实现自定义损失函数插件（用于训练）
案例实战实现自定义损失函…
27
案例实战
部署自定义插件到生产环境
案例实战部署自定义插件到…
28
综合项目
构建一个包含多个自定义插件的完整推理…
综合项目构建一个包含多个…
29
性能对比与调优
对比原生实现与自定义插件的性能 · 进行调优
性能对比调优
30
课程总结与进阶方向
回顾核心内容 · 介绍前沿技术（如MoE · 长上下文）与学习资源
课程总结进阶方向