VIP20

本课程属于：010-CUDA+TensorRT AI与大模型 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

TensorRT算子融合与CUDA内核解析

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 课程大纲 · TensorRT在深度学习推理中的地…

课程导入学习目标

CUDA · cuDNN · TensorRT的安装与配置

环境搭建CUDA

TensorRT的架构 · 核心组件（Builder · Engine

TensorRT的架构

网络定义与解析

使用TensorRT API构建网络 · 支持ONNX · Caffe等格式的解析

网络定义TensorRT

算子融合原理

算子融合的概念 · 目的（减少内存访问和内核启动开销）及…

算子融合原理算子融合的概念

层融合策略

Conv+BN+ReLU融合 · Conv+Add融合 · Elementwise融合等典型融合…

层融合策略Conv+BN+ReLU

融合实现机制

TensorRT如何通过图优化和内核…

融合实现机制TensorRT

CUDA编程基础

CUDA线程层次 · 内存层次 · 核函数编写与启动配置

CUDA编程基础

CUDA内核优化

内存访问优化 · 共享内存使用 · 循环展开

CUDA内核优化

TensorRT中的CUDA内核

TensorRT如何生成和调用CUD… · 内核缓存与选择

自定义层实现

使用Plugin API实现Tens… · 并集成到网络中

自定义层实现Plugin

插件开发进阶

插件中的CUDA内核编写 · 资源管理 · 序列化与反序列化

插件开发进阶CUDA

动态形状处理

动态输入尺寸的配置 · 优化策略及对融合的影响

动态形状处理动态输入尺寸的配…

精度与性能权衡

FP32 · FP16 · INT8精度的选择

精度性能权衡

INT8量化与校准

校准数据集 · 校准方法（如熵校准）及量化感知训练

性能分析工具

使用Nsight Systems · Nsight Compute · TensorRT Profiler分…

性能分析工具Nsight

图像分类模型（ResNet）的Ten…

案例实战ResNet

目标检测模型（YOLOv5）的Ten…

案例实战YOLOv5

语义分割模型（UNet）的Tenso…

案例实战UNet

Transformer模型（BERT…

案例实战Transformer

多流与并发推理

多Stream · 多Context · 多线程推理的实现与性能提升

多流并发推理

内存管理优化

TensorRT内存池 · 显存复用 · 避免内存碎片

内存管理优化TensorRT

常见问题与调试

编译错误 · 运行时错误 · 精度下降

常见问题调试

融合与内核的深入剖析

手动实现一个融合内核（如Conv+R…

融合内核的深入剖析

高级融合技术

跨层融合 · 循环融合 · 条件融合等高级主题

高级融合技术跨层融合

TensorRT与其他框架集成

与PyTorch · TensorFlow的集成方式及注意…

TensorRT其他框架集成

将TensorRT模型部署到生产环境 · 包括服务化 · 容器化

部署实战TensorRT

端到端推理系统设计 · 包括模型转换 · 优化

综合项目端到端推理系统设…

TensorRT新特性 · CUDA新架构（如Hopper）对融…

前沿趋势TensorRT

核心知识回顾 · 学习路径建议 · 进一步学习资源

课程总结核心知识回顾