VIP20

本课程属于：010-CUDA+TensorRT AI与大模型 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

全链路推理管线CUDA内核与TensorRT引擎综合集成

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 课程结构 · 前置知识要求

课程导入学习目标

推理管线基础

推理管线的定义 · 典型组件（预处理 · 模型推理

推理管线基础推理管线的定义

CUDA编程基础

GPU架构简介 · CUDA线程层次 · 内存层次

CUDA编程基础

CUDA内存优化

全局内存 · 共享内存 · 寄存器

CUDA内存优化

CUDA并行模式

数据并行 · 任务并行 · 流与并发

CUDA并行模式

TensorRT核心概念

TensorRT的作用 · 构建期与运行期 · 网络定义

TensorRT核心概念

TensorRT API入门

使用Python和C++ API创建… · 配置构建器 · 生成引擎

模型转换与部署

将PyTorch/TensorFlo… · 再转换为TensorRT引擎的流程

模型转换部署

TensorRT插件开发

自定义层实现 · 插件接口 · 注册与使用

TensorRT插件开发

CUDA与TensorRT集成

在TensorRT中嵌入自定义CUD… · 使用CUDA图优化推理

预处理与后处理加速

使用CUDA实现图像预处理（缩放 · 归一化）和后处理（NMS · softmax）的加速

预处理后处理加速

端到端推理管线设计

设计一个完整的推理管线 · 包括数据加载 · 预处理

端到端推理管线设…设计一个完整的推…

管线性能分析

使用NVIDIA Nsight · TensorRT Profiler等… · 优化策略

管线性能分析NVIDIA

动态形状处理

处理动态输入尺寸 · 使用TensorRT动态形状功能 · CUDA内核适配

动态形状处理处理动态输入尺寸

多流与并发推理

使用CUDA流和TensorRT多上… · 提高吞吐量

多流并发推理

模型量化与精度调优

INT8/FP16量化原理 · 校准方法 · 精度损失评估与补偿

模型量化精度调优

图像分类管线 · 集成CUDA预处理和后处理

案例实战图像分类管线

目标检测管线：YOLO模型部署 · CUDA加速NMS · TensorRT优化

案例实战YOLO

自然语言处理管线 · CUDA内核优化注意力机制

案例实战自然语言处理管线

推荐系统推理：特征处理 · 模型推理 · 排序后处理的CUDA加速

案例实战推荐系统推理

常见问题与调试

CUDA错误处理 · TensorRT构建失败 · 精度问题

常见问题调试

性能优化进阶

内核融合 · 内存池 · 避免数据拷贝

性能优化进阶内核融合

多GPU与分布式推理

多GPU并行策略 · TensorRT多设备支持 · 负载均衡

GPU分布式推理

安全与可靠性

模型加密 · 引擎验证 · 异常处理

安全可靠性

容器化与部署

使用Docker打包CUDA和Ten… · Kubernetes部署推理服务

容器化部署

与推理服务框架集成

集成到Triton Inferenc… · 实现动态批处理 · 模型管理

推理服务框架集成Triton

构建一个完整的视频分析管线：视频解码 · 帧预处理 · 目标检测

综合项目构建一个完整的视…

构建一个实时语音识别管线：音频预处理 · 声学模型推理 · 语言模型后处理

综合项目构建一个实时语音…

构建一个大规模推荐系统推理服务 · 模型集成 · A/B测试

综合项目构建一个大规模推…

课程总结与进阶方向

回顾核心知识点 · 介绍前沿技术（如TensorRT-L… · CUDA 12）

课程总结进阶方向