VIP20
本课程属于：162-NVIDIA CUDA与TensorRT GPU加速工程 AI智能与边缘计算工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

CUDA与TensorRT协同加速平台

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入与平台全景
目标=CUDA与TensorRT协同… · 技术栈组成 · 典型应用场景与学习路径规划
课程导入平台全景
02
CUDA编程模型核心
目标=线程层次 · 内存层次 · 执行模型与SIMT架构
CUDA编程模型核心
03
CUDA内存管理与性能优化
目标=全局内存 · 共享内存 · 常量内存
CUDA内存管理
04
CUDA流与并发执行
目标=流 · 事件 · 异步内存拷贝与核函数重叠
CUDA并发执行
05
CUDA核函数高级技巧
目标=动态并行 · 协作组 · 原子操作与warp级原语
CUDA核函数高级技巧
06
CUDA性能分析工具
目标=Nsight Compute与… · 定位核函数瓶颈并指导优化迭代
CUDA性能分析工具
07
TensorRT入门与工作流程
目标=TensorRT架构 · 模型解析 · 引擎构建与序列化
TensorRT工作流程
08
TensorRT精度校准与量化
目标=FP32 · FP16 · INT8精度模式
TensorRT精度校准
09
TensorRT插件开发
目标=自定义层插件接口 · CUDA核函数集成与插件注册 · 实现一个自定义激活函数插件
TensorRT插件开发
10
TensorRT动态形状与优化配置文件
目标=动态输入尺寸处理 · 优化配置文件设置与多配置文件策略 · 部署可变分辨率检测模型
TensorRT动态形状
11
CUDA与TensorRT协同设计模式
目标=CUDA预处理核函数与Tens… · 实现端到端图像分类加速
CUDATensorRT
12
基于CUDA的TensorRT前处理加速
目标=图像解码 · 归一化 · 颜色空间转换的CUDA核函数实现
CUDATensorRT
13
基于CUDA的TensorRT后处理加速
目标=目标检测解码 · NMS · 分割掩码生成的CUDA并行实现
CUDATensorRT
14
TensorRT推理服务化与CUDA流并发
目标=多流推理 · CUDA图捕获与TensorRT执行… · 构建高吞吐推理服务
TensorRTCUDA
15
CUDA与TensorRT协同优化案例
目标=BERT模型推理加速 · 涵盖CUDA自定义算子与Tensor…
CUDATensorRT
16
CUDA与TensorRT协同优化案例
目标=YOLO系列目标检测全流程加速 · 从CUDA预处理到TensorRT推…
CUDATensorRT
17
CUDA与TensorRT协同优化案例
目标=实时语义分割网络加速 · 优化内存访问与TensorRT层融合
CUDATensorRT
18
CUDA与TensorRT协同优化案例
目标=推荐系统模型加速 · 嵌入表查询的CUDA实现与Tenso…
CUDATensorRT
19
CUDA与TensorRT协同优化案例
目标=语音识别模型加速 · CUDA波束搜索与TensorRT声…
CUDATensorRT
20
CUDA与TensorRT协同优化案例
目标=生成式模型推理加速 · CUDA自定义注意力核与Tensor…
CUDATensorRT
21
多GPU与分布式推理
目标=CUDA多GPU编程 · NCCL通信与TensorRT多GP… · 实现数据并行推理
GPU分布式推理
22
TensorRT与CUDA在边缘设备上的部署
目标=Jetson平台特性 · 功耗优化与CUDA/TensorRT…
TensorRTCUDA
23
CUDA与TensorRT协同平台的性能建模
目标=roofline模型 · 瓶颈分析 · 端到端延迟与吞吐量权衡
CUDATensorRT
24
CUDA与TensorRT协同平台的调试与错误处理
目标=CUDA错误检查 · TensorRT日志 · 常见运行时错误与解决方案
CUDATensorRT
25
CUDA与TensorRT协同平台的版本兼容与升级
目标=CUDA版本 · TensorRT版本 · 驱动与框架兼容性矩阵及迁移策略
CUDATensorRT
26
CUDA与TensorRT协同平台的安全与鲁棒性
目标=输入验证 · 异常处理 · 资源管理与推理服务稳定性保障
CUDATensorRT
27
CUDA与TensorRT协同平台的自动化与CI/CD
目标=容器化部署 · 自动化测试 · 性能回归与持续集成流水线
CUDATensorRT
28
CUDA与TensorRT协同平台的前沿技术
目标=CUDA Graph · TensorRT 8+新特性 · 稀疏化与结构化稀疏推理
CUDATensorRT
29
CUDA与TensorRT协同平台综合实战
目标=从零构建一个实时视频分析系统 · 涵盖CUDA预处理 · TensorRT推理与CUDA后处理
CUDATensorRT
30
课程总结与项目展示
目标=回顾核心知识 · 展示综合项目成果 · 评估性能并规划进一步学习方向
课程总结项目展示