VIP20
本课程属于：010-CUDA+TensorRT AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

CUDA与TensorRT推理异常现场排查

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 推理异常排查的整体思路
课程导入学习目标
02
CUDA基础回顾
GPU架构 · 内存层次 · 线程模型
CUDA基础回顾
03
TensorRT基础
TensorRT核心概念 · 推理流程 · 引擎构建与部署
TensorRT核心概念
04
常见推理异常类型
错误分类 · 症状识别 · 初步定位方法
常见推理异常类型错误分类
05
环境与配置检查
驱动 · CUDA版本 · TensorRT版本
环境配置检查
06
日志与错误信息分析
解析CUDA错误码 · TensorRT日志 · 系统日志
日志错误信息分析
07
调试工具介绍
cuda-gdb · nsight systems · nsight compute
调试工具介绍cuda-gdb
08
内存问题排查
显存泄漏 · 越界访问 · 内存碎片
内存问题排查显存泄漏
09
并发与同步问题
多流 · 事件 · 同步机制
并发同步问题
10
性能异常排查
吞吐量下降 · 延迟升高 · GPU利用率低
性能异常排查吞吐量下降
11
精度问题排查
数值误差 · 精度损失 · 混合精度配置
精度问题排查数值误差
12
模型转换问题
ONNX转TensorRT失败 · 算子不支持 · 动态形状问题
模型转换问题ONNX
13
动态形状处理
动态batch · 动态分辨率 · 优化策略与常见错误
动态形状处理batch
14
多GPU与分布式推理
多卡配置 · 通信错误 · 负载均衡问题
GPU分布式推理
15
推理服务部署问题
容器化 · Docker · Kubernetes
推理服务部署问题容器化
16
案例实战
典型CUDA错误（如非法内存访问）的…
案例实战CUDA
17
案例实战
TensorRT引擎构建失败与优化
案例实战TensorRT
18
案例实战
推理结果错误（NaN · Inf）的定位与修复
案例实战NaN
19
案例实战
推理性能瓶颈分析与调优
案例实战推理性能瓶颈分析
20
案例实战
多线程推理中的崩溃与数据竞争
案例实战多线程推理
21
常见问题与解决方案
驱动不匹配 · 库冲突 · 权限问题
常见问题解决方案
22
常见问题与解决方案
显存不足 · 内存泄漏 · 句柄泄漏
常见问题解决方案
23
常见问题与解决方案
模型加载失败 · 引擎序列化反序列化错误
常见问题解决方案
24
常见问题与解决方案
推理结果不一致 · 随机性 · 非确定性
常见问题解决方案
25
高级调试技巧
使用CUDA-MEMCHECK · AddressSanitizer · Valgrind
高级调试技巧CUDA-MEMCHEC…
26
高级调试技巧
自定义错误处理 · 断言 · 日志增强
高级调试技巧自定义错误处理
27
高级调试技巧
性能剖析与热点分析 · 使用Nsight Compute深入…
高级调试技巧性能剖析
28
综合实战
从零开始排查一个复杂推理系统故障
综合实战从零开始排查一个…
29
综合提升
构建可观测性 · 监控告警 · 自动化测试与回归
综合提升构建可观测性
30
课程总结
核心要点回顾 · 最佳实践 · 学习路径建议
课程总结核心要点回顾