VIP20
本课程属于：010-高性能科学计算与并行加速 数学计算科学计算与计算物理工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

GPU科学计算排障实战45例

共计 45 章节
可可资料掘金营 · 点击在线试看
01
GPU科学计算环境自检与驱动兼容性排查
在目标机器上完成CUDA驱动 · 运行时与编译器版本一致性检查 · 定位因驱动版本不匹配导致的核函数启动…
GPU科学计算环境自检
02
nvidia-smi 指标异常与进程残留定位
利用 nvidia-smi 及其查询… · 僵尸进程与 GPU 利用率空转 · 结合进程树与日志定位残留计算任务并安…
nvidia-smi指标异常
03
CUDA 核函数启动配置错误诊断
针对 grid/block 维度设置… · 通过计算资源约束与设备属性查询复现问…
CUDA核函数启动配置错…
04
核函数越界访问的定位与修复
使用 compute-sanitiz… · 结合索引边界分析定位越界线程并修正线…
核函数越界访问的…修复
05
共享内存 bank 冲突的性能剖析与消除
对矩阵转置类核函数使用 Nsight… · 识别 bank 冲突来源并通过填充或…
bank共享内存
06
全局内存合并访问失效的排查
针对跨步访问导致的低效全局内存事务 · 利用 profiler 指标确认非合… · 重构数据布局或线程映射以恢复合并访问
全局内存合并访问…针对跨步访问导致…
07
核函数寄存器溢出与占用率下降的权衡
在寄存器压力过高的核函数上使用编译选… · 对比占用率与执行时间 · 选择满足性能目标的配置
核函数寄存器溢出占用率下降的权衡
08
流式并发执行中的隐式同步排查
在多流计算任务中定位由默认流或同步… · 通过事件计时与时间线分析确认并发度并…
流式并发执行隐式同步排查
09
CUDA 事件计时偏差的校准与验证
针对核函数计时结果波动异常 · 排查事件记录位置 · 流同步与时钟频率影响
CUDA事件计时偏差的校…
10
统一内存页错误频繁触发的诊断
在统一内存程序中利用页错误计数与迁移… · 通过预取或显式内存放置降低页错误开销
统一内存页错误频…统一内存程序
11
多 GPU 点对点通信失败排查
在跨 GPU 数据交换场景中检查 P… · 定位因 PCIe 拓扑或 IOMMU…
GPU点对点通信失败排…
12
NCCL 集合通信超时与拓扑感知调优
在多卡集合通信任务中复现 all-r… · 结合 NCCL 调试日志与拓扑信息定… · 调整通信配置恢复稳定运行
NCCL集合通信超时
13
GPU 显存泄漏的复现与定位
构造长时间迭代计算任务 · 通过显存分配跟踪与快照对比定位未释放… · 修正资源生命周期管理逻辑
GPU显存泄漏的复现
14
核函数死循环与看门狗超时处理
针对核函数中循环条件错误导致的设备挂… · 利用超时机制与调试器复现挂起现场 · 定位循环边界缺陷并验证修复后的执行时…
核函数死循环看门狗超时处理
15
设备端断言失败的调试流程
在核函数中启用设备端断言 · 复现断言触发并利用调试器定位触发线程… · 修正前置条件检查逻辑
设备端断言失败的…核函数
16
CUDA 错误码传播与异步错误捕获
在多层调用中追踪异步核函数错误被延迟… · 通过错误检查点插入与同步策略调整 · 确保错误在正确层级被捕获并处理
CUDA错误码传播
17
cuBLAS 调用参数错误的排查
针对矩阵乘法结果异常 · 检查 cuBLAS 句柄 · 转置标志与 leading dime…
cuBLAS调用参数错误的排…
18
cuFFT 批处理变换结果异常的定位
在批量 FFT 计算中排查因步长与批… · 通过对比逐批单次变换结果定位参数配置…
cuFFT批处理变换结果异…
19
cuSPARSE 稀疏格式转换错误的验证
在稀疏矩阵向量乘中排查 CSR 与… · 利用格式校验与参考稠密计算验证转换正…
cuSPARSE稀疏格式转换错误…
20
混合精度计算中的数值偏差排查
在 FP16 与 FP32 混合精度… · 通过分段累加与精度提升策略验证数值稳…
混合精度计算数值偏差排查
21
原子操作竞争导致的非确定性结果
复现多线程原子累加结果随运行次数变化… · 分析竞争条件与内存序 · 采用确定性归约方案消除非确定性
原子操作竞争导致…复现多线程原子累…
22
Warp 分支发散的性能影响评估
构造含条件分支的核函数 · 利用 profiler 采集分支效率… · 量化发散程度并通过分支重排或谓词化降…
Warp分支发散的性能影…
23
线程块尺寸对缓存命中率的影响分析
在访存密集型核函数中改变线程块尺寸 · 采集 L1/L2 缓存命中率与执行时… · 确定使缓存局部性最优的块配置
线程块尺寸对缓存…率的影响分析
24
GPU 直接内存访问与主机内存带宽瓶颈
在主机与设备频繁传输的场景中测量 P… · 定位因小粒度传输导致的带宽浪费 · 通过批量传输与固定内存改善吞吐
GPU直接内存访问
25
多流与图执行模式下的依赖错误排查
在 CUDA Graph 捕获与实例… · 通过图依赖分析与事件同步修正执行顺序
多流图执行模式下的依…
26
动态并行核函数启动失败的诊断
在设备端动态启动子核函数时排查因资源… · 调整编译与启动配置验证嵌套执行
动态并行核函数启…设备端动态启动子…
27
GPU 计算任务在容器中的设备可见性排查
在容器化运行环境中定位 GPU 设备… · 通过设备挂载与运行时配置检查恢复计算…
GPU计算任务
28
MPS 多进程服务下的资源争用排查
在多进程共享 GPU 场景中启用 M… · 通过客户端与服务器状态检查定位资源配…
MPS多进程服务下的资…
29
GPU 频率与功耗限制对计算性能的影响
在受功耗墙限制的设备上对比不同频率策… · 定位降频触发条件并给出性能与能效的平…
GPU频率
30
ECC 错误与显存故障的识别与隔离
利用 nvidia-smi 与系统日… · 定位故障显存区域并通过任务迁移或设备…
ECC错误
31
GPU 温度过高导致的计算降频排查
在长时间高负载计算中监测温度与时钟变… · 定位散热不足或风扇策略问题 · 通过负载调度与散热调整恢复稳定性能
GPU温度过高导致的计…
32
核函数性能回归的基准测试设计
为已有核函数建立可重复的基准测试流程 · 控制输入规模 · 预热与统计方法
核函数性能回归的…为已有核函数建立…
33
Nsight Systems 时间线中的同步瓶颈定位
采集端到端计算任务的时间线 · 识别主机与设备之间的同步等待与空闲间… · 定位由同步 API 或内存拷贝引起的…
NsightSystems
34
Nsight Compute 指标采集开销与结果可信度验证
对比不同采集模式下的核函数执行时间与… · 评估 profiler 开销对结果的… · 选择可信的采集配置用于性能分析
NsightCompute
35
CUDA 内存池配置不当导致的分配失败
在长时间运行任务中复现显存分配失败 · 检查内存池释放阈值与碎片化情况 · 调整内存池配置或分配策略恢复稳定分配
CUDA内存池配置不当导…
36
多线程主机端调用 CUDA API 的上下文错误
在多线程程序中复现因上下文绑定错误导… · 通过线程与设备上下文管理修正调用方式…
CUDAAPI
37
GPU 计算结果的跨设备一致性验证
在不同架构 GPU 上运行同一核函数 · 对比输出差异并定位因浮点运算顺序或指… · 建立容差验证方案
GPU计算结果的跨设备…
38
核函数编译选项差异导致的运行结果异常
对比不同优化等级与快速数学选项下的核… · 定位因浮点收缩或精度损失导致的结果偏… · 选择满足精度要求的编译配置
核函数编译选项差…对比不同优化等级
39
GPU 任务挂起后的现场信息采集与恢复
在计算任务无响应时采集 GPU 状态 · 进程栈与驱动日志 · 判断挂起原因并制定安全终止与恢复流程
GPU任务挂起后的现场…
40
CUDA 与 MPI 混合并行中的设备绑定错误
在多节点多卡 MPI 程序中排查因设… · 通过进程到设备的映射检查修正绑定策略…
CUDAMPI
41
GPU 直接存储访问与文件 I/O 瓶颈排查
在 GPU 加速的数据处理流程中测量… · 定位 I/O 等待导致的 GPU 空… · 通过异步预取改善流水线
GPUI/O
42
核函数启动延迟的批量提交优化
针对大量小核函数启动导致的调度开销 · 测量启动延迟占比并通过核函数融合或…
核函数启动延迟的…针对大量小核函数…
43
GPU 计算中的数值溢出与异常值追踪
在迭代计算中复现 NaN 或 Inf… · 利用设备端检查与中间结果输出定位首次…
GPU计算
44
GPU 资源泄漏导致的长时任务崩溃排查
在持续数小时的计算任务中监测句柄 · 事件与流资源增长 · 定位未销毁的 CUDA 对象并修正资…
GPU资源泄漏导致的长…
45
GPU 科学计算排障报告与复现脚本整理
针对一个已定位的 GPU 计算故障 · 整理包含环境信息 · 复现步骤
GPU科学计算排障报告