VIP20
本课程属于：162-NVIDIA CUDA与TensorRT GPU加速工程 AI智能与边缘计算工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

GPU推理服务故障诊断与稳定性优化

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入与全景认知
目标=GPU推理服务的典型架构 · 故障诊断与稳定性优化的核心目标 · 学习路径与实战环境准备
课程导入全景认知
02
GPU推理服务运行机制
目标=从请求接入 · 批处理调度 · 模型执行到结果返回的全链路拆解
GPU推理服务运行机制
03
故障诊断方法论
目标=分层排查思路 · 黄金指标（延迟 · 吞吐
故障诊断方法论目标=分层排查思…
04
GPU硬件与驱动层故障诊断
目标=ECC错误 · Xid错误 · 掉卡
GPU硬件
05
CUDA与运行时故障诊断
目标=CUDA error · 上下文丢失 · 流同步异常
CUDA运行时故障诊断
06
推理框架层故障诊断
目标=TensorRT · Triton · vLLM
推理框架层故障诊…TensorRT
07
模型加载与初始化故障
目标=权重加载失败 · 算子不支持 · 显存不足
模型加载初始化故障
08
请求调度与批处理故障
目标=动态批处理超时 · 队列积压 · 优先级反转
请求调度批处理故障
09
显存管理与OOM故障
目标=显存泄漏 · 碎片化 · KV Cache膨胀
OOM显存管理
10
计算与通信故障
目标=NCCL超时 · 多卡通信失败 · PCIe/NVLink异常
计算通信故障
11
服务框架与容器化故障
目标=Kubernetes Pod异… · 容器OOMKilled · GPU设备插件失效
服务框架容器化故障
12
网络与存储故障
目标=gRPC/HTTP超时 · 连接重置 · 模型文件读取失败
网络存储故障
13
性能瓶颈诊断
目标=GPU利用率低 · CPU瓶颈 · IO等待
性能瓶颈诊断GPU
14
延迟与吞吐异常诊断
目标=P99延迟飙升 · 吞吐骤降 · 长尾请求
延迟吞吐异常诊断
15
稳定性风险识别
目标=内存泄漏 · 句柄泄漏 · 线程死锁
稳定性风险识别目标=内存泄漏
16
日志与可观测性体系
目标=结构化日志 · 指标采集 · 分布式追踪
日志可观测性体系
17
告警与自动化诊断
目标=告警规则设计 · 异常检测 · 根因分析自动化
告警自动化诊断
18
压力测试与稳定性验证
目标=负载模型设计 · 混沌工程 · 故障注入
压力测试稳定性验证
19
故障复现与根因分析实战
目标=从现象到根因的完整案例推演 · 包括OOM · NCCL超时
故障复现根因分析实战
20
单机多卡推理服务故障诊断实战
目标=多进程/多线程冲突 · 显存分配 · 卡间负载不均的排查与调优
单机多卡推理服务…目标=多进程
21
多机多卡分布式推理故障诊断实战
目标=网络分区 · 时钟同步 · 参数服务器/AllReduce异常的…
多机多卡分布式推…目标=网络分区
22
大模型推理服务稳定性优化
目标=KV Cache管理 · PagedAttention · 连续批处理
大模型推理服务稳…KV
23
推理服务性能调优实战
目标=算子融合 · 量化 · 编译优化
推理服务性能调优…目标=算子融合
24
资源隔离与QoS保障
目标=GPU MIG · 时间片调度 · 显存配额
QoS资源隔离
25
容错与弹性设计
目标=健康检查 · 优雅降级 · 请求重试
容错弹性设计
26
版本升级与灰度发布稳定性
目标=模型更新 · 框架升级 · 驱动升级的风险控制与回滚策略
版本升级灰度发布稳定性
27
安全与多租户稳定性
目标=资源滥用防护 · 隔离失效 · 恶意请求
安全多租户稳定性
28
成本与稳定性平衡
目标=GPU利用率 · 实例规格选择 · 自动扩缩容
成本稳定性平衡
29
典型生产事故复盘
目标=真实或模拟的GPU推理服务故障… · 从发现 · 定位
典型生产事故复盘GPU
30
课程总结与持续优化体系
目标=故障知识库建设 · SRE实践 · 稳定性度量
课程总结持续优化体系