VIP8
本课程属于：015-GPU集群运维与故障诊断工程 AI智能与边缘计算工程 · 共 8 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

GPU集群网络抖动故障定位实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · GPU集群网络抖动故障的严重性与挑战
课程导入学习目标
02
GPU集群基础
GPU集群架构 · 网络拓扑（如Fat-Tree · Dragonfly）
GPU集群基础
03
网络抖动定义与影响
网络抖动的定义 · 度量指标（如延迟 · 抖动
网络抖动定义影响
04
故障定位方法论
故障定位的一般流程 · 分层诊断思路（物理层 · 链路层
故障定位方法论故障定位的一般流…
05
监控与数据采集
关键监控指标（如RDMA · TCP · InfiniBand）
监控数据采集
06
网络抖动常见原因
硬件故障（光模块 · 线缆） · 配置错误（MTU
网络抖动常见原因硬件故障
07
硬件故障排查
检查光模块 · 线缆 · 交换机端口
硬件故障排查检查光模块
08
配置与参数调优
网卡固件 · 驱动版本 · 内核参数（如拥塞控制算法）
配置参数调优
09
网络拥塞与流量控制
拥塞检测与缓解机制（如DCQCN · ECN） · 流量调度策略
网络拥塞流量控制
10
案例实战
单节点网络抖动定位
案例实战单节点网络抖动定…
11
案例实战
多节点网络抖动定位：涉及交换机 · 路由 · 负载均衡的复杂场景
案例实战多节点网络抖动定…
12
案例实战
跨集群网络抖动定位：跨数据中心 · 专线 · 云互联的故障排查
案例实战跨集群网络抖动定…
13
工具使用
使用tcpdump · Wireshark · ethtool
工具使用tcpdump
14
日志分析
系统日志 · 内核日志 · 网卡日志
日志分析系统日志
15
性能基准测试
使用NCCL · MPI等基准测试工具评估网络性能 · 定位抖动瓶颈
性能基准测试NCCL
16
故障复现与模拟
使用网络损伤工具（如NetEm）模拟… · 验证假设
故障复现模拟
17
常见问题与解决方案
汇总典型故障案例 · 如链路协商失败 · 丢包重传
常见问题解决方案
18
自动化监控与告警
构建自动化监控体系 · 设置告警阈值 · 实现快速响应
自动化监控告警
19
预防与优化
网络冗余设计 · 负载均衡策略 · 定期巡检与维护
预防优化
20
综合实战
端到端故障定位演练
综合实战端到端故障定位演…
21
进阶
RDMA网络抖动专项：RoCEv2 · InfiniBand的抖动特性与排查
进阶RDMA
22
进阶
AI训练框架中的网络抖动 · PyTorch分布式训练中的抖动影响…
进阶AI
23
进阶
云环境下的网络抖动：虚拟化 · 容器网络（如Calico · Flannel）对抖动的影响
进阶云环境下的网络抖…
24
进阶
大规模集群的抖动管理：万卡集群的监控 · 告警 · 自动化运维
进阶大规模集群的抖动…
25
故障定位的思维模型
系统化思考 · 假设驱动 · 二分法
故障定位的思维模…系统化思考
26
团队协作与流程
故障响应流程 · 跨团队协作 · 文档记录与复盘
团队协作流程
27
案例深度剖析
某大型GPU集群网络抖动故障的完整复…
案例深度剖析GPU
28
工具开发与定制
编写脚本自动化采集与分析网络数据
工具开发定制
29
性能优化与调优
基于抖动定位结果进行网络参数调优 · 提升训练效率
性能优化调优
30
课程总结与展望
回顾核心知识点 · 展望未来趋势（如无损网络 · 智能运维）
课程总结回顾核心知识点