VIP8
本课程属于：015-GPU集群运维与故障诊断工程 AI智能与边缘计算工程 · 共 8 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

AI算力集群网络延迟故障定位与恢复

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
AI算力集群网络延迟故障的背景 · 影响 · 学习目标与课程框架
课程导入AI
02
AI算力集群基础
GPU/NPU集群架构 · 高速网络（InfiniBand/Ro… · 通信模式（AllReduce等）
AI算力集群基础
03
网络延迟基础
延迟的构成（传输 · 排队 · 处理）
网络延迟基础延迟的构成
04
故障类型概览
网络延迟故障的分类（硬件故障 · 配置错误 · 拥塞
故障类型概览网络延迟故障的分…
05
硬件故障定位
网卡 · 线缆 · 交换机故障的检测与定位方法（日志
硬件故障定位网卡
06
配置错误排查
IP/路由配置 · MTU · 流控
配置错误排查IP
07
网络拥塞分析
拥塞的原因（流量突发 · 哈希不均） · 拥塞控制机制（ECN
网络拥塞分析拥塞的原因
08
路由问题诊断
路由环路 · 路由不对称 · 等价多路径（ECMP）哈希冲突的识别…
路由问题诊断路由环路
09
延迟测量工具
使用ping · traceroute · perftest
延迟测量工具ping
10
监控与告警
部署网络监控（Prometheus · Grafana） · 设置延迟告警阈值
监控告警
11
案例分析
典型网络延迟故障案例（如PFC死锁）…
案例分析PFC
12
故障定位方法论
从现象到根因的系统化排查流程（分层排… · 二分法 · 对比法）
故障定位方法论从现象到根因的系…
13
网络性能基准测试
建立基线性能 · 使用基准测试工具（如NCCL tes…
网络性能基准测试建立基线性能
14
AI框架与网络交互
NCCL/RCCL通信库的工作原理 · 超时设置 · 环境变量对延迟的影响
AI框架
15
分布式训练中的延迟问题
同步/异步通信 · 梯度同步延迟对训练效率的影响
分布式训练延迟问题
16
网络拓扑优化
Fat-Tree · Torus等拓扑对延迟的影响 · 如何优化布局减少跳数
网络拓扑优化Fat-Tree
17
拥塞控制调优
调整ECN阈值 · PFC缓冲 · 流量调度策略以降低延迟
拥塞控制调优ECN
18
路由策略调整
自定义路由规则 · 使用动态路由协议（BGP）优化路径
路由策略调整自定义路由规则
19
故障恢复策略
自动故障转移 · 链路聚合 · 冗余路径切换
故障恢复策略自动故障转移
20
预防性维护
定期检查硬件健康 · 更新固件 · 配置备份
预防性维护定期检查硬件健康
21
实战演练
模拟网络延迟故障（如人为制造拥塞） · 进行定位与恢复操作
实战演练模拟网络延迟故障
22
常见问题解答
延迟高但带宽正常 · 间歇性延迟抖动 · 多租户环境下的延迟隔离等
常见问题解答延迟高但带宽正常
23
性能调优进阶
内核网络参数调优（如tcp_rmem… · 驱动参数优化 · CPU亲和性设置
性能调优进阶tcp
24
日志与追踪分析
利用分布式追踪（如NCCL的debu…
日志追踪分析
25
自动化运维
编写脚本自动检测延迟异常 · 触发告警并执行初步诊断
自动化运维编写脚本自动检测…
26
云环境下的延迟问题
虚拟化网络 · 云网络性能限制 · 如何优化云上集群延迟
云环境下的延迟问…虚拟化网络
27
多集群互联延迟
跨数据中心通信 · 专线/公网延迟优化 · 使用RDMA over WAN
多集群互联延迟跨数据
28
综合案例
大型AI集群（如千卡级）网络延迟故障…
综合案例AI
29
未来趋势与新技术
无损网络 · 智能网卡 · DPU
未来趋势新技术
30
课程总结与考核
回顾关键知识点 · 常见误区 · 综合测试与项目实践建议
课程总结考核