01
通信瓶颈全景图
为什么通信成为瓶颈 · 延迟与带宽物理极限 · 通信计算比例 · 大模型通信占比分析
全景延迟大模型
02
硬件拓扑与链路
NVLink/NVSwitch · InfiniBand vs RoCEv2 · PCIe Gen4/Gen5 · 胖树与Dragonfly+
拓扑NVLinkInfiniBand
03
集合通信原语
AllReduce · AllGather · ReduceScatter · Ring/Tree · 通信量推导 · 重叠技术
AllReduceRing重叠
04
通信库与框架
NCCL原理 · GLOO/MPI对比 · 自定义算子 · Profiling工具 (nsys, NCCL-Tests)
NCCLGLOOProfiling
05
网络协议优化
内核旁路RDMA · DCQCN · 流控丢包 · 多路径负载均衡 · 自适应路由
RDMADCQCN负载均衡
06
拓扑感知与调度
拓扑感知任务分配 · NCCL ID · 节点内/间优化 · 分层AllReduce · 流水线
拓扑感知分层流水线
07
混合并行策略
数据并行通信 · 张量并行 · 流水线并行 · 序列并行 · Expert并行(MoE)
混合并行MoE张量并行
08
通信压缩技术
梯度压缩Top-K · QSGD · 量化FP8/INT8 · 稀疏化 · 误差反馈 · 收敛影响
压缩量化稀疏化
09
异步与去中心化
异步SGD · 去中心化AllReduce · 梯度累积 · 1-bit SGD · 收敛性分析
异步去中心化SignSGD
10
内存与通信协同
显存卸载 · 通信计算Overlap · 数据加载Overlap · 梯度更新 · 重计算协同
Overlap显存重计算
11
通信故障处理
超时重试 · 链路检测恢复 · 拓扑重构 · Checkpoint一致性 · 容错AllReduce
容错Checkpoint故障恢复
12
通信性能建模
LogP/BSP模型 · 带宽利用率 · 瓶颈定位 · 性能预测 · 最优切分
建模LogP性能预测
13
通信Profiling实战
NCCL-Tests解读 · nsys Profiling · 热点分析 · 带宽测试 · 瓶颈案例
ProfilingnsysNCCL-Tests
14
通信参数调优
NCCL环境变量 · MTU流控 · 线程CPU亲和性 · GPU频率协同
调优NCCL_ALGO亲和性
15
通信与计算融合
Fused通信算子 · Kernel融合 · 注意力/FFN融合 · 梯度计算融合
融合Fused注意力
16
通信调度策略
静态/动态调度 · 优先级调度 · 带宽预留 · 依赖图优化
调度优先级依赖图
17
通信与存储协同
Checkpoint协同 · 数据加载 · 日志记录 · 模型保存 · 推理缓存
存储Checkpoint缓存
18
通信安全与隔离
多租户隔离 · TLS/SSL加密 · 认证授权 · 审计日志 · 最佳实践
安全TLS多租户
19
通信与能耗优化
能耗模型 · 频率电压调节 · 链路休眠唤醒 · 能耗平衡 · 绿色策略
能耗绿色休眠
20
通信与异构计算
CPU-GPU · GPU-NPU · FPGA · DPU · 异构中间件设计
异构NPUFPGA
21
通信与云原生
Kubernetes调度 · 容器网络 · 带宽保障 · 弹性集群 · 服务化设计
云原生K8s容器
22
通信与边缘计算
边缘GPU集群 · 边云协同 · 带宽/延迟优化 · 可靠性设计
边缘协同可靠性
23
通信与量子计算
量子经典协同 · 量子密钥分发 · 纠缠与分布式 · 安全性 · 未来展望
量子QKD纠缠
24
通信与新型互连
CXL互连 · UCIe/Chiplet · 光互连 · 无线互连 · 标准演进
CXLUCIe光互连
25
通信与AI编译器
编译器优化 · 算子自动生成 · 自动融合 · 调度优化 · 内存管理
AI编译器自动生成融合
26
通信与自动并行
代价模型 · 策略搜索 · 自动切分 · 调度 · 计算平衡
自动并行代价模型搜索
27
通信与大规模训练
万卡集群挑战 · 超大规模拓扑 · 训练稳定性 · 效率与成本
万卡大规模稳定性
28
通信与推理优化
推理通信模式 · 延迟/带宽优化 · 缓存协同 · 批处理协同
推理延迟批处理
29
通信与多模态模型
多模态通信模式 · 视觉/语言优化 · 融合通信 · 数据协同
多模态视觉语言
30
通信未来趋势
CXL内存语义 · 光子通信 · 存算一体 · 近存计算 · AI原生网络
未来光子存算一体