01
分布式训练概述
什么是分布式训练、为什么需要、核心挑战：通信瓶颈·同步开销·故障容错
基础概念
02
分布式训练架构
参数服务器(PS) · All-Reduce · Ring-AllReduce · Tree-AllReduce
架构通信
03
同步与异步训练
Synchronous SGD · Asynchronous SGD · Stale Synchronous Parallel (SSP)
并行策略
04
通信协议与库
NCCL · Gloo · MPI · 通信拓扑选择
底层库
05
梯度压缩与量化
梯度压缩原理 · Top-K稀疏化 · 1-bit/2-bit SGD · 梯度累积
优化带宽
06
数据并行策略
数据并行原理 · DataLoader优化 · 分片(Sharding) · 全局Batch Size与LR调整
并行数据
07
模型并行策略
模型并行原理 · 层内并行 · 流水线并行(1F1B) · Pipeline调度
模型切分
08
混合并行策略
3D并行(数据+模型+流水线) · ZeRO-1/2/3 · FSDP
高级ZeRO
09
分布式训练稳定性
梯度爆炸/消失 · Loss Spike · 训练发散原因分析
稳定性诊断
10
梯度裁剪技术
Clip by Value · Clip by Norm · 自适应裁剪
裁剪稳定
11
学习率调度策略
Warmup · Cosine Annealing · ReduceLROnPlateau · OneCycleLR
调度LR
12
Batch Normalization同步
SyncBN原理 · 实现 · 分布式场景下的BN坑
归一化同步
13
混合精度训练(AMP)
FP16/BF16 · Loss Scaling · 动态Loss Scaling · PyTorch/TF实现
精度加速
14
分布式检查点
保存策略 · 异步保存 · 分布式恢复 · 一致性保证
容错Checkpoint
15
故障检测与恢复
Heartbeat检测 · 任务重调度 · 弹性训练 · TorchElastic
弹性恢复
16
网络稳定性
TCP/IP调优 · RDMA/InfiniBand · 拥塞控制 · 超时设置
网络性能
17
存储稳定性
NFS/Lustre · S3/MinIO · 数据缓存 · IO瓶颈分析
存储IO
18
日志与监控
训练日志规范 · TensorBoard · Prometheus+Grafana · 自定义Metrics
监控可观测
19
调试工具与技巧
torch.distributed.debug · 断点调试 · 日志分析 · Nsight Profiling
调试Profiling
20
安全基础
安全威胁概述 · 差分隐私 · 模型窃取 · 投毒攻击
安全隐私
21
数据安全
TLS/SSL加密 · 数据脱敏 · RBAC · 数据审计
数据加密
22
模型安全
模型加密 · 水印 · 完整性校验 · 对抗训练防御
模型保护
23
通信安全
gRPC TLS · mTLS身份认证 · 完整性校验 · 防重放
通信认证
24
容器与编排安全
Docker安全 · K8s Pod Security · Network Policy · 密钥管理
容器K8s
25
多租户隔离
资源隔离(CPU/GPU/Memory) · 命名空间 · Resource Quota · 公平调度
隔离租户
26
合规与审计
GDPR合规 · 数据本地化 · 审计日志 · 合规检查清单
合规审计
27
灾难恢复与备份
多数据中心备份 · 异地容灾 · RPO/RTO · 备份自动化
容灾备份
28
性能优化与稳定性平衡
通信计算重叠 · 梯度累积与同步频率 · 动态Batch · 自适应超参
优化平衡
29
大规模训练案例
/LLaMA · Megatron-LM · DeepSpeed · Horovod
案例框架
30
未来趋势
联邦学习安全 · 同态加密 · 可信执行环境(TEE) · AI安全治理
前沿趋势