VIP20
本课程属于：027-DeepSpeed AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

ZeRO-Offload异构计算底层解密

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
ZeRO-Offload概述 · 异构计算背景 · 学习目标与整体框架
课程导入ZeRO-Offload
02
异构计算基础
CPU与GPU架构差异 · 内存层次 · PCIe/NVLink通信
异构计算基础CPU
03
深度学习训练内存瓶颈
模型状态内存占用 · 激活内存 · 梯度与优化器状态
深度学习训练内存…模型状态内存占用
04
ZeRO系列技术演进
ZeRO-1/2/3原理 · 分片策略 · 通信开销分析
ZeRO系列技术演进
05
ZeRO-Offload核心思想
将优化器状态与梯度卸载至CPU · 利用CPU内存扩展GPU内存 · 计算与通信重叠
ZeRO-Offload核心思想
06
ZeRO-Offload架构设计
数据流图 · CPU优化器实现 · 梯度压缩与通信
ZeRO-Offload架构设计
07
CPU优化器实现细节
Adam优化器在CPU上的高效实现 · 向量化指令 · 多线程并行
CPU优化器实现细节
08
通信优化策略
梯度分片与聚合 · 通信与计算重叠 · PCIe带宽利用
通信优化策略梯度分片
09
内存管理机制
GPU内存池 · CPU内存池 · 固定内存(pinned memory…
内存管理机制GPU
10
调度与流水线
前向/反向传播调度 · 卸载时机 · 预取策略
调度流水线
11
性能分析与调优
瓶颈定位 · 吞吐量 vs 延迟 · 扩展性测试
性能分析调优
12
实战案例一
单机多卡训练BERT-Large · 配置ZeRO-Offload · 性能对比
实战案例一BERT-Large
13
实战案例二
多机多卡训练GPT-2 · 结合流水线并行与ZeRO-Offlo…
实战案例二GPT-2
14
实战案例三
在有限GPU内存下训练大规模推荐模型 · ZeRO-Offload应用
实战案例三GPU
15
常见问题与解决方案
CPU内存不足 · 通信瓶颈 · 训练不稳定
常见问题解决方案
16
与其他技术对比
ZeRO-Offload vs 梯度…
其他技术对比ZeRO-Offload
17
源码解析
DeepSpeed中ZeRO-Off… · 关键类与函数 · 配置参数详解
源码解析DeepSpeed
18
自定义扩展
修改卸载策略 · 支持新优化器 · 适配不同硬件
自定义扩展修改卸载策略
19
性能评测基准
MLPerf · DeepSpeed基准测试 · 自定义基准测试方法
性能评测基准MLPerf
20
生产环境部署
容器化 · 资源调度 · 监控与日志
生产环境部署容器化
21
前沿进展
ZeRO-Infinity · NVMe卸载 · 异构内存管理
前沿进展ZeRO-Infinit…
22
综合项目一
从零实现简化版ZeRO-Offloa… · 理解核心机制
综合项目一ZeRO-Offloa
23
综合项目二
基于DeepSpeed训练十亿参数模… · 完整流程与调优
综合项目二DeepSpeed
24
综合项目三
多模态大模型训练中的ZeRO-Off…
综合项目三ZeRO-Off
25
课程总结
知识体系回顾 · 最佳实践 · 未来方向
课程总结知识体系回顾
26
扩展阅读
相关论文 · 开源项目 · 社区资源
扩展阅读相关论文
27
实验环境搭建
硬件选型 · 软件安装 · DeepSpeed配置
实验环境搭建硬件选型
28
调试技巧
GPU/CPU profiling · 通信分析 · 内存泄漏排查
调试技巧GPU/CPU
29
安全与伦理
大模型训练中的隐私 · 公平性 · 能耗问题
安全伦理
30
结业考核
理论测试与实战项目评估
结业考核理论测试