首页
›
实战100例
›
016-大模型部署与推理优化实战
›
《DeepSpeed大模型训练优化库实战100例》
VIP15
本课程属于：016-大模型部署与推理优化实战
实战100例 · 共 15 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录
咨询 / 购买
《DeepSpeed大模型训练优化库实战100例》
共 100 例
01
DeepSpeed环境搭建与基础配置
02
ZeRO Stage 1 优化器状态切分
03
ZeRO Stage 2 梯度切分
04
ZeRO Stage 3 参数切分
05
ZeRO-Offload 将优化器状态卸载到CPU
06
ZeRO-Infinity 卸载到NVMe
07
混合精度训练（FP16）
08
BF16混合精度训练
09
梯度累积
10
梯度裁剪
11
学习率调度器集成
12
自定义学习率调度器
13
优化器选择与配置
14
CPU Adam优化器
15
1-bit Adam
16
LAMB优化器
17
ZeRO-Offload与CPU训练
18
激活检查点（Activation Checkpointing）
19
连续内存优化
20
模型并行（Model Parallelism）
21
流水线并行（Pipeline Parallelism）
22
张量并行
23
数据并行
24
ZeRO++ 通信优化
25
梯度压缩
26
异步IO
27
数据加载优化
28
稀疏注意力
29
序列并行
30
自动混合精度（AMP）
31
动态损失缩放
32
静态损失缩放
33
梯度累积与ZeRO结合
34
多节点训练
35
单机多卡训练
36
弹性训练
37
容错训练
38
检查点保存与加载
39
模型并行与数据并行混合
40
ZeRO Stage 3 与模型并行结合
41
DeepSpeed推理优化
42
推理时ZeRO
43
模型量化
44
知识蒸馏
45
预训练与微调
46
大规模文本分类
47
问答任务
48
命名实体识别
49
机器翻译
50
文本生成
51
图像分类
52
目标检测
53
语音识别
54
推荐系统
55
强化学习
56
图神经网络
57
生成对抗网络
58
Transformer-XL
59
Longformer
60
BERT预训练
61
规模模型
62
T5模型微调
63
ELECTRA预训练
64
ALBERT模型
65
DeBERTa模型
66
视觉Transformer
67
多模态模型
68
模型并行训练
69
流水线并行训练BERT
70
ZeRO Stage 3 训练T5
71
DeepSpeed与HuggingFace集成
72
DeepSpeed与PyTorch Lightning集成
73
DeepSpeed与Ray集成
74
DeepSpeed与Slurm集成
75
DeepSpeed与Kubernetes集成
76
DeepSpeed配置详解
77
DeepSpeed命令行工具
78
DeepSpeed日志与监控
79
DeepSpeed性能分析
80
DeepSpeed自动调优
81
DeepSpeed与TensorBoard集成
82
DeepSpeed与Weights & Biases集成
83
DeepSpeed模型并行推理
84
DeepSpeed推理优化器
85
DeepSpeed与ONNX导出
86
DeepSpeed与TensorRT集成
87
DeepSpeed与C++部署
88
DeepSpeed与Python服务
89
DeepSpeed与Docker
90
DeepSpeed与云服务
91
DeepSpeed与Spark集成
92
DeepSpeed与Horovod集成
93
DeepSpeed与FairScale集成
94
DeepSpeed与ColossalAI集成
95
DeepSpeed与Megatron-LM集成
96
DeepSpeed与Transformers Trainer集成
97
DeepSpeed与FairScale集成
98
DeepSpeed与ColossalAI集成
99
DeepSpeed与Megatron-LM集成
100
DeepSpeed与Transformers Trainer集成
所属VIP或分类
同VIP：DeepSpeed-ZeRO训练优化实战100例
同VIP：FlashAttention推理优化实战100例
同VIP：GPU大模型推理原理与优化实战100例