首页
›
实战100例
›
016-大模型部署与推理优化实战
›
《Megatron-LM分布式大模型训练实战100例》
VIP15
本课程属于：016-大模型部署与推理优化实战
实战100例 · 共 15 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录
咨询 / 购买
《Megatron-LM分布式大模型训练实战100例》
共 100 例
01
环境搭建与基础验证
02
单卡训练BERT模型
03
数据并行训练
04
张量并行实现
05
流水线并行实现
06
混合并行组合
07
序列并行优化
08
分布式优化器状态切分
09
激活重计算
10
混合精度训练
11
BF16训练实践
12
梯度累积
13
学习率调度
14
权重初始化策略
15
梯度裁剪
16
检查点保存与加载
17
模型并行下的检查点
18
分布式训练日志记录
19
TensorBoard可视化
20
自定义数据集加载
21
Tokenizer定制
22
动态批处理
23
长序列训练
24
多节点训练
25
网络通信优化
26
负载均衡
27
模型并行下的推理
28
文本生成任务
29
微调BERT分类
30
微调对话
31
从零预训练小型
32
预训练RoBERTa
33
T5模型训练
34
MoE模型训练
35
ALBERT参数共享
36
ELECTRA预训练
37
对比学习训练
38
多任务学习
39
知识蒸馏
40
模型量化
41
剪枝
42
低秩近似
43
增量训练
44
领域适应
45
灾难性遗忘缓解
46
提示学习
47
P-Tuning
48
LoRA微调
49
Prefix-Tuning
50
AdaLoRA
51
模型并行下的微调
52
数据并行下的微调
53
混合并行微调
54
分布式推理服务
55
吞吐量优化
56
显存优化
57
通信压缩
58
异步训练
59
流水线调度优化
60
虚拟流水线
61
自动并行
62
弹性训练
63
故障恢复
64
超参数搜索
65
数据增强
66
课程学习
67
对抗训练
68
正则化技术
69
标签平滑
70
早停法
71
模型集成
72
测试时增强
73
可解释性分析
74
模型鲁棒性评估
75
公平性评估
76
隐私保护训练
77
联邦学习
78
多模态模型训练
79
代码生成模型
80
科学文献挖掘
81
金融情感分析
82
医疗文本处理
83
法律文档摘要
84
多语言翻译
85
语音识别文本处理
86
推荐系统文本建模
87
搜索引擎排序
88
问答系统
89
命名实体识别
90
关系抽取
91
文本摘要
92
文本纠错
93
情感分析
94
主题分类
95
语义相似度
96
自然语言推理
97
文本风格迁移
98
低资源语言预训练
99
跨语言迁移
100
模型性能基准测试
所属VIP或分类
同VIP：DeepSpeed-ZeRO训练优化实战100例
同VIP：DeepSpeed大模型训练优化库实战100例
同VIP：FlashAttention推理优化实战100例