VIP20
本课程属于：040-化合物生成模型批次质控 生物信息学与 AI 制药工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Transformer超参数调优与批次可重复性实践

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程简介与Transformer基础回顾
课程简介与Transformer基础回顾 · 核心概念 · 实践要点
Transformer课程简介
02
超参数调优的重要性与挑战
超参数调优的重要性与挑战 · 核心概念 · 实践要点
超参数调优的重要…挑战
03
批次大小对训练的影响
批次大小对训练的影响 · 核心概念 · 实践要点
批次大小对训练的…重点
04
学习率调度策略
学习率调度策略 · 核心概念 · 实践要点
学习率调度策略重点
05
权重初始化与正则化
权重初始化与正则化 · 核心概念 · 实践要点
权重初始化正则化
06
注意力头数与隐藏维度的选择
注意力头数与隐藏维度的选择 · 核心概念 · 实践要点
注意力头数隐藏维度的选择
07
层数与深度调优
层数与深度调优 · 核心概念 · 实践要点
层数深度调优
08
Dropout与激活函数调优
Dropout与激活函数调优 · 核心概念 · 实践要点
Dropout激活函数调优
09
优化器选择（Adam, SGD, AdamW等）
优化器选择（Adam · 核心概念 · 实践要点
AdamSGD
10
梯度累积与有效批次大小
梯度累积与有效批次大小 · 核心概念 · 实践要点
梯度累积有效批次大小
11
学习率预热与衰减策略
学习率预热与衰减策略 · 核心概念 · 实践要点
学习率预热衰减策略
12
批次归一化与LayerNorm调优
批次归一化与LayerNorm调优 · 核心概念 · 实践要点
LayerNorm批次归一化
13
数据增强对Transformer的影响
数据增强对Transformer的影响 · 核心概念 · 实践要点
Transformer数据增强对
14
序列长度与填充策略
序列长度与填充策略 · 核心概念 · 实践要点
序列长度填充策略
15
混合精度训练与批次大小
混合精度训练与批次大小 · 核心概念 · 实践要点
混合精度训练批次大小
16
分布式训练中的批次重复性
分布式训练中的批次重复性 · 核心概念 · 实践要点
分布式训练批次重复性
17
随机种子设置与可重复性
随机种子设置与可重复性 · 核心概念 · 实践要点
随机种子设置可重复性
18
数据加载顺序与shuffle策略
数据加载顺序与shuffle策略 · 核心概念 · 实践要点
shuffle数据加载顺序
19
批次采样与数据并行
批次采样与数据并行 · 核心概念 · 实践要点
批次采样数据并行
20
评估指标与超参数搜索
评估指标与超参数搜索 · 核心概念 · 实践要点
评估指标超参数搜索
21
网格搜索与随机搜索
网格搜索与随机搜索 · 核心概念 · 实践要点
网格搜索随机搜索
22
贝叶斯优化方法
贝叶斯优化方法 · 核心概念 · 实践要点
贝叶斯优化方法重点
23
基于种群的训练方法
基于种群的训练方法 · 核心概念 · 实践要点
基于种群的训练方…重点
24
超参数调优工具
Optuna · Ray Tune等
超参数调优工具Optuna
25
批次重复性验证方法
批次重复性验证方法 · 核心概念 · 实践要点
批次重复性验证方…重点
26
实验结果的可重复性记录
实验结果的可重复性记录 · 核心概念 · 实践要点
实验结果的可重复…重点
27
超参数调优的实践经验（避坑）
超参数调优的实践经验（避坑） · 核心概念 · 实践要点
超参数调优的实践…避坑
28
案例
文本分类Transformer调优
案例Transformer
29
案例
机器翻译Transformer调优
案例Transformer
30
总结与最佳实践
总结与最佳实践 · 核心概念 · 实践要点
最佳实践总结与最佳实践