VIP20
本课程属于：040-化合物生成模型批次质控 生物信息学与 AI 制药工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Transformer超参数批次一致性调优指南

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
Transformer模型概述与超参数调优的重要性
Transformer模型概述与超参数调… · 核心概念 · 实践要点
Transformer模型概述
02
批次大小(Batch Size)对训练收敛速度与效果的影响
批次大小(Batch Size)对训练收… · 核心概念 · 实践要点
BatchSize
03
学习率(Learning Rate)与批次大小的缩放规律
学习率(Learning Rate)与批… · 核心概念 · 实践要点
LearningRate
04
批次归一化(Batch Normalization)在Transformer中的
批次归一化(Batch Normaliz… · 核心概念 · 实践要点
BatchNormalizatio…
05
梯度累积(Gradient Accumulation)
模拟大批次训练的技巧
GradientAccumulation
06
随机种子(Seed)设置
保证实验可重复性的关键
Seed随机种子
07
数据加载顺序控制
DataLoader中shuffle…
数据加载顺序控制DataLoader
08
混合精度训练(AMP)下的批次大小与梯度稳定性
混合精度训练(AMP)下的批次大小与梯度… · 核心概念 · 实践要点
AMP混合精度训练
09
分布式数据并行(DDP)中批次同步与全局批次大小的关系
分布式数据并行(DDP)中批次同步与全局… · 核心概念 · 实践要点
DDP分布式数据并行
10
动态批次调整策略
根据训练进度自动改变批次大小
动态批次调整策略根据训练进度自动…
11
超参数搜索方法论
网格搜索 · 随机搜索与贝叶斯优化
超参数搜索方法论网格搜索
12
贝叶斯优化实战
使用Optuna或Hyperopt进…
贝叶斯优化实战Optuna
13
学习率预热(Warmup)与余弦退火衰减的搭配
学习率预热(Warmup)与余弦退火衰减… · 核心概念 · 实践要点
Warmup学习率预热
14
权重衰减(Weight Decay)对批次一致性训练的影响
权重衰减(Weight Decay)对批… · 核心概念 · 实践要点
WeightDecay
15
Dropout与Attention Dropout的合理阈值选择
Dropout与Attention Dr… · 核心概念 · 实践要点
DropoutAttention
16
标签平滑(Label Smoothing)与损失函数的批次平均
标签平滑(Label Smoothing… · 核心概念 · 实践要点
LabelSmoothing
17
词嵌入维度(d_model)与批次大小的经验匹配
词嵌入维度(d_model)与批次大小的… · 核心概念 · 实践要点
model词嵌入维度
18
注意力头数(Heads)与隐藏层维度(d_ff)的协同设计
注意力头数(Heads)与隐藏层维度(d… · 核心概念 · 实践要点
Headsff
19
编码器/解码器层数(Depth)与梯度流向的一致性
编码器/解码器层数(Depth)与梯度流… · 核心概念 · 实践要点
Depth编码器
20
激活函数(GELU、ReLU、Swish)在批次训练中的表现差异
激活函数(GELU · 核心概念 · 实践要点
GELUReLU
21
位置编码类型(绝对/相对/旋转)对批次内长序列的影响
位置编码类型(绝对/相对/旋转)对批次内… · 核心概念 · 实践要点
位置编码类型绝对
22
参数初始化方法(Xavier、Kaiming、Small init)的批次稳定性
参数初始化方法(Xavier · 核心概念 · 实践要点
XavierKaiming
23
损失函数设计
交叉熵 · 对比损失与批次内负样本分布
损失函数设计交叉熵
24
梯度裁剪(Gradient Clipping)阈值与批次大小联动
梯度裁剪(Gradient Clippi… · 核心概念 · 实践要点
GradientClipping
25
验证集划分策略与批次一致性评估指标
验证集划分策略与批次一致性评估指标 · 核心概念 · 实践要点
验证集划分策略批次一致性评估指…
26
早停(Early Stopping)与学习率重置的批次相关陷阱
早停(Early Stopping)与学… · 核心概念 · 实践要点
EarlyStopping
27
实验追踪工具(Wandb/TensorBoard)中批次参数的记录规范
实验追踪工具(Wandb/TensorB… · 核心概念 · 实践要点
Wandb/Tensor…实验追踪工具
28
配置文件管理(YAML/JSON)
统一批次相关参数的版本控制
YAML/JSON配置文件管理
29
可重复性复现的完整检查清单
从随机种子到硬件一致性
可重复性复现的完…从随机种子到硬件…
30
案例实战
从头调优一个Transformer模…
案例实战Transformer