VIP20
本课程属于：055-化合物生成网络训练 生物信息学与 AI 制药工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

梯度裁剪技巧与分子训练

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
梯度裁剪概述
梯度爆炸与消失问题的成因 · 梯度裁剪的必要性与基本原理
梯度裁剪概述梯度爆炸
02
梯度裁剪的数学原理
L2范数裁剪 · 最大值裁剪 · 自适应裁剪的公式推导
梯度裁剪的数学原…L2
03
PyTorch中梯度裁剪的实现
torch.nn.utils.cli…
PyTorch梯度裁剪的实现
04
TensorFlow中梯度裁剪的实现
tf.clip_by_global_… · tf.clip_by_value等函…
TensorFlow梯度裁剪的实现
05
梯度裁剪的超参数选择
clip值如何设置 · 经验法则与启发式调优策略
梯度裁剪的超参数…clip
06
梯度裁剪与学习率调度的配合
学习率衰减 · warm-up · 余弦退火与裁剪的协同效果
梯度裁剪学习率调度的配合
07
梯度裁剪在不同优化器中的应用
Adam · SGD · RMSprop
梯度裁剪不同优化器
08
梯度裁剪的局限性
对梯度方向的影响 · 收敛速度变慢 · 裁剪阈值过大或过小的后果
梯度裁剪的局限性对梯度方向的影响
09
梯度裁剪与正则化的关系
L2正则化 · 梯度惩罚（Gradient Pena…
梯度裁剪正则化的关系
10
分子训练基础
分子表示方法（SMILES字符串 · 图结构 · 分子指纹
分子训练基础SMILES
11
分子性质预测任务
分子特征提取 · MPNN · GIN等图神经网络构建
分子性质预测任务分子特征提取
12
分子生成模型
VAE · GAN · 扩散模型在分子生成中的原理
分子生成模型VAE
13
力场与分子动力学模拟中的梯度问题
能量函数梯度爆炸的成因 · 在神经网络力场中的裁剪实践
力场分子动力学模拟
14
分子图神经网络（GNN）中的梯度裁剪
GNN训练的不稳定性 · 节点/边梯度裁剪策略
GNN分子图神经网络
15
图注意力网络（GAT）与梯度裁剪
多头注意力的梯度范数特点及裁剪技巧
GAT图注意力网络
16
分子预训练模型中的梯度裁剪
MolBERT · ChemBERTa · GROVER等大规模模型训练时如何稳…
分子预训练模型梯度裁剪
17
分子对比学习中的梯度裁剪
SimCLR · MoCo等框架中避免表示坍塌的梯度管…
分子对比学习梯度裁剪
18
分子自监督学习
掩码建模（Masked SMILES… · 去噪自编码中的梯度裁剪方案
分子自监督学习Masked
19
分子扩散模型训练
去噪分数匹配过程中梯度裁剪的作用 · 时间步与裁剪阈值的关联
分子扩散模型训练去噪分数匹配过程
20
分子逆合成与反应预测中的梯度裁剪
Seq2Seq · Transformer模型训练时的梯…
分子逆合成反应预测
21
分子生成中的对抗训练
GAN生成器与判别器的梯度裁剪 · 梯度惩罚（WGAN-GP）的实现
分子生成对抗训练
22
分子性质多任务学习中的梯度缩放与裁剪
多损失函数平衡 · 梯度调和（GradNorm）与裁剪的…
分子性质多任务学…梯度缩放
23
梯度裁剪在分子几何优化中的应用
通过可微分分子力场进行构型优化的梯度…
梯度裁剪分子几何优化
24
实践案例
使用梯度裁剪训练分子性质预测模型——… · 完整代码与训练曲线
实践案例使用梯度裁剪训练…
25
实践案例
使用梯度裁剪训练分子生成模型——以Z… · 评估指标与生成质量对比
实践案例使用梯度裁剪训练…
26
梯度裁剪的进阶技巧
按层裁剪 · 动量裁剪 · 自适应梯度裁剪（如Adaptive…
梯度裁剪的进阶技…按层裁剪
27
梯度裁剪与其他训练技巧的结合
混合精度训练（AMP） · 梯度累积 · 分布式数据并行（DDP）中的注意事项
梯度裁剪其他训练技巧的结…
28
梯度裁剪的调试与可视化
监控梯度范数直方图 · 使用TensorBoard记录裁剪前…
梯度裁剪的调试可视化
29
常见问题与陷阱
梯度裁剪导致有效梯度消失 · 收敛变慢 · 模型震荡
常见问题陷阱
30
总结与展望
梯度裁剪在分子AI领域的未来方向 · 与注意力机制 · 扩散模型的融合趋势
AI梯度裁剪