VIP20

本课程属于：025-蛋白结构预测批次质控 生物信息学与 AI 制药工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Dropout异常诊断与训练参数恢复

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

什么是Dropout · 为什么需要Dropout · Dropout在深度学习中的历史

Dropout什么是

Dropout工作原理

随机失活机制 · 伯努利分布 · 训练与推断阶段的差异

Dropout工作原理

Dropout参数详解

keep_prob与rate · 参数命名差异（TensorFlow…

Dropout参数详解

Dropout与过拟合

过拟合的成因 · Dropout如何缓解过拟合 · 理论依据

Dropout过拟合

Dropout与正则化

L1/L2正则化对比 · Dropout作为贝叶斯近似

Dropout正则化

Dropout实现细节

神经元掩码生成 · 缩放因子（inverted drop… · 反向传播

Dropout实现细节

常见Dropout异常现象

训练损失不下降 · 验证集准确率波动大 · 过拟合未消除

参数设置不当导致的问题

rate过高导致欠拟合 · rate过低无效果 · 学习率不匹配

参数设置不当导致…rate

Dropout与Batch Normalization的冲突

两者联合使用的陷阱 · 顺序调整建议

网络结构引起的Dropout异常

全连接层 vs 卷积层 · RNN中的Dropout变体

Dropout网络结构引起的

梯度消失/爆炸与Dropout

Dropout对梯度传播的影响 · 梯度检查诊断

Dropout梯度消失

训练与测试阶段行为不一致

训练时开Dropout · 测试时关Dropout导致的偏差

训练测试阶段行为不一…

模型集成与Dropout

MC Dropout · 模型不确定性估计

Dropout模型集成

Spatial Dropout · DropBlock · DropConnect

异常排查第一步

检查数据预处理与加载流程

异常排查第一步检查数据预处理

异常排查第二步

验证网络结构是否兼容Dropout

异常排查第二步Dropout

异常排查第三步

使用可视化工具观察激活值分布

异常排查第三步使用可视化工具观…

异常排查第四步

对比实验——有无Dropout的差异

异常排查第四步Dropout

异常排查第五步

调整学习率与优化器配合Dropout

异常排查第五步Dropout

异常排查第六步

监控训练过程中的梯度范数

异常排查第六步监控训练过程

使用TensorBoard诊断Dropout异常。

使用TensorBoard诊断Dropo… · 核心概念 · 实践要点

TensorBoardDropout

使用PyTorch Lightning的日志功能排查。

使用PyTorch Lightning的… · 核心概念 · 实践要点

PyTorchLightning

CIFAR-10分类中Dropout…

实战案例1CIFAR-10

LSTM文本生成中Dropout导致…

实战案例2LSTM

目标检测模型中的Spatial Dr…

实战案例3Spatial

常见错误日志解读

NaN loss · 激活值爆炸等

常见错误日志解读NaN

网格搜索与贝叶斯优化Dropout率

调参策略Dropout

自动化异常检测

设置早停与学习率调度

自动化异常检测设置早停

不同任务Dropout推荐参数范围

经验总结Dropout

从零构建一个带Dropout的模型并…

综合案例Dropout