VIP20

本课程属于：044-分子对接筛选特征学习任务 生物信息学与 AI 制药工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

深度学习模型优化策略

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

模型优化概述

优化目标 · 常见挑战 · 评估指标

模型优化概述优化目标

数据预处理

数据清洗 · 归一化 · 标准化

数据预处理数据清洗

图像 · 文本 · 音频数据增强方法

数据增强图像

权重初始化

Xavier · He初始化等

权重初始化Xavier

批量归一化

原理 · 实现 · 作用

批量归一化原理

正则化技术

L1/L2正则化 · Dropout · Early Stopping

正则化技术L1/L2

原理 · 变体 · 使用技巧

学习率调度

固定 · 阶梯 · 余弦退火

学习率调度固定

优化器选择

SGD · 动量 · Adam

优化器选择SGD

防止梯度爆炸

梯度裁剪防止梯度爆炸

原理 · 实现 · 效果

标签平滑原理

损失函数设计

分类 · 回归 · 自定义损失

损失函数设计分类

类不平衡处理

重采样 · 类别权重 · Focal Loss

类不平衡处理重采样

超参数调优

网格搜索 · 随机搜索 · 贝叶斯优化

超参数调优网格搜索

K折 · 留一法 · 分层交叉验证

交叉验证K折

Bagging · Boosting · Stacking

模型集成Bagging

教师-学生模型 · 蒸馏温度 · 软标签

知识蒸馏教师

结构化剪枝 · 非结构化剪枝 · 剪枝策略

模型剪枝结构化剪枝

INT8量化 · 混合精度 · 训练后量化

模型量化INT8

神经网络架构搜索（NAS）

搜索空间 · 搜索策略 · EWAS

NAS神经网络架构搜索

预训练模型 · 微调策略 · 冻结层

迁移学习预训练模型

学习率分层 · 渐进解冻 · 判别性微调

微调技巧学习率分层

自监督学习

对比学习 · 掩码语言模型 · 旋转预测

自监督学习对比学习

FGSM · PGD · 对抗样本增强

对抗训练FGSM

注意力机制优化

多头注意力变体 · 稀疏注意力 · 线性注意力

注意力机制优化多头注意力变体

Transformer优化

层归一化 · 位置编码 · 参数共享

Transformer优化

分布式训练

数据并行 · 模型并行 · 流水线并行

分布式训练数据并行

混合精度训练

FP16 · BF16 · 损失缩放

混合精度训练FP16

TensorRT · ONNX · 剪枝+量化联合

推理加速TensorRT

模型部署与优化

移动端 · 边缘端 · 服务端优化

模型部署优化