VIP10

本课程属于：021-LightTools照明优化方法 光学光电与激光工程 · 共 10 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

深度学习模型权重优化与多任务平衡

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

权重调优概述

评价函数的重要性 · 权重对模型性能的影响 · 课程目标与学习路径

导论权重基础

数学基础回顾

梯度下降原理 · 链式法则 · 损失函数与评价函数的区别

微积分核心概念

权重初始化策略

零初始化 · 随机初始化 · Xavier初始化 · He初始化

初始化XavierHe

梯度消失与爆炸

原因分析 · Sigmoid/ReLU的梯度特性 · Batch Normalization的作用

梯度激活函数BN

学习率调度

固定学习率 · Step Decay · Exponential Decay · Cosine Annealing

学习率调度

动量优化法

SGD with Momentum · Nesterov Accelerated Gradient (NAG)

自适应学习率方法

AdaGrad · RMSProp · Adam · AdamW

权重衰减与正则化

L1/L2正则化 · Weight Decay的实现与调优

正则化衰减

Dropout与权重调优

Dropout原理 · Inverted Dropout · 与权重衰减的协同

Batch Normalization调优

训练与推理模式 · γ和β参数的学习 · 与权重的交互

Layer/Group Normalization

适用场景 · 与BN的对比 · 权重影响

损失函数设计

分类损失（CE、Focal Loss）· 回归损失（MSE、MAE、Huber）

评价函数设计

准确率 · 精确率/召回率/F1 · AUC-ROC · IoU

多任务学习权重平衡

GradNorm · Uncertainty Weighting · Dynamic Weight Averaging

多任务平衡

课程学习与权重调度

Curriculum Learning · Self-Paced Learning · 权重渐进式调整

课程学习调度

元学习与权重初始化

MAML · Reptile · 基于梯度的元学习

贝叶斯与权重不确定性

Bayes by Backprop · MC Dropout · 权重分布估计

贝叶斯不确定性

知识蒸馏权重调优

教师-学生框架 · 温度参数 · 软标签权重

蒸馏软标签

对抗训练与权重鲁棒性

FGSM · PGD · TRADES · 权重扰动策略

对抗鲁棒性

权重共享与参数高效微调

LoRA · Adapter · Prefix Tuning

高效微调LoRA

稀疏化与剪枝

权重剪枝 · 结构化剪枝 · Lottery Ticket Hypothesis

量化与权重压缩

Post-Training Quantization · QAT · 混合精度训练

分布式训练权重同步

All-Reduce · 参数服务器 · 异步SGD

分布式同步

联邦学习权重聚合

FedAvg · FedProx · 权重差异惩罚

强化学习权重调优

Policy Gradient · PPO · TRPO · 价值函数权重

强化学习PPO

生成对抗网络权重平衡

Generator/Discriminator权重 · 梯度惩罚 · 谱归一化

自监督学习权重策略

对比学习（SimCLR、MoCo）· 权重更新规则

自监督对比学习

超参数搜索与权重

网格搜索 · 随机搜索 · 贝叶斯优化 · Hyperband

超参数搜索

自动化权重调优工具

Optuna · Ray Tune · Weights & Biases Sweeps

综合实战项目

从零构建权重调优Pipeline · 数据、模型、训练、评估全流程

实战全流程