VIP20
本课程属于：043-蛋白结构预测特征学习任务 生物信息学与 AI 制药工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

MSA特征提取优化技巧

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
MSA基础
什么是多头自注意力机制及其在特征提取…
MSA什么是多头自注意…
02
自注意力原理
Query · Key · Value的矩阵计算与特征映射
自注意力原理Query
03
多头机制详解
多头分割 · 拼接 · 线性变换与特征增强
多头机制详解多头分割
04
MSA特征提取流程
从输入到输出的特征向量提取方法
MSA特征提取流程
05
注意力权重可视化
如何获取并利用注意力矩阵作为特征
注意力权重可视化如何获取并利用注…
06
特征聚合技巧
全局平均池化 · CLS token · 序列池化等
特征聚合技巧全局平均池化
07
计算复杂度分析
O(n^2)问题与优化方向
计算复杂度分析O
08
稀疏注意力机制
局部窗口 · 全局稀疏 · 带状稀疏
稀疏注意力机制局部窗口
09
线性注意力
采用核函数或近似方法降低复杂度
线性注意力采用核函数或近似…
10
FlashAttention原理
分块计算与显存优化
FlashAttenti…原理
11
FlashAttention实践
使用CUDA kernel加速训练
FlashAttenti…CUDA
12
变长序列处理
padding · mask与batching优化
变长序列处理padding
13
混合精度训练
FP16 · BF16对MSA的影响与scale调…
混合精度训练FP16
14
梯度检查点
在前向中丢弃中间激活 · 反向重新计算
梯度检查点前向
15
分布式训练中的MSA
张量并行 · 序列并行 · 流水线并行
MSA分布式训练
16
内存优化
重计算 · 激活压缩 · 显存池化
内存优化重计算
17
模型剪枝在MSA中的应用
减少头数 · 稀疏化权重
MSA模型剪枝
18
知识蒸馏
利用大模型MSA特征指导小模型
知识蒸馏MSA
19
多Query注意力（MQA）与分组查询注意力（GQA）
多Query注意力（MQA）与分组查询注… · 核心概念 · 实践要点
QueryMQA
20
局部感知MSA
卷积局部增强 · 相对位置编码
MSA局部感知
21
位置编码对特征提取的影响
绝对 · 相对 · 旋转位置编码
位置编码对特征提…绝对
22
初始化策略
MSA层的权重初始化与方差调整
初始化策略MSA
23
正则化技巧
Dropout · Stochastic Depth · Layer Normalizatio…
正则化技巧Dropout
24
学习率调度
warmup · cosine退火 · 针对MSA的调参
学习率调度warmup
25
特征归一化
LayerNorm · BatchNorm在MSA中的选择
特征归一化LayerNorm
26
融合算子
将MSA与FFN合并kernel · Fused attention
融合算子MSA
27
自定义CUDA扩展
编写高效的MSA kernel
CUDA自定义
28
时序模型中的MSA
因果掩码 · 自回归优化
MSA时序模型
29
可解释性分析
通过MSA特征进行模型解释
可解释性分析MSA
30
实战案例
在ViT · BERT等模型中应用优化技巧
实战案例ViT