VIP20

本课程属于：043-蛋白结构预测特征学习任务 生物信息学与 AI 制药工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

EvoFormer注意力机制解析

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

EvoFormer概述

从AlphaFold到EvoForm…

EvoFormerAlphaFold

深度学习中的注意力机制回顾

自注意力 · 多头注意力

深度学习注意力机制回顾

蛋白质结构预测的背景与核心挑战

蛋白质结构预测的背景与核心挑战 · 核心概念 · 实践要点

蛋白质结构预测的…核心挑战

多序列比对(MSA)的表示与特征提取

多序列比对(MSA)的表示与特征提取 · 核心概念 · 实践要点

MSA多序列比对

成对表示(Pair Representation)的概念与构建

成对表示(Pair Representa… · 核心概念 · 实践要点

PairRepresentati…

三角注意力的引入

为什么需要三角形变换

三角注意力的引入为什么需要三角形…

轴向注意力(Axial Attention)的原理与实现

轴向注意力(Axial Attentio… · 核心概念 · 实践要点

行注意力(Row-wise Attention)与列注意力(Column-wis

行注意力(Row-wise Attent… · 核心概念 · 实践要点

Row-wiseAttention

外积平均(Outer Product Mean)模块详解

外积平均(Outer Product M… · 核心概念 · 实践要点

自我注意力与交叉注意力在EvoFormer中的应用

自我注意力与交叉注意力在EvoForme… · 核心概念 · 实践要点

EvoFormer自我注意力

MSA注意力机制

序列层面的交互

MSA注意力机制

成对注意力(Pair Attention)机制详解

成对注意力(Pair Attention… · 核心概念 · 实践要点

三角更新(Triangle Update)

行更新与列更新

三角乘法(Triangle Multiplication)运算解析

三角乘法(Triangle Multip… · 核心概念 · 实践要点

TriangleMultiplicati…

过渡模块(Transition)的设计与作用

过渡模块(Transition)的设计与… · 核心概念 · 实践要点

Transition过渡模块

循环与残差连接在EvoFormer中的设计

循环与残差连接在EvoFormer中的设… · 核心概念 · 实践要点

EvoFormer循环

EvoFormer整体架构图与循环流程

EvoFormer整体架构图与循环流程 · 核心概念 · 实践要点

EvoFormer整体架构图

输入特征预处理

嵌入层与投影层

输入特征预处理嵌入层

输出特征与下游结构模块(Structure Module)的接口

输出特征与下游结构模块(Structur… · 核心概念 · 实践要点

StructureModule

注意力掩码(Attention Mask)的设计逻辑

注意力掩码(Attention Mask… · 核心概念 · 实践要点

相对位置编码(Relative Position Encoding)的实现

相对位置编码(Relative Posi… · 核心概念 · 实践要点

RelativePosition

权重共享与参数效率的优化策略

权重共享与参数效率的优化策略 · 核心概念 · 实践要点

权重共享参数效率的优化策…

梯度裁剪 · 学习率调度与正则化

训练技巧梯度裁剪

推理过程中的迭代细化机制

推理过程中的迭代细化机制 · 核心概念 · 实践要点

推理过程迭代细化机制

EvoFormer与标准Transformer的异同对比

EvoFormer与标准Transfor… · 核心概念 · 实践要点

EvoFormerTransformer

计算复杂度的分析与优化方法

计算复杂度的分析与优化方法 · 核心概念 · 实践要点

计算复杂度的分析优化方法

PyTorch代码实现

核心模块的伪代码与解读

PyTorch代码实现

常见问题与调试经验

梯度消失 · 内存爆炸等

常见问题调试经验

EvoFormer的变体与最新研究进展

EvoFormer的变体与最新研究进展 · 核心概念 · 实践要点

EvoFormer的变体

总结与应用展望

EvoFormer在AI for S…

应用展望EvoFormer