4. 蛋白序列语言模型架构选型

蛋白序列语言模型的架构选型，本质上是在回答一个问题：如何用有限的算力，把一条几十到几千个氨基酸残基的序列，压缩成能表达结构、功能与进化约束的表示。蛋白序列与自然语言有相似之处——都是离散符号序列，都存在长程依赖；但差异同样关键：蛋白的“语法”由三维结构和物理化学约束决定，远距离残基可能因空间邻近而强耦合，且序列长度分布跨度极大（典型球状蛋白 100–500 aa，抗体、黏连蛋白等可超 3000 aa）。因此，架构选型不能只看通用 NLP 的排行榜，而要看它在蛋白序列上的归纳偏置是否匹配。

四类架构在蛋白序列上的适配特征

Transformer 以自注意力为核心，任意两个位置直接建立联系，路径长度为 O(1)，天然适合捕捉共进化信号和远端残基耦合。它的代价是注意力矩阵随序列长度呈 O(L²) 增长：L=1024 时注意力分数约 100 万，L=4096 时约 1600 万，显存与计算迅速成为瓶颈。此外，标准位置编码对蛋白序列的平移不变性并不完全契合，因为蛋白功能对绝对位置不敏感、对相对构象敏感。

CNN 通过局部卷积核扫描序列，参数量小、并行度高、训练稳定，擅长识别局部模体（如激酶催化环、锌指、跨膜螺旋的疏水周期）。但固定感受野限制了长程建模，要覆盖 500 aa 的依赖需要堆叠很多层或使用空洞卷积，且池化会丢失残基级分辨率，对需要逐残基预测的任务（如二级结构、结合位点）不利。

RNN/LSTM 按位置递推，理论上可建模任意长度依赖，参数量也小。但递推无法并行，训练时沿时间反向传播易梯度消失或爆炸，长序列上实际有效记忆往往只有几十到上百步。对蛋白而言，这意味着它难以稳定捕捉跨结构域的耦合，且推理速度随长度线性下降，不适合大规模预训练。

状态空间模型（SSM，如 S4、Mamba） 用线性递推或卷积形式实现序列建模，复杂度可做到 O(L log L) 甚至 O(L)，同时保留长程记忆。它把序列映射到隐状态，通过结构化参数化（如 HiPPO 初始化）让状态能压缩长历史。对蛋白序列，SSM 在长序列上显存友好，但纯 SSM 对局部模体的精细分辨能力通常弱于 CNN，且对位置相对关系的显式建模不如注意力直观。

自注意力复杂度优化：从 O(L²) 到可承受的长序列

Transformer 在蛋白序列上的主要障碍是注意力矩阵的二次增长。工程上通常从三条路径优化。

第一，稀疏与局部注意力。 将每个残基的注意力限制在窗口 w 内，复杂度降为 O(L·w)。例如 w=128、L=2048 时，注意力分数从约 419 万降到约 26 万。但蛋白的远端耦合会被截断，通常需要叠加少量全局 token 或周期性跨窗口连接来补偿。

第二，低秩与线性注意力。 用核函数近似 softmax，把注意力写成 φ(Q)(φ(K)ᵀV)，复杂度降为 O(L·d²)。当 d=256、L=4096 时，线性注意力约 2.7 亿次乘加，而标准注意力约 43 亿次，差距明显。代价是近似误差，对需要精确共进化权重的任务要谨慎。

第三，分块与 FlashAttention。 不改变数学结果，而是通过分块计算和重计算减少显存访问，把注意力显存从 O(L²) 降到 O(L)。这是目前最稳妥的工程手段，L=4096、d=256、batch=8 时，标准实现可能因显存溢出无法训练，而 FlashAttention 可在单卡 24 GB 上跑通。

长序列建模方案对比与选型建议

把四类架构和优化手段放在一起，可以得到一张实用的选型判断表。下表参数为教学示例，用于说明量级关系，不是实测结果。

实际工程中，混合架构往往比单一架构更有效。例如：底层用 CNN 提取局部模体，中层用 SSM 压缩长程状态，顶层用少量注意力层做残基级交互。这种设计在长序列上兼顾了局部分辨率与全局记忆，也降低了纯注意力的显存压力。

如果必须给出一个可执行的起点：对于长度 ≤512 的蛋白，标准 Transformer + FlashAttention 是默认选择；对于 512–2048，优先尝试局部注意力加全局 token；对于 ≥2048 的超长序列，先用 SSM 或线性注意力做预训练，再在下游任务上微调。选型不是一次决定，而是随着数据规模、任务精度和硬件预算逐步调整的过程。