1. 蛋白序列语言模型工程导论

蛋白质是生命功能的执行者，其功能信息在很大程度上编码于氨基酸序列之中。过去，研究者依赖比对、保守基序和结构解析来理解序列；如今，语言模型提供了一条新的路径：把蛋白序列当作一种"语言"，让模型从海量序列中学习残基之间的统计依赖与进化约束。本课程关注的不是单纯训练一个模型，而是把这种建模范式变成可复现、可部署、可评估的工程系统，即蛋白序列语言模型工程。

一、课程目标：从范式理解到工程落地

本课程希望读者完成三件事。第一，理解蛋白序列作为语言的建模范式：为什么一段由 20 种氨基酸组成的序列可以被当作词序列处理，掩码语言建模（Masked Language Modeling, MLM）和自回归建模分别捕捉什么信息。第二，掌握工程化落地的全流程：数据获取与清洗、分词与词表构建、模型结构选择、预训练与微调、评估与部署。第三，能够针对具体任务选择合适的工具与策略，例如用嵌入做下游分类，或用生成模型设计新序列。

需要强调的是，蛋白序列语言模型并非"通用大模型"的简单套用。氨基酸词表只有约 20 多个符号，序列长度常在数百到数千之间，且进化数据中存在大量同源冗余。这些特点决定了数据去冗余、长度截断、位置编码方式等工程决策会显著影响结果。

二、蛋白序列作为语言的建模范式

把蛋白序列视为语言，核心假设是：自然选择在序列上留下了可学习的约束。一个残基的出现概率，取决于它所在的局部环境与整体结构需求。语言模型通过预测被遮蔽的残基或下一个残基，间接学到这些约束。

以一条示例序列片段为例：M K T A Y I A K Q R G H。若遮蔽第 5 位 Y，模型需要根据上下文 M K T A _ I A K Q R G H 推断最可能的残基。训练时，模型输出词表上每个氨基酸的概率分布，用交叉熵损失衡量预测与真实残基的差距。当模型在大量序列上反复优化后，其隐藏层表示就携带了残基级、片段级乃至全局的结构与功能线索。

两种主流范式各有侧重：掩码语言模型（如 ESM 系列）同时利用左右上下文，适合表示学习与结构预测；自回归模型（如 ProGen 系列）按从左到右的顺序生成，适合从头设计序列。工程上选择哪种，取决于任务是"理解"还是"生成"。

三、工程化落地全流程概览

上图给出了从序列数据到可用系统的四层结构。工程落地的关键不在于某一层"跑通"，而在于层与层之间的接口与反馈。

数据层是起点。以 UniProt 为例，下载 Swiss-Prot 或 TrEMBL 后，需要做去冗余（常用 CD-HIT，阈值如 0.5 表示序列相似度高于 50% 的聚为一类）、长度过滤（如保留 50–1024 个残基）、去除非常规字符（B、Z、X、U）。随后构建词表，通常包含 20 种标准氨基酸加若干特殊标记，如 <cls>、<pad>、<mask>、<eos>，词表大小约 25–30。

模型层需要做结构决策。以一个小型教学模型为例：6 层 Transformer 编码器，隐藏维度 320，注意力头 8 个，最大序列长度 512，参数量约 800 万。位置编码可选择可学习绝对位置或旋转位置编码（RoPE），后者在长序列外推上更稳健。

训练与微调阶段，预训练常用掩码比例 15%，学习率 1e-4 配合 warmup，批大小 32。观察指标包括训练损失、验证损失和掩码恢复准确率。若验证损失在若干轮后不再下降，可降低学习率或增加数据。下游任务微调时，可选择冻结编码器只训练分类头，或全参微调，前者适合小样本，后者适合数据较充足的任务。

应用与部署阶段，模型可导出为推理服务，输入序列返回嵌入向量或预测分数。常见应用包括：变体效应预测（比较突变前后嵌入距离或似然变化）、亚细胞定位与功能注释、以及基于生成模型的序列设计。

四、典型应用场景与工具生态

蛋白序列语言模型的应用大致分为三类。第一类是表示学习：用预训练模型提取每条序列的嵌入，作为下游分类器或回归器的输入，典型任务有酶功能分类、稳定性预测、变体致病性判断。第二类是结构相关预测：ESM-2 等模型的注意力图与嵌入可用于接触图预测，辅助结构建模。第三类是生成与设计：自回归模型可按条件生成新序列，用于抗体设计或酶改造。

工具生态方面，HuggingFace 的 transformers 库提供了 ESM、ProtBert 等模型的加载接口；fair-esm 是 Meta 官方实现；bio-embeddings 适合批量提取嵌入。数据侧常用 UniProt、Pfam、PDB 与 CATH。评估侧可借助 scikit-learn 计算 AUC、F1，或用 TM-score 评估结构预测质量。