1. 药物研发多模态模型评估工程导论

药物研发正在从“单一数据源驱动”转向“多模态证据驱动”。一个候选分子的性质，既写在它的SMILES或分子图里，也藏在细胞图像的表型变化中，还体现在专利与文献的文本描述、以及转录组/蛋白组的组学响应里。多模态模型的价值，正是把这些异构信号联合起来，用于靶点发现、虚拟筛选、毒性预测、适应症拓展等任务。但模型“能跑通”不等于“可信”：评估工程要回答的是——它在什么条件下可信、在哪些边界上会失效、失效的代价由谁承担。

课程定位：评估工程是模型开发的一部分

本课程把评估工程视为与数据、建模并列的一等公民，而不是训练结束后的“打分环节”。传统做法常把评估压缩成一个指标数字，例如AUC或RMSE；而在药物研发场景中，一个数字无法覆盖决策风险。评估工程的核心产出包括：可复现的评估协议、分层的数据切分、面向任务的指标体系、失效模式清单，以及可追溯的评估报告。它服务于三类读者：模型开发者需要知道下一轮迭代改什么；项目决策者需要知道能否推进到湿实验；合规与质量人员需要知道结论是否可审计。

评估工程与模型开发的关系可以概括为“共同设计、交替推进”。在建模早期，评估定义问题边界与数据要求；在建模中期，评估暴露捷径学习与分布偏移；在建模后期，评估决定是否冻结版本、是否进入实验验证。若把评估放在最后，往往只能得到“事后解释”，无法反向约束模型设计。

核心挑战：多模态带来的四类评估难题

第一是模态异质与对齐。分子图是拓扑结构，文本是离散序列，图像是连续像素，组学是高维稀疏向量，它们的尺度、噪声结构和缺失模式完全不同。评估时必须明确：模态是早期融合、晚期融合还是交叉注意力融合？对齐是样本级、患者级还是批次级？对齐错误会直接污染指标。

第二是数据泄漏与捷径。药物研发数据常按时间、批次、实验室或患者划分。若随机切分，同一化合物的相似物可能同时出现在训练与测试集，导致指标虚高。更隐蔽的捷径包括：模型利用批次效应、试剂批号、图像采集设备差异，而非真实生物学信号。

第三是分布偏移与外部有效性。训练集来自某类靶点家族或某几种细胞系，测试集换到新靶点、新组织或新物种时，性能可能骤降。评估需要设计“留出族”“留出支架”“留出时间”等切分，并报告置信区间与样本量。

第四是决策代价不对称。把有毒分子预测为安全，代价远高于把安全分子预测为有毒。因此评估指标必须与决策阈值、代价矩阵绑定，而不是只看排序指标。

典型多模态场景与评估失败案例

场景一：分子-文本。输入分子结构与专利/文献描述，输出活性或适应症预测。失败案例：模型在测试集上AUC很高，但实际是记住了文献中频繁出现的“化合物编号”与标签的共现关系；一旦换一批编号规则，性能崩塌。评估对策是遮蔽或替换文本中的标识符，并做反事实测试。

场景二：分子-图像。输入化合物处理后的细胞显微图像，输出毒性或表型类别。失败案例：不同剂量组的图像在亮度、焦距上有系统差异，模型学会了按“拍摄批次”分类，而非按生物学效应。评估对策是按批次分层评估，并报告批次内与跨批次性能。

场景三：分子-组学。输入化合物与转录组响应，输出作用机制或脱靶风险。失败案例：训练集与测试集来自同一实验批次，模型利用了批次校正前的技术噪声；外部验证时相关性接近随机。评估对策是强制按批次/时间切分，并引入阴性对照化合物。

场景四：文本-图像-组学。用于患者分层或药物重定位。失败案例：缺失模态被简单填充为零，模型在缺失率高的子群上表现极差，但整体指标被多数完整样本掩盖。评估对策是分缺失模式报告性能，并做缺失鲁棒性测试。

评估工程的最小可执行闭环

把上述挑战落到可操作层面，一个评估闭环至少包含五件事。第一，定义决策问题：模型输出将触发什么动作？是进入下一轮合成，还是进入动物实验？不同动作对应不同代价。第二，固定切分协议：按化合物骨架、靶点家族、时间或批次切分，并保留一个从未参与任何调参的外部测试集。第三，选择指标组合：排序指标（AUC、PR-AUC）看区分度，校准指标（ECE、Brier）看概率可信度，决策指标（在给定阈值下的召回率、误报代价）看实际收益。第四，设计失效探针：包括标签置换测试、模态遮蔽测试、批次交换测试、反事实文本替换。第五，输出可追溯报告：记录数据版本、切分种子、模型哈希、指标置信区间与已知失效模式。

常见误区与检查清单

• 只报告单一指标，不报告置信区间与样本量。
• 用随机切分处理存在相似物或批次结构的数据。
• 在测试集上反复调阈值或选模型，导致测试集泄漏。
• 忽略缺失模态，把缺失填充当作无信息处理。
• 不记录数据版本与预处理参数，导致结果不可复现。