3. 评估指标体系总览
药物研发中的多模态模型往往同时承担多种任务：预测化合物是否具有活性（分类）、预测连续理化或药代参数（回归）、对候选分子或靶点进行优先级排序（排序）、生成新分子结构或描述（生成）、从海量文献或数据库中检索相似证据（检索）。不同任务的目标函数与误差结构完全不同，用错指标会直接导致模型选择偏差。本节按任务类型梳理常用指标的定义、计算逻辑与在药物研发场景中的适用边界。
一、分类任务：AUC、PR-AUC、F1 与 MCC
分类任务在药物研发中极为常见，例如“该化合物是否对靶点有活性”“该分子是否具有肝毒性”。最常用的指标是 AUC-ROC（ROC 曲线下面积），它衡量模型在所有阈值下区分正负样本的能力，取值 0.5 表示随机，1.0 表示完美。AUC 的优点是阈值无关、对类别不平衡相对稳健，因此在虚拟筛选早期被广泛使用。
但当正样本极度稀少时（例如百万级化合物库中只有几百个活性分子，正负比可达 1:1000），AUC 会被大量真负样本“稀释”，显得虚高。此时应优先看 PR-AUC（精确率-召回率曲线下面积），它只关注正类，对不平衡更敏感。经验上，当正样本比例低于 5% 时，PR-AUC 比 AUC 更能反映实际筛选价值。此外，F1 是精确率与召回率的调和平均，适合需要平衡误报与漏报的场景；MCC（马修斯相关系数）同时考虑 TP、TN、FP、FN，取值 -1 到 1，在类别不平衡时比 F1 更稳健，是药物毒性预测中值得推荐的补充指标。
二、回归任务：RMSE、MAE、R² 与 Spearman
回归任务预测连续值，如 pIC50、logP、清除率、半衰期。最直观的是 RMSE（均方根误差），它对大误差敏感，单位与目标一致；MAE（平均绝对误差）对异常值更稳健。两者都依赖目标值的量纲，跨数据集比较时需谨慎。
R² 表示模型解释的方差比例，但它在测试集上可能为负，且对非线性关系不敏感。药物研发中更常关注排序一致性，因为决策往往是“哪些分子优先做实验”，而非精确预测数值。此时 Spearman 秩相关系数比 Pearson 更合适，它衡量预测值与真实值的单调关系，对异常值和单调非线性变换不敏感。例如在 ADMET 预测中，若模型对前 100 个分子的排序与真实活性排序 Spearman 达到 0.7，即使 RMSE 略高，也仍具实用价值。
三、排序与检索任务：Top-k、NDCG、Recall@k、MRR
排序任务的目标是把最相关的对象排在前面，常见于靶点优先级排序、化合物库排序、文献证据检索。Top-k 准确率统计前 k 个结果中包含真实正例的比例；Recall@k 关注前 k 个结果覆盖了多少真实相关项；NDCG（归一化折损累计增益）对位置敏感，越靠前的相关结果权重越高，适合多级相关性；MRR（平均倒数排名）关注第一个相关结果出现的位置，适合“找一个最佳答案”的检索场景。
在药物研发中，Top-k 和 Recall@k 最贴近实际：实验资源有限，研究者只关心排名最靠前的少量候选。若 k=50，Recall@50 达到 0.8，意味着 80% 的真实活性分子进入了前 50 名，这比整体 AUC 更有决策意义。NDCG 适合有分级相关性（如强/中/弱活性）的排序；MRR 适合靶点-疾病关联检索。
四、生成任务：FID、BLEU、ROUGE、有效性/唯一性/新颖性
生成任务包括分子生成、反应预测、文本描述生成。FID（Fréchet Inception Distance）原本用于图像生成，衡量生成分布与真实分布的距离，越低越好；在分子生成中可类比使用分子指纹或描述符分布距离。BLEU 和 ROUGE 基于 n-gram 重叠，常用于反应预测或分子描述生成，但 BLEU 对分子结构合法性不敏感，不能单独作为评价依据。
分子生成必须补充有效性（生成分子能否被化学解析）、唯一性（去重后比例）、新颖性（与训练集不重复的比例）以及合成可及性（SA score）。一个 BLEU 很高但有效性只有 60% 的模型，实际不可用。因此生成任务应组合使用分布距离指标与化学约束指标。
五、指标选择与适用边界总览
下图按任务类型梳理了常用指标、核心关注点与药物研发中的典型适用边界，帮助在模型评估时快速定位应优先关注的指标组合。
六、组合使用与常见误区
实际评估中，单一指标往往产生误导。例如一个分子生成模型 BLEU 达到 0.85，但有效性仅 55%，说明它只是“模仿”了训练集的文本模式，并未学会化学语法。又如一个活性分类模型 AUC 为 0.92，但 PR-AUC 仅 0.31，说明在正样本稀少时它并没有真正把活性分子排到前面。因此建议每个任务至少组合 2–3 个互补指标：分类用 AUC + PR-AUC + MCC；回归用 RMSE + Spearman；排序用 Recall@k + NDCG；生成用 FID + 有效性 + 新颖性；检索用 Recall@k + MRR。
另一个常见误区是跨任务直接比较指标数值。AUC 0.9 与 Spearman 0.9 含义完全不同，不能因为数值相同就认为模型表现相当。评估报告应明确标注任务类型、数据集正负比、目标值分布和阈值设定，否则指标本身无法被正确解读。
七、面向药物研发的指标选择速查
| 任务类型 | 首选指标 | 补充指标 | 典型药物研发场景 |
|---|---|---|---|
| 分类 | PR-AUC（不平衡时） | AUC、MCC | 虚拟筛选、毒性预测 |
| 回归 | RMSE | Spearman、MAE | pIC50、logP、清除率预测 |
| 排序 | Recall@k | NDCG、Top-k 准确率 | 靶点优先级、化合物库排序 |
| 生成 | 有效性 + 新颖性 | FID、BLEU、SA score | 分子生成、反应预测 |
| 检索 | Recall@k | MRR、NDCG | 文献证据检索、相似分子搜索 |
最后需要强调：指标是评估的“仪表盘”，不是目标本身。药物研发的最终目标是找到可合成、有活性、安全性可接受的候选分子。因此任何指标组合都应保留一个“化学与生物学合理性”的人工复核环节，避免模型在指标上表现优异却在实验验证中失败。