评估指标基础:为什么需要评估指标、评估的层次与核心概念
做基因组注释评估,说白了就是要回答一个问题:“你手里的注释到底靠不靠谱?”我见过不少团队把注释跑完就交差,结果下游分析全崩了——基因表达量算错、突变检测漏掉、功能富集全是假阳。嗯,这种事经历一次就会明白,评估指标不是摆设,是保命符。
为什么需要评估指标?
你可能觉得:注释对了就是对了,错了就是错了,搞那么多指标干嘛?其实没那么简单。
- 没有指标就没有基准——不同工具、参数、数据库版本产出的注释,你拿什么比?凭感觉吗?
- 误差会传导——基因水平错一个碱基,转录本水平可能整个isoform就丢了,功能水平更是连锁反应。我曾在某个项目中因为注释质量没把关,后续的差异表达分析多出了两千多个“假阳性基因”,查了三天才发现是注释里混了太多非编码片段。
- 资源有限,效率优先——你不可能把所有错误都修完,指标帮你找出最致命的问题。
一句话总结:评估指标是你判断注释是否可用的“体检报告”,没有它,你就在闭眼开车。
评估的层次:基因水平、转录本水平、功能水平
我个人习惯把这三级拆开来看,因为它们对应的错误类型完全不同。你想想看,基因水平对上了,不代表转录本拼接就没毛病;转录本对了,功能注释还可能牛头不对马嘴。
| 评估层次 | 关注点 | 常见问题 |
|---|---|---|
| 基因水平 | 基因边界、外显子-内含子结构是否正确 | 基因缺失、错误融合、边界偏移 |
| 转录本水平 | 剪接模式、转录本数量、可变剪接是否准确 | 冗余转录本、丢失主要isoform、剪接位点错误 |
| 功能水平 | 基因功能注释(GO、KEGG等)是否与序列一致 | 功能误判、DOMAIN冲突、过时注释 |
我曾经接过一个植物基因组项目,基因水平评估看起来满分,结果转录本水平一测——80%的转录本长度和参考转录组对不上。后来发现是注释工具默认参数把很多内含子当成外显子拼接了。所以千万别只做一个层次就收工。
常见概念:TP、FP、TN、FN
这些概念是评估的基础中的基础。说白了,就是把你的注释结果和标准答案(参考注释 or 人工验证)做对比。
- 真阳性 (TP) ——你标注了这个基因/转录本,标准也说有。两边一致,对的。
- 假阳性 (FP) ——你标注了,标准说没有。说白了就是“你多报了”。
- 真阴性 (TN) ——你没标注,标准也说没有。这个在很多评估里被忽略,但它代表你“没犯错”的区域有多大。
- 假阴性 (FN) ——你没标注,标准说有。这是最致命的——漏掉了真实存在的基因或转录本。
注意:在转录本水平的评估中,TN定义比较模糊(因为基因组上没基因的区域太多),通常我们只算TP、FP、FN。但基因水平评估里TN可以帮助你计算特异度,别漏掉。
举个例子。假设我的参考基因组有100个真实基因,我的注释预测了120个基因。对比后发现:
- 80个和参考匹配(TP)
- 40个参考中没有(FP)
- 20个参考中有但没被我预测到(FN)
- 剩下的区域(真阴性)可以算出:基因组总基因区域 - 已注释区域,不过一般我们不直接提这个数。
评估结果:
真实基因数 = 100
预测基因数 = 120
TP = 80
FP = 40
FN = 20
TN = 很大(不做具体计算,但知道就行)
常用指标:
敏感度(Recall) = TP / (TP + FN) = 80/100 = 0.8
精确度(Precision) = TP / (TP + FP) = 80/120 ≈ 0.667
F1-score = 2 * (Precision * Recall) / (Precision + Recall) ≈ 0.727
避坑指南:我曾经在评估一个细菌基因组时,把FP定义搞混了,结果Precision算出来0.95,实际上因为参考注释本身不完整,那些“FP”其实是新基因。所以评估前先确认参考注释的完整性,否则指标会骗人。
最后,这三个概念不是孤立的。基因水平TP不一定对应转录本水平TP——基因框对了,但剪接模式错了,转录本水平就是FP或者FN。功能水平更是如此,一个基因注释成“DNA修复”但实际功能是“转录调控”,这在功能评估层面就是一个明确的FP。
有了这些基础概念,你就可以开始用实际指标量化注释质量了。下一层我们需要聊的是精确度、召回率和F1这几个最常用的指标,以及它们在不同层次的实际应用差异。但那是后面的事,先把TP/FP/TN/FN刻在脑子里——它们是你评估路上的“地基”。