4. 证据质量评估框架
在靶点优先级决策中,证据质量评估的核心任务不是给每条证据贴一个“好/坏”标签,而是把不同来源、不同设计、不同规模的证据折算到同一把可比较的尺子上。只有完成这种折算,遗传学证据、表达谱证据、功能实验证据和临床转化证据才能进入同一个决策矩阵,与可成药性、安全性、竞争格局等维度加权求和。本节围绕五个可量化维度展开:证据等级、偏倚风险、可重复性、样本量与效应量,并给出可落地的评分与合成方法。
一、五个维度的量化定义与评分锚点
证据等级回答“这类研究设计本身能支持多强的因果推断”,通常按人类遗传学证据、临床干预证据、动物模型、细胞功能实验、表达关联的顺序递减。偏倚风险回答“这项具体研究执行得是否可靠”,关注随机化、盲法、对照设置、混杂控制、选择性报告等。可重复性回答“同一结论在独立队列或独立实验室中是否被复现”。样本量回答“统计功效是否足以支撑所声称的效应”。效应量回答“生物学或临床影响的幅度是否具有决策意义”。
为了让评分可计算,建议每个维度统一采用 0~4 分制,并预先写死锚点,避免评审时随意打分。下表给出一套可直接使用的锚点示例(示例参数,需按机构实际校准):
| 维度 | 0 分 | 2 分 | 4 分 |
|---|---|---|---|
| 证据等级 | 仅表达相关性或数据库注释 | 细胞/动物功能实验 | 人类遗传学因果证据或临床干预验证 |
| 偏倚风险 | 无对照、无盲法、混杂明显 | 有对照但盲法或随机化不完整 | 随机、盲法、预注册、混杂受控 |
| 可重复性 | 仅单篇、无独立复现 | 同一实验室重复或部分独立复现 | ≥2 个独立队列/实验室一致复现 |
| 样本量 | n<10 或功效<0.5 | n=10~50 或功效 0.5~0.8 | n>50 或功效≥0.8 |
| 效应量 | 效应微弱且置信区间跨零 | 中等效应、方向一致 | 大效应且置信区间远离零 |
二、从原始证据到加权质量分
五个维度并非等权。在靶点决策中,证据等级和偏倚风险决定结论的“可信上限”,可重复性决定“稳健程度”,样本量与效应量决定“精度与影响幅度”。一种常用的加权方式是:证据等级 0.30、偏倚风险 0.25、可重复性 0.20、样本量 0.10、效应量 0.15,权重之和为 1。单条证据的质量分 Q 计算为:
Q = 0.30×等级分 + 0.25×(4−偏倚风险分) + 0.20×可重复性分
+ 0.10×样本量分 + 0.15×效应量分
说明:偏倚风险分越高代表风险越大,故用 (4−偏倚风险分) 转为“可信度”方向。
Q 的取值范围为 0~4,可再线性映射到 0~100 便于展示。
注意偏倚风险的方向约定:本文及图示中,偏倚风险原始分越高表示风险越大,进入 Q 计算前必须做方向翻转,否则会得到“偏倚越大质量越高”的错误结果。这是实际评审中最常见的符号错误,建议在评分表中固定一列“方向校正后得分”。
三、多证据合成:按证据类型分层再加权
一个靶点往往同时拥有多条证据。直接把所有证据的 Q 求平均会稀释强证据,也会让大量弱证据“堆量取胜”。更合理的做法是先按证据类型分层,层内取最大值或加权平均,再按层权重合成靶点总质量分 TQ:
层内合成:Q_layer = max(Q_i) 或 Σ(w_i×Q_i)/Σw_i
层间合成:TQ = Σ(W_layer × Q_layer)
示例层权重(示例,需按项目校准):
人类遗传学层 W=0.35
临床/干预层 W=0.25
动物模型层 W=0.20
细胞功能层 W=0.15
表达关联层 W=0.05
层内取 max 适合“只要有一条高质量证据即可支撑”的场景;层内加权平均适合“需要多条证据相互印证”的场景。两种策略应在项目启动时确定并写入评估 SOP,避免逐条讨论时反复切换标准。
四、可重复性的量化:独立复现计数与一致性
可重复性不能只写“有复现”,应记录独立复现次数、方向一致性和效应量一致性。一个可操作的量化方式是:独立复现次数 k,方向一致比例 p_dir,效应量相对偏差 d_rel。可重复性分 R 可定义为:
R = 4 × min(1, k/3) × p_dir × (1 − min(1, d_rel))
示例:k=2,p_dir=1.0,d_rel=0.25
R = 4 × (2/3) × 1.0 × 0.75 = 2.0
该公式的含义是:复现次数越多、方向越一致、效应量偏差越小,可重复性分越高。当 d_rel 超过 1(即复现效应量偏差超过 100%)时,R 直接归零,提示该证据不应进入高优先级讨论。
五、样本量与效应量的联合判读
样本量和效应量必须联合判读。小样本 + 大效应量常见于早期探索,容易因“赢家诅咒”高估效应;大样本 + 小效应量可能统计显著但缺乏决策意义。建议同时记录效应量及其 95% 置信区间,并计算统计功效。若置信区间跨零,即使 p 值显著,也应降低效应量评分。对于遗传学证据,可用 OR 或 beta 值及其置信区间;对于功能实验,可用标准化均值差或倍数变化。
六、把质量分接入靶点决策
得到 TQ 后,将其与可成药性、安全性、竞争格局等维度一起归一化到 0~100,再按决策权重合成靶点优先级分。质量分的作用是“调节置信度”:TQ 低于阈值的靶点,即使其他维度得分高,也应进入“待补证据”而非“立即推进”队列。建议设置两档阈值:TQ≥70 进入高置信推进;50≤TQ<70 进入有条件推进并列出补证清单;TQ<50 暂缓。
七、常见误用与校准建议
第一类误用是“以量取胜”:把大量低质量表达关联证据平均后得到中等质量分,掩盖了缺乏因果证据的事实。解决方式是分层合成,并给表达关联层设置较低权重上限。第二类误用是“忽略方向”:偏倚风险分未翻转直接进入 Q,导致高风险研究反而得分更高。第三类误用是“只看 p 值不看效应量”:大样本下微小效应也可能显著,但缺乏决策意义,应结合置信区间和最小临床/生物学重要差异判断。
校准建议:每完成 10~15 个靶点的评估后,回看 TQ 与实际推进结果的一致性,调整层权重和阈值。若发现 TQ 高的靶点频繁在后续验证中失败,应提高人类遗传学层和临床干预层的权重,或降低动物模型层的权重。校准过程应记录版本号,确保不同批次评估使用同一套参数。
综上,证据质量评估的可量化路径是:为五个维度设定 0~4 分锚点,按固定权重合成单条证据质量分 Q,再按证据类型分层合成靶点总质量分 TQ,最后用阈值把 TQ 映射为推进、有条件推进或暂缓。整个过程的关键在于方向约定一致、权重预先固定、复现与效应量联合判读,以及定期用实际结果校准参数。