4. 证据质量评估框架

在靶点优先级决策中,证据质量评估的核心任务不是给每条证据贴一个“好/坏”标签,而是把不同来源、不同设计、不同规模的证据折算到同一把可比较的尺子上。只有完成这种折算,遗传学证据、表达谱证据、功能实验证据和临床转化证据才能进入同一个决策矩阵,与可成药性、安全性、竞争格局等维度加权求和。本节围绕五个可量化维度展开:证据等级、偏倚风险、可重复性、样本量与效应量,并给出可落地的评分与合成方法。

一、五个维度的量化定义与评分锚点

证据等级回答“这类研究设计本身能支持多强的因果推断”,通常按人类遗传学证据、临床干预证据、动物模型、细胞功能实验、表达关联的顺序递减。偏倚风险回答“这项具体研究执行得是否可靠”,关注随机化、盲法、对照设置、混杂控制、选择性报告等。可重复性回答“同一结论在独立队列或独立实验室中是否被复现”。样本量回答“统计功效是否足以支撑所声称的效应”。效应量回答“生物学或临床影响的幅度是否具有决策意义”。

为了让评分可计算,建议每个维度统一采用 0~4 分制,并预先写死锚点,避免评审时随意打分。下表给出一套可直接使用的锚点示例(示例参数,需按机构实际校准):

维度0 分2 分4 分
证据等级仅表达相关性或数据库注释细胞/动物功能实验人类遗传学因果证据或临床干预验证
偏倚风险无对照、无盲法、混杂明显有对照但盲法或随机化不完整随机、盲法、预注册、混杂受控
可重复性仅单篇、无独立复现同一实验室重复或部分独立复现≥2 个独立队列/实验室一致复现
样本量n<10 或功效<0.5n=10~50 或功效 0.5~0.8n>50 或功效≥0.8
效应量效应微弱且置信区间跨零中等效应、方向一致大效应且置信区间远离零

二、从原始证据到加权质量分

五个维度并非等权。在靶点决策中,证据等级和偏倚风险决定结论的“可信上限”,可重复性决定“稳健程度”,样本量与效应量决定“精度与影响幅度”。一种常用的加权方式是:证据等级 0.30、偏倚风险 0.25、可重复性 0.20、样本量 0.10、效应量 0.15,权重之和为 1。单条证据的质量分 Q 计算为:

Q = 0.30×等级分 + 0.25×(4−偏倚风险分) + 0.20×可重复性分
    + 0.10×样本量分 + 0.15×效应量分

说明:偏倚风险分越高代表风险越大,故用 (4−偏倚风险分) 转为“可信度”方向。
Q 的取值范围为 0~4,可再线性映射到 0~100 便于展示。

注意偏倚风险的方向约定:本文及图示中,偏倚风险原始分越高表示风险越大,进入 Q 计算前必须做方向翻转,否则会得到“偏倚越大质量越高”的错误结果。这是实际评审中最常见的符号错误,建议在评分表中固定一列“方向校正后得分”。

三、多证据合成:按证据类型分层再加权

一个靶点往往同时拥有多条证据。直接把所有证据的 Q 求平均会稀释强证据,也会让大量弱证据“堆量取胜”。更合理的做法是先按证据类型分层,层内取最大值或加权平均,再按层权重合成靶点总质量分 TQ:

层内合成:Q_layer = max(Q_i) 或 Σ(w_i×Q_i)/Σw_i
层间合成:TQ = Σ(W_layer × Q_layer)

示例层权重(示例,需按项目校准):
  人类遗传学层   W=0.35
  临床/干预层    W=0.25
  动物模型层     W=0.20
  细胞功能层     W=0.15
  表达关联层     W=0.05

层内取 max 适合“只要有一条高质量证据即可支撑”的场景;层内加权平均适合“需要多条证据相互印证”的场景。两种策略应在项目启动时确定并写入评估 SOP,避免逐条讨论时反复切换标准。

四、可重复性的量化:独立复现计数与一致性

可重复性不能只写“有复现”,应记录独立复现次数、方向一致性和效应量一致性。一个可操作的量化方式是:独立复现次数 k,方向一致比例 p_dir,效应量相对偏差 d_rel。可重复性分 R 可定义为:

R = 4 × min(1, k/3) × p_dir × (1 − min(1, d_rel))

示例:k=2,p_dir=1.0,d_rel=0.25
R = 4 × (2/3) × 1.0 × 0.75 = 2.0

该公式的含义是:复现次数越多、方向越一致、效应量偏差越小,可重复性分越高。当 d_rel 超过 1(即复现效应量偏差超过 100%)时,R 直接归零,提示该证据不应进入高优先级讨论。

五、样本量与效应量的联合判读

样本量和效应量必须联合判读。小样本 + 大效应量常见于早期探索,容易因“赢家诅咒”高估效应;大样本 + 小效应量可能统计显著但缺乏决策意义。建议同时记录效应量及其 95% 置信区间,并计算统计功效。若置信区间跨零,即使 p 值显著,也应降低效应量评分。对于遗传学证据,可用 OR 或 beta 值及其置信区间;对于功能实验,可用标准化均值差或倍数变化。

实操建议:在评估表中为每条证据保留“原始效应量、置信区间、样本量、功效、独立复现次数”五个字段。缺少任一字段时,对应维度不得给满分,并在备注中标注“信息不足”。

六、把质量分接入靶点决策

得到 TQ 后,将其与可成药性、安全性、竞争格局等维度一起归一化到 0~100,再按决策权重合成靶点优先级分。质量分的作用是“调节置信度”:TQ 低于阈值的靶点,即使其他维度得分高,也应进入“待补证据”而非“立即推进”队列。建议设置两档阈值:TQ≥70 进入高置信推进;50≤TQ<70 进入有条件推进并列出补证清单;TQ<50 暂缓。

证据质量评估框架:五维度 → 加权质量分 → 靶点决策 证据等级 权重 0.30 偏倚风险 权重 0.25(需翻转) 可重复性 权重 0.20 样本量 权重 0.10 效应量 权重 0.15 单条证据质量分 Q Q = Σ(权重 × 校正分) 范围 0~4 → 映射 0~100 按证据类型分层合成 人类遗传学层 W=0.35 临床/干预层 W=0.25 动物模型层 W=0.20 细胞功能层 W=0.15 表达关联层 W=0.05 靶点总质量分 TQ TQ = Σ(W×Q_layer) TQ ≥ 70:高置信推进 进入优先级排序与立项讨论 50 ≤ TQ < 70:有条件推进 列出补证清单,限期补齐 TQ < 50:暂缓 不进入本轮资源分配 注:权重与阈值为示例参数,需按机构决策偏好校准;偏倚风险进入 Q 前必须做方向翻转。

七、常见误用与校准建议

第一类误用是“以量取胜”:把大量低质量表达关联证据平均后得到中等质量分,掩盖了缺乏因果证据的事实。解决方式是分层合成,并给表达关联层设置较低权重上限。第二类误用是“忽略方向”:偏倚风险分未翻转直接进入 Q,导致高风险研究反而得分更高。第三类误用是“只看 p 值不看效应量”:大样本下微小效应也可能显著,但缺乏决策意义,应结合置信区间和最小临床/生物学重要差异判断。

校准建议:每完成 10~15 个靶点的评估后,回看 TQ 与实际推进结果的一致性,调整层权重和阈值。若发现 TQ 高的靶点频繁在后续验证中失败,应提高人类遗传学层和临床干预层的权重,或降低动物模型层的权重。校准过程应记录版本号,确保不同批次评估使用同一套参数。

不要把质量分当作“真/假”判决。TQ 只表示当前证据集合的可信程度与稳健程度,它随新证据加入而更新。任何靶点决策都应标注评估日期与证据截止日期,避免用过期分数做长期承诺。

综上,证据质量评估的可量化路径是:为五个维度设定 0~4 分锚点,按固定权重合成单条证据质量分 Q,再按证据类型分层合成靶点总质量分 TQ,最后用阈值把 TQ 映射为推进、有条件推进或暂缓。整个过程的关键在于方向约定一致、权重预先固定、复现与效应量联合判读,以及定期用实际结果校准参数。