4. 临床验证与统计验证的区分

在数字终点(Digital Endpoint)的开发过程中,“验证”一词经常被泛化使用,导致团队在沟通时出现歧义:算法工程师说“模型已经验证过了”,临床运营同事理解为“可以用于注册申报”,而统计师则担心“验证”是否覆盖了预设假设的检验。要避免这种错位,必须把分析验证(Analytical Validation)、临床验证(Clinical Validation)与统计验证(Statistical Validation)三件事分开定义,再用验证层级(V1–V3)框架把它们串成一条可追溯的证据链。

三个“验证”各自回答什么问题

分析验证回答的是“测量本身是否可靠”。它关注数字终点所依赖的传感器、算法或信号处理链,在受控条件下能否稳定、准确、可重复地输出目标量。典型指标包括:与参考标准的偏差(bias)、一致性界限(LoA)、组内/组间重复性、最低可检测变化(MDC)、对运动伪影或信号丢失的鲁棒性。例如某可穿戴设备以步态速度作为数字终点,分析验证需要说明:在固定步行距离下,设备估计速度与实验室光学动作捕捉的差值均值是否接近 0,95% 一致性界限是否落在临床可接受范围内,以及同一受试者重复测量时变异是否小于预设阈值。

临床验证回答的是“这个测量在目标人群中是否具有临床意义”。它把数字终点与临床结局、疾病严重度、治疗反应或患者报告结局建立关联,证明该终点能区分“有临床意义的变化”和“噪声”。临床验证通常需要前瞻性队列或干预性研究,关注的是敏感度、特异度、阳性/阴性预测值、与金标准结局的关联强度,以及在不同亚组(年龄、性别、疾病分期、合并症)中的表现是否稳定。

统计验证回答的是“证据是否足以支持结论”。它不直接评价设备或临床关联,而是评价研究设计、估计量、假设检验和不确定性量化是否成立。统计验证关注:样本量是否基于目标效应量和变异估计、缺失数据与重复测量的处理模型、多重比较控制、置信区间与显著性检验的一致性、以及预设分析计划是否被严格执行。统计验证的产物是“可辩护的推断”,而不是“设备好用”或“临床有用”的结论。

V1–V3 验证层级框架

把上述三类验证映射到开发阶段,可以形成 V1–V3 层级:

  • V1(分析验证层):确认数字终点的测量性能。输入是原始信号与参考标准,输出是偏差、一致性界限、重复性、MDC 等参数。V1 未通过,后续临床与统计验证都缺乏意义。
  • V2(临床验证层):确认数字终点与临床结局的关联。输入是目标人群的纵向测量与临床评估,输出是关联强度、判别能力、亚组一致性。V2 决定该终点能否作为临床获益的替代或补充指标。
  • V3(统计验证层):确认证据链的推断有效性。输入是 V1/V2 的数据结构、缺失机制、重复测量设计,输出是估计量、置信区间、检验结果与敏感性分析。V3 决定结论能否被监管和同行接受。

三层不是简单串行,而是存在反馈:V2 中发现某亚组关联弱,可能需要回到 V1 检查该亚组下测量误差是否更大;V3 中发现缺失比例过高,可能需要调整 V2 的随访设计或补充分析。因此,验证层级框架的价值在于把“设备性能—临床意义—统计推断”三条证据线显式分开,再通过预设的接受标准连接起来。

数字终点验证层级:V1 分析 → V2 临床 → V3 统计 三层证据链各自回答不同问题,并通过接受标准与反馈回路连接 V1 分析验证 问题:测量是否可靠? • 偏差 / 一致性界限 LoA • 重复性 / 再现性 • 最低可检测变化 MDC • 信号丢失 / 伪影鲁棒性 V2 临床验证 问题:是否有临床意义? • 与金标准结局关联 • 敏感度 / 特异度 / 预测值 • 治疗反应区分能力 • 亚组一致性 V3 统计验证 问题:推断是否成立? • 样本量与效应量假设 • 缺失数据 / 重复测量模型 • 置信区间 / 检验一致性 • 预设分析计划执行 通过 通过 亚组误差偏大 → 回查 V1 缺失过多 → 调整 V2 随访 预设接受标准:把三层证据链连接起来 V1 接受标准 LoA 在临床可接受范围内 V2 接受标准 关联强度与判别力达标 V3 接受标准 推断有效且敏感性分析稳健

在数字终点开发中的落地方式

以一个“基于可穿戴设备的夜间 scratch 计数”作为数字终点为例,说明三层验证如何具体展开。V1 阶段,团队在睡眠实验室同步采集设备加速度信号与红外视频作为参考标准,对 30 名受试者各记录 3 晚。分析验证报告给出:设备计数与视频计数的平均偏差为 −1.2 次/小时,95% 一致性界限为 [−4.8, 2.4] 次/小时;同一受试者跨夜重复测量的组内相关系数 ICC = 0.86;MDC 估计为 3.5 次/小时。若预设的临床可接受界限为 ±5 次/小时,则 V1 通过。

V2 阶段,团队在 120 例特应性皮炎患者中开展 8 周前瞻性观察,同步采集设备 scratch 计数、研究者整体评估(IGA)和瘙痒数字评分(NRS)。临床验证关注:基线 scratch 计数与 IGA 的 Spearman 相关系数是否显著;第 8 周 scratch 计数变化量能否区分 IGA 改善 ≥2 分与 <2 分两组,报告 AUC 与敏感度/特异度;并按疾病严重度分层检查关联是否一致。若 AUC 达到预设的 0.75 且各亚组方向一致,则 V2 通过。

V3 阶段,统计师需要确认:样本量是否基于 V1 的 MDC 和 V2 预期的效应量计算;重复测量是否采用混合效应模型或广义估计方程处理个体内相关;缺失的夜间数据是否按预设的“可评估夜数 ≥ 70%”规则处理,并做完整案例分析、多重插补和模式混合模型三种敏感性分析;主要关联检验是否控制多重比较。若主要估计量的 95% 置信区间不包含无效值,且敏感性分析结论方向一致,则 V3 通过。

常见误区:把 V1 的“算法准确率高”直接当作 V2 的“临床有效”,或把 V2 的“显著相关”直接当作 V3 的“推断可靠”。三层验证的接受标准必须在研究启动前预设,并在方案中写明,避免事后选择有利指标。

三层验证的边界与衔接

分析验证、临床验证和统计验证并非彼此替代,而是各自承担不同的证据责任。V1 的产物是测量性能参数,V2 的产物是临床关联证据,V3 的产物是推断有效性。数字终点开发中,最容易被忽视的是 V1 与 V2 之间的“可接受误差”衔接:如果 V1 的 MDC 大于 V2 中期望检测的治疗效应,那么即使统计显著,也无法在个体层面判断真实变化。因此,在 V2 设计阶段就应把 V1 的 MDC 与目标效应量并列比较,必要时调整采样频率、佩戴时长或算法版本。

同样,V2 与 V3 之间需要衔接“缺失机制”与“重复测量结构”。数字终点常产生高频纵向数据,缺失往往与疾病状态相关(如症状加重时不愿佩戴),若 V3 仍按完全随机缺失处理,会高估关联。此时应在 V2 阶段就记录缺失原因,并在 V3 中采用可解释缺失的模型。三层验证框架的真正价值,是让每个团队清楚自己负责哪一层证据、需要向下一层交付什么参数,以及当下一层发现异常时应该回到哪一层修正。