3. 临床数据质量维度与清洗目标
临床研究数据清洗不是“把空值填上、把异常值删掉”这么简单。它首先要回答一个更根本的问题:什么样的数据才算“干净”?在受试者入组、随访、实验室检查、不良事件记录、合并用药、终点判定等环节中,数据质量可以从六个维度来刻画——完整性、准确性、一致性、及时性、唯一性、合规性。这六个维度不是并列的口号,而是六类可被程序化检查、可被量化、可被追溯的约束条件。清洗目标,就是把原始数据逐步收敛到同时满足这六类约束的状态。
下面先给出六维度的定义与典型检查对象,再说明每个维度对应的自动化检查策略,最后用一张关系图把“维度—检查—处置”串起来。
一、完整性:字段、访视、受试者三层都不能缺
完整性关注“该有的数据有没有”。它至少分三层:字段级(某一行某列是否为空)、访视级(某次计划访视是否整页缺失)、受试者级(某受试者是否缺少关键终点或安全性数据)。例如,某受试者已入组并分配随机号,但基线表、首次给药记录、第1周期实验室检查全部为空,这属于受试者级完整性缺陷,而不是简单的空值。
自动化检查策略:对每个字段配置“必填/条件必填”规则,条件必填用表达式描述,如“若 AE 严重程度=3级,则 AE 开始日期、处理措施、转归必填”。访视级完整性用“计划访视表”与“实际访视表”做左连接,输出缺失访视清单。受试者级完整性则按关键变量集合(随机号、知情同意日期、主要终点、SAE 标志)做非空计数,低于阈值即告警。检查结果应输出到“缺失清单”,包含受试者编号、访视、字段名、缺失类型、是否条件必填,便于数据管理员逐条跟进。
二、准确性:值域、逻辑、医学合理性三重校验
准确性关注“填进去的值对不对”。它不等于“非空”,而是要求值在允许范围内、符合变量间逻辑、符合医学常识。常见检查包括:值域检查(性别只能取 M/F/未知;年龄 0–120)、格式检查(日期符合 YYYY-MM-DD,且为真实日期)、逻辑检查(知情同意日期 ≤ 首次给药日期 ≤ 访视日期;AE 开始日期不早于首次给药)、医学合理性检查(收缩压 60–250 mmHg,舒张压 30–150 mmHg,且收缩压 ≥ 舒张压;体重 20–300 kg)。
自动化策略:把上述规则写成可执行的校验表达式,逐行求值,命中即生成“质疑(Query)”。质疑应带严重级别:硬错误(如日期格式非法、随机号重复)必须修正;软警告(如血压 180/110 但无高血压病史)需人工确认。示例:某受试者体重记录为 780 kg,规则“20 ≤ 体重 ≤ 300”命中,系统生成质疑“体重超出合理范围,请核实单位是否为 kg”。数据管理员核对原始病历后,若确为 78.0 kg,则修正并关闭质疑;若为录入错误,则回退到源数据修正。
三、一致性:跨字段、跨访视、跨表单必须自洽
一致性关注“同一事实在不同地方是否说法一致”。典型场景:出生日期与年龄不一致;AE 结束日期早于开始日期;访视日期早于知情同意日期;同一受试者在不同表单中的性别、出生日期不同;合并用药剂量单位与频次不匹配。一致性检查往往需要跨表连接,比单表值域检查更复杂。
自动化策略:建立“一致性规则库”,每条规则声明参与比较的字段、比较运算符和容差。例如“年龄 = floor((知情同意日期 − 出生日期)/365.25)”,容差 ±1 岁;若偏差超过 1 岁,生成质疑。跨访视检查可用“受试者—访视”宽表,比较相邻访视的关键变量是否发生不合理跳变,如体重在 7 天内变化超过 10% 且无原因记录,则提示核实。一致性检查的输出应包含冲突字段、两侧取值、规则编号,方便定位。
四、及时性:数据到达与质疑关闭都要有时限
及时性关注“数据是否在可接受的时间窗内到达并完成清理”。临床研究中,数据延迟会直接影响安全监测和期中分析。及时性通常用两个指标衡量:数据录入延迟(访视日期到数据录入日期的天数)和质疑关闭周期(质疑生成到关闭的天数)。例如,方案要求访视后 5 个工作日内完成录入,质疑 10 个工作日内关闭。
自动化策略:每日运行“超期未录入”和“超期未关闭质疑”报表,按中心、受试者、访视维度汇总。对超过阈值的记录自动升级提醒。及时性检查不修改数据本身,但驱动清理流程的节奏,是数据管理计划(DMP)中的关键运营指标。
五、唯一性:受试者、访视、记录都不能重复
唯一性关注“同一条记录是否被重复表达”。常见问题:同一受试者被分配两个随机号;同一访视被录入两次;同一 AE 在两张表单中重复记录;实验室检查同一标本产生两条结果。唯一性缺陷会直接导致统计人群偏大或事件计数偏高。
自动化策略:对受试者级用随机号、筛选号做唯一性约束;对访视级用“受试者编号 + 访视名称 + 访视日期”做组合唯一键;对记录级用业务主键(如 AE 编号、用药编号)去重。检查时先做精确匹配,再做模糊匹配(如姓名拼音、出生日期、性别组合)识别潜在重复受试者。命中后输出重复组,由数据管理员判断保留哪条、作废哪条,并保留审计痕迹。
六、合规性:隐私、权限、审计与法规要求
合规性关注“数据处理过程是否符合法规与方案要求”。它包括:直接标识符是否被去标识化或加密;访问是否按角色最小权限控制;所有修改是否留有审计追踪(谁、何时、改了什么、为什么);数据导出是否经过审批;是否满足 GCP、ICH E6(R2)、21 CFR Part 11 及所在地区个人信息保护法规的要求。合规性不是清洗完再补的环节,而是贯穿清洗全过程的约束。
自动化策略:在清洗管道中嵌入合规检查点——导出前扫描是否包含姓名、身份证号、电话等直接标识符;修改操作强制填写原因码;审计日志不可删除;权限变更留痕。合规性检查的输出是“合规审计报告”,用于内部质控和监管核查。
七、六维度如何协同:清洗目标不是“全绿”,而是“可解释”
六个维度之间存在张力。例如,为了完整性而强制必填,可能诱导录入人员填入“未知”或“999”,反而损害准确性;为了及时性而快速关闭质疑,可能牺牲一致性核查的深度。因此,清洗目标不是让所有检查项都变成“通过”,而是让每一条数据的状态可解释、可追溯、可审计:缺失有缺失原因,异常有核实结论,修改有审计记录。
在实际工程中,建议把六维度检查组织成一条可重复执行的管道:先做唯一性去重,再做完整性扫描,然后并行执行准确性与一致性校验,及时性作为运营监控独立运行,合规性作为贯穿所有环节的约束层。每次运行输出结构化结果表,字段至少包括:检查编号、维度、受试者编号、访视、字段、规则表达式、当前值、严重级别、状态(待处理/已关闭)、处理人、处理时间。这样,清洗过程本身也成为可审计的数据资产。
掌握六维度及其自动化检查策略后,下一步才是选择具体工具与实现方式。但无论用什么工具,判断清洗是否有效的标准始终是:面对任意一条数据,能否快速回答它属于哪个维度、命中了哪条规则、经过了什么处置、最终为什么可以进入分析集。