2. 实验数据质量体系与集成需求分析

实验数据质量平台集成工程的第一步,不是急着接数据库或写接口,而是把“什么叫质量合格”讲清楚。实验数据与业务交易数据不同:它往往来自仪器、LIMS、ELN、手工记录表、文件导出和人工补录,字段含义随实验类型变化,量纲、精度、时间基准和样本标识方式都可能不统一。因此,质量体系必须先定义维度,再把维度落成可执行的规则,最后用业务需求和干系人诉求去界定集成范围。

一、数据质量维度:从“看起来对”到“可判定”

实验数据质量通常从六个维度展开:完整性、准确性、一致性、及时性、唯一性和有效性。完整性关注必填字段是否缺失,例如样本编号、检测项目、结果值、单位、检测时间;准确性关注数值是否在合理量程内、是否与原始记录一致;一致性关注同一对象在不同系统中的编码、单位、时间是否统一;及时性关注数据从产生到可用的延迟;唯一性关注是否存在重复上报;有效性关注格式、枚举值、精度和量纲是否符合规范。

这些维度不能只停留在概念层。以“结果值”为例,完整性规则可定义为“结果值非空”;准确性规则可定义为“结果值落在方法检出限与线性上限之间”;有效性规则可定义为“单位必须属于该检测项目的允许单位集合”。只有把维度翻译成字段级、记录级和跨系统级规则,后续的校验、告警和修复才有依据。

示例:某环境检测实验室的“水质pH”数据,允许单位为“无量纲”,有效范围为0~14,精度为小数点后2位。若某条记录pH=15.2,则同时触发准确性规则和有效性规则;若单位为空,则触发完整性规则;若同一采样点同一时间出现两条pH记录,则触发唯一性规则。

二、质量规则:分层设计与优先级

质量规则建议分为三层:字段级规则、记录级规则和跨系统规则。字段级规则检查单个字段的格式、范围、枚举和精度;记录级规则检查同一记录内字段之间的逻辑关系,例如“检测时间不能早于采样时间”“结果值低于检出限时,结果标记必须为‘<LOD’”;跨系统规则检查LIMS、ELN与质量平台之间的编码映射、时间戳和版本一致性。

规则需要设置优先级和处置策略。通常将影响数据可用性的规则设为阻断级,例如样本编号缺失、结果值非数值;将影响分析但可容忍的规则设为告警级,例如单位与默认单位不一致但可换算;将仅影响统计口径的规则设为提示级,例如备注字段为空。阻断级规则应直接拒绝入库或进入隔离区,告警级规则进入待处理队列,提示级规则仅记录日志。

三、业务需求与干系人诉求

集成需求分析要回答“谁在用、用来做什么、不能接受什么”。实验数据质量平台的典型干系人包括:实验人员希望录入负担小、错误提示即时;质量负责人希望审计追踪完整、异常可追溯;数据管理员希望规则可配置、批量修复可回滚;IT运维希望接口稳定、失败可重试;业务分析人员希望数据口径统一、查询响应快。

这些诉求会直接转化为集成需求。例如,实验人员要求“录入时即时校验”,则平台需要在数据采集端提供轻量级校验接口;质量负责人要求“审计追踪”,则平台需要保留原始值、修改值、修改人、修改时间和修改原因;数据管理员要求“规则可配置”,则规则引擎不能硬编码在ETL脚本中,而应支持规则版本管理和灰度发布。

四、集成范围界定:先画边界,再定接口

集成范围界定是本章最容易被低估的环节。范围过大,项目周期和风险失控;范围过小,质量平台无法形成闭环。建议从数据源、数据流、质量动作和消费场景四个方向界定边界。数据源包括LIMS、ELN、仪器工作站、手工报表和第三方接口;数据流包括采集、清洗、校验、入库、发布;质量动作包括阻断、告警、隔离、修复和复核;消费场景包括质量看板、审计报表、统计分析和对外报送。

范围界定应输出一份集成范围清单,明确“本期做”和“本期不做”。例如,本期只接入LIMS的样本、检测结果和仪器信息三张核心表,ELN仅接入实验记录元数据,仪器工作站暂不直连,采用文件落地方式;质量动作只实现阻断和告警,修复流程走线下工单;消费场景只开放质量看板和审计报表,不开放自助分析。这样既能快速形成最小可用闭环,又为后续扩展留出接口。

实验数据质量体系与集成范围关系图 数据源 LIMS 样本/结果 ELN 实验记录 仪器工作站 手工报表 第三方接口 本期接入:LIMS核心表 ELN元数据;仪器文件落地 质量规则引擎 字段级规则 非空 / 格式 / 枚举 / 量程 / 精度 记录级规则 时间先后 / 结果与标记一致 / 逻辑组合 跨系统规则 编码映射 / 单位统一 / 时间戳对齐 / 版本 处置策略 阻断入库 / 告警队列 / 隔离区 / 日志 规则版本管理 · 灰度发布 · 可回滚 消费场景 质量看板 审计报表 统计分析 对外报送 本期开放:看板+审计 自助分析暂不开放 采集 发布 干系人诉求:实验人员(即时校验) · 质量负责人(审计追踪) · 数据管理员(规则可配置) · IT运维(接口稳定) · 分析人员(口径统一)

五、从需求到集成范围的可执行清单

为了让范围界定可落地,建议输出一份集成范围清单,至少包含以下字段:数据源系统、数据对象、字段范围、质量规则编号、处置策略、目标消费场景、本期是否纳入、责任人和验收标准。下面给出一个可参考的示例片段,字段和粒度可根据实际项目调整。

数据源 数据对象 关键字段 质量规则 处置策略 本期纳入
LIMS 样本表 样本编号、采样时间、采样点 非空、唯一、时间不晚于检测时间 阻断 是
LIMS 检测结果表 结果值、单位、检出限、方法 量程、单位枚举、精度 阻断+告警 是
ELN 实验记录元数据 实验编号、版本、创建人 版本一致性、编码映射 告警 是
仪器工作站 原始谱图文件 文件路径、采集时间、仪器编号 文件存在性、时间对齐 提示 否(文件落地)

判断依据:如果一条规则被触发后,数据仍然可以进入分析流程且不会导致结论错误,可设为告警级;如果会导致样本身份混淆、结果不可用或审计不通过,应设为阻断级。范围界定不是一次性的,建议每季度根据数据源变化和干系人反馈复核一次。

完成维度定义、规则分层、干系人诉求梳理和范围界定后,集成工程就有了明确的“质量契约”。后续的接口设计、ETL开发、规则引擎配置和验收测试,都应围绕这份契约展开,而不是在开发过程中反复争论“这条数据到底算不算合格”。