4. 实验数据源接入与协议适配

实验数据质量平台的第一道工程关口，不是清洗、不是规则校验，而是“数据能不能稳定、可追溯地进来”。实验室里的数据源天然异构：仪器通过串口或文件输出结果，LIMS 保存样品与检测任务，ELN 记录实验过程与原始记录，MES 承载生产批次与工单，文件系统堆积着 PDF、CSV、图片，数据库里有结构化结果表，消息队列则负责实时事件。接入层的任务，是把这些不同形态、不同节奏、不同语义的数据，统一成平台可消费的“原始事件 + 元数据 + 溯源信息”。

一、先分清六类数据源的接入语义

接入方式的选择，取决于数据源的“主动性”和“数据形态”。仪器接口通常是被动读取或文件落地；LIMS、ELN、MES 多为数据库或 API 提供方；文件系统是批量扫描；数据库是结构化抽取；消息队列是事件订阅。下面这张图给出六类数据源到平台接入层的典型连接关系与适配方式，可作为选型时的对照。

二、仪器接口：从串口到文件落地

仪器接入最常见的有三种形态。第一种是串口（RS232/RS485）输出，典型如天平、pH 计、部分光谱仪，数据以 ASCII 字符串按固定帧格式发送，例如 ST,GS,+ 12.345,g。接入时需配置波特率、数据位、停止位、校验位，并按帧头帧尾解析。第二种是 TCP/IP 输出，仪器作为服务端或客户端，按行发送结果，接入程序需处理粘包与断线重连。第三种是文件落地，仪器软件将结果写入本地目录，如 D:\Instrument\Export\*.csv，接入端通过目录监听或定时扫描获取。

仪器接入的关键不是“读到数”，而是“读对上下文”。同一台仪器在不同时间可能测不同样品，必须把仪器输出与样品 ID、检测项目、采集时间绑定。常见做法是：在仪器工作站中配置输出模板，把样品条码或任务号一并写入文件；若仪器不支持，则在接入端通过“时间窗口 + 操作员 + 仪器编号”做近似匹配，并在元数据中标记匹配方式，供后续质量规则判断可信度。

三、LIMS、ELN、MES：以 API 和数据库为主

LIMS 通常保存样品登记、检测任务、结果值与审核状态，接入方式优先选择 REST API，按 sampleId 或 taskId 增量拉取；若 API 不开放，则通过只读数据库账号抽取，常用增量字段是 update_time 或自增主键。ELN 记录实验过程、步骤、附件与原始记录，接入时要注意其数据模型往往以“实验记录”为中心，需要把记录中的结构化字段与非结构化附件分开处理。MES 承载工单、批次、设备状态，接入方式可能是数据库、消息主题或两者并存。

这三类系统的共同点是：数据有明确的主键和业务时间，适合做增量抽取。接入配置中应明确四个参数：增量字段、抽取频率、每次最大记录数、失败重试次数。例如 LIMS 结果表按 update_time 每 5 分钟抽取一次，每次最多 2000 条，失败重试 3 次并进入死信表。这样既能控制对源系统的压力，也能保证断点可续。

四、文件系统与数据库：批量与结构化

文件系统接入的核心是“发现—解析—登记”。发现阶段要定义扫描根目录、文件匹配模式、排除规则和文件稳定性判断（例如文件大小在 30 秒内不再变化才认为写入完成）。解析阶段按扩展名分派：CSV 按分隔符与表头解析，PDF 提取文本或表格，图片记录路径与哈希，日志按正则提取关键字段。登记阶段必须记录文件路径、文件哈希、修改时间、解析状态，避免重复入库。

数据库接入相对直接，但要注意三点：一是只读账号与最小权限；二是抽取 SQL 必须带增量条件，避免全表扫描；三是字段类型映射，尤其是时间、数值精度和空值处理。例如源库中 result_value 为 VARCHAR，接入后应转换为 DECIMAL(18,6)，转换失败时写入错误表并保留原始值。

五、消息队列：实时事件的接入

当 MES 或仪器网关需要实时推送时，消息队列是更合适的选择。常见协议包括 Kafka、RabbitMQ、MQTT。接入端作为消费者订阅主题，按消息键做分区顺序保证，并在消费成功后提交偏移量。消息体通常是 JSON，接入时要校验必填字段、时间格式和枚举值，校验失败的消息进入死信主题，避免阻塞主流程。

消息接入的典型配置如下：

topic: lab.instrument.result
group.id: dq-platform-ingest
auto.offset.reset: earliest
enable.auto.commit: false
max.poll.records: 200
死信主题: lab.instrument.result.dlq

其中 enable.auto.commit=false 表示由接入程序在处理完成后手动提交，确保“至少一次”语义；配合幂等键（如 instrumentId + sampleId + measureTime）实现去重，最终达到“恰好一次”的业务效果。

六、接入配置检查清单

无论哪类数据源，接入上线前建议逐项确认以下内容，避免“接进来但不可信”：

• 连接参数：地址、端口、账号、认证方式、超时时间是否明确；
• 增量策略：增量字段、抽取频率、最大批量、断点记录位置；
• 字段映射：源字段到平台字段的对应关系、单位换算、精度与空值规则；
• 时间语义：采集时间、业务时间、入库时间分别取哪个字段，时区是否统一；
• 溯源信息：源系统标识、文件路径或记录 ID、接入批次号是否写入；
• 异常处理：解析失败、校验失败、重复数据的去向与告警方式；
• 幂等与重试：去重键定义、重试次数、死信队列与人工补录入口。

完成接入后，平台应能回答三个问题：这条数据从哪来、什么时候来、经过哪些转换。只要溯源链完整，后续的质量规则、异常定位和审计追溯才有可靠基础。