📚 课程目录第4章数据采集任务配置实战

4. 数据采集任务配置实战

在上一节理解了采集任务的组成要素之后，本节把视角落到一次真实可复现的配置过程：从一台 Hexagon 三坐标测量机（CMM）上，把一批检测数据完整地采集进平台。这里的关键不是“点一下运行”，而是搞清楚数据从哪里来、经过哪些环节、每个环节可能丢什么，以及最后用什么证据证明“数据是完整的”。

一、先明确采集对象与数据来源

Hexagon 三坐标测量机通常由测量软件（如 PC-DMIS、QUINDOS 或 Inspire）驱动，测量完成后会输出检测结果文件。常见的可采集对象有三类：

测量程序结果文件：如 PC-DMIS 导出的 .csv、.txt 或 .xml，包含每个特征（圆、平面、位置度等）的名义值、实测值、偏差和公差判定。
原始点云/测点数据：部分场景需要保留测点坐标，用于后续复算或追溯。
设备与程序元数据：设备编号、程序名、操作员、测量时间、温度补偿状态等。

本节示例假设：一台编号为 CMM-01 的 Hexagon 三坐标测量机，测量程序 PART-A-OP20，输出目录为 D:\CMM_Output\，每次测量生成一个以工件序列号命名的 CSV 文件，例如 SN20240517-001.csv。平台侧通过文件采集方式读取该目录。

二、创建采集任务的配置过程

在平台的“数据采集任务”配置界面中，新建任务并填写以下核心参数。这些参数决定了采集的边界和完整性判断依据：

任务名称：CMM-01_PART-A_OP20_采集
数据源类型：文件目录（File Directory）
源路径：D:\CMM_Output\
文件匹配规则：SN*.csv
采集模式：增量采集（记录已处理文件指纹）
扫描周期：60 秒
字符编码：UTF-8
字段映射：
  SN        -> 工件序列号
  Feature   -> 特征名称
  Nominal   -> 名义值
  Actual    -> 实测值
  Deviation -> 偏差
  Tol       -> 公差
  Result    -> 判定（OK/NG）
完整性校验：
  必填字段：SN, Feature, Actual, Result
  文件级校验：行数 > 0 且表头匹配
  批次级校验：同一 SN 的特征数量 = 程序预设特征数

这里有两个容易出错的点。第一，文件匹配规则必须与测量软件实际命名一致，如果程序会生成临时文件（如 SN20240517-001.tmp），规则要能排除它们，否则会把半成品文件读进来。第二，增量采集依赖文件指纹（通常用文件名+大小+修改时间），如果测量软件覆盖同名文件，指纹不变会导致漏采，此时应改为“按修改时间采集”或要求软件按序列号生成唯一文件名。

三、运行采集任务并观察中间状态

保存任务后点击“运行”，平台会按扫描周期轮询源目录。一次典型的运行过程如下：

扫描到新文件 SN20240517-001.csv，记录其指纹并加入待处理队列。
解析文件，检查表头是否包含映射字段；若表头缺失，任务标记为“解析失败”并记录原因。
逐行读取数据，对每行执行必填字段校验；空值或非法数值的行进入“异常数据”暂存区。
按 SN 聚合，统计该工件的特征数量，与程序预设特征数比对。
校验通过的数据写入检测结果表，任务状态更新为“成功”，并记录本次采集的行数、文件数和耗时。

运行过程中，平台的任务日志会输出类似信息：

[2024-05-17 10:02:01] 扫描到 1 个新文件：SN20240517-001.csv
[2024-05-17 10:02:01] 解析成功，共 24 行数据
[2024-05-17 10:02:02] 必填字段校验通过：24/24
[2024-05-17 10:02:02] 批次校验：SN20240517-001 特征数 24，预设 24，通过
[2024-05-17 10:02:02] 写入成功，任务状态：成功

如果日志中出现“特征数 22，预设 24”，说明该文件缺少两个特征，可能是测量程序中途跳过或导出时被截断，此时不能简单标记成功，而应进入异常处理流程。

四、数据完整性验证的四个维度

“数据完整”不是一句感觉，而是可以逐项核对的。建议从以下四个维度验证：

维度	检查内容	示例判断
文件完整性	应到文件数 vs 实到文件数	计划 10 个 SN，实际采集 10 个文件
记录完整性	每个文件的行数是否与程序特征数一致	24 个特征对应 24 行
字段完整性	必填字段是否为空或格式错误	SN、Actual、Result 均非空
批次一致性	同一批次内 SN 是否连续、有无重复	SN 无重复，缺失的 SN 可被识别

平台通常提供“采集完整性报告”，把上述四个维度的通过率汇总。例如一次运行后报告显示：文件完整率 100%，记录完整率 100%，字段完整率 99.2%（有 2 行 Actual 为空），批次一致性 100%。此时虽然整体可用，但字段完整率未达 100%，需要定位那两行是测量异常还是导出问题。

五、用一张图看清采集链路与完整性检查点

下面的 SVG 把从 CMM 输出文件到平台入库的链路，以及每个环节对应的完整性检查点画在一起，便于对照排查。

六、结果判读与常见问题定位

运行结束后，不要只看“任务成功”四个字。建议按以下顺序判读：

先看文件数：如果实到文件数少于应到，优先检查测量软件是否真的生成了文件、输出目录是否被清理、采集规则是否漏匹配。
再看行数：文件存在但行数不足，通常是测量程序中断或导出被截断，需要回到 CMM 侧确认程序执行日志。
然后看字段：个别字段为空，可能是测量软件对某些特征未输出该字段，或字段映射写错。此时应核对 CSV 表头与映射配置。
最后看批次：同一 SN 出现重复，说明文件被重复采集或测量软件重复输出；SN 缺失则说明该工件未测量或文件未生成。

一个实用习惯：在采集任务首次运行时，先用 1～2 个已知正确的样本文件做“试采集”，确认字段映射和校验规则无误后，再放开全量目录。这样能把配置错误和真实数据问题区分开。

如果测量软件在写入 CSV 时不是原子操作（即文件还在写入时就被采集任务读到），会出现“行数不足”的假异常。解决办法是让采集任务跳过最近 N 秒内修改过的文件，或要求测量软件先写临时文件再重命名。

完成上述配置与验证后，你就拥有了一条可重复运行的 CMM 数据采集链路：CMM 输出文件、平台按规则采集、逐层校验、异常分流、最终形成完整性报告。这条链路的价值在于，它把“数据有没有丢”从主观判断变成了可量化、可追溯的检查项，为后续的质量分析提供了可信的数据底座。