📚 课程目录第3章数据来源与采集

3. 数据来源与采集

在量产测试数据分析与SPC闭环中，数据采集是整条链路的起点。若数据来源不清、格式不统一、采集频率与粒度设计不合理，后续的良率分析、异常告警和SPC控制图都会失去可信度。本节围绕ATE数据、测试日志、STDF、CSV与数据库等常见数据形态，说明如何建立稳定、可追溯、可自动化的数据采集方案。

一、核心原理：从测试机到分析平台的数据链路

量产测试数据通常产生于ATE测试机台，经由测试程序控制，在每颗芯片或每个测试单元上生成测试结果。原始数据可能以STDF、CSV、文本日志或数据库记录等形式存在。采集的本质，是把这些分散、异构、时序性强的数据，按统一的时间戳、批次、晶圆、器件编号和测试项维度，汇聚到可分析的数据层。

数据采集需要同时回答四个问题：采什么（测试项、Bin、参数值、环境条件）、从哪采（ATE、日志服务器、MES、数据库）、多久采一次（频率）、采到什么程度（粒度）。频率决定异常发现的及时性，粒度决定根因定位的深度，两者必须与测试节拍和SPC窗口匹配。

二、常见数据格式与适用场景

不同数据格式承载的信息密度和用途不同。STDF是半导体测试行业的标准二进制格式，包含Wafer、Die、Test、Bin等记录，适合做精细的良率与参数分析；CSV和数据库表更适合做汇总统计与快速查询；测试日志则保留程序执行、报警和异常上下文，是排障的重要补充。

数据格式	典型内容	优点	采集注意点
STDF	Wafer、Die、Test、Bin、参数值	标准、信息完整、可追溯	需解析器，文件体积大，注意版本兼容
CSV	批次汇总、Bin统计、参数均值	易读、易导入、通用性强	需约定列名、单位、编码和缺失值规则
测试日志	程序事件、报警、重测、环境信息	上下文丰富，便于根因定位	非结构化，需正则或模板解析
数据库	批次、器件、测试项、时间序列	查询快、适合看板和SPC	需设计主键、索引和写入频率

三、采集频率与粒度的设计方法

采集频率不是越高越好。频率过高会增加网络、存储和解析压力；频率过低则可能错过SPC的异常窗口。一般可按测试节拍和SPC子组大小来设计：对于关键参数，采用实时或准实时采集；对于良率汇总，采用批次结束或小时级采集；对于环境数据，采用分钟级采集。

粒度设计要区分四个层级：批次级用于良率趋势，晶圆级用于片内分布，器件级用于单颗追溯，测试项级用于参数级SPC。粒度越细，存储成本越高，但根因定位能力越强。实际项目中常采用“原始STDF归档 + 汇总表入库”的混合策略。

采集频率与粒度匹配建议：

关键参数：实时采集，粒度到器件与测试项，用于SPC即时告警。
良率与Bin：批次结束采集，粒度到批次与晶圆，用于趋势分析。
测试日志：事件触发采集，粒度到时间戳与事件类型，用于排障。
环境数据：分钟级采集，粒度到机台与传感器通道，用于相关性分析。

四、自动化采集方案与配置示例

自动化采集通常由采集代理、解析服务、消息队列和入库任务组成。采集代理负责监听ATE输出目录或数据库变更；解析服务将STDF、CSV、日志转换为统一结构；消息队列用于削峰和解耦；入库任务负责写入时序数据库或关系型数据库。

# 采集配置示例（YAML）
source:
  type: stdf
  path: /ate/output/{lot_id}/{wafer_id}
  poll_interval: 30s
  file_pattern: "*.stdf"

parser:
  format: stdf_v4
  fields:
    - lot_id
    - wafer_id
    - die_x
    - die_y
    - test_name
    - result
    - bin
    - timestamp

sink:
  type: timeseries_db
  batch_size: 5000
  flush_interval: 10s
  retention_days: 365

alert:
  enabled: true
  rules:
    - name: cpk_low
      condition: cpk < 1.33
      window: 1h

在自动化方案中，必须处理重复文件、断点续传、时间戳时区和字段缺失等问题。建议为每个文件生成唯一指纹，避免重复入库；为采集任务增加重试与死信队列；为关键字段设置非空校验和单位统一规则。

五、案例与误区复盘

某封装测试厂在导入SPC初期，仅采集批次级良率，结果某测试项参数漂移持续了三天才被发现。复盘发现，该参数在器件级已有明显偏移，但批次均值掩盖了分布尾部异常。后来将关键参数改为实时采集，粒度细化到器件与测试项，并设置Cpk低于1.33即告警，异常发现时间从三天缩短到一小时以内。

常见误区：

只采汇总数据，不保留原始STDF，导致根因无法回溯。
采集频率与SPC窗口不匹配，告警滞后或误报频繁。
字段命名和单位不统一，跨机台数据无法合并分析。
缺少时间戳对齐，批次、晶圆、器件之间无法关联。
没有采集监控，代理停止后无人知晓，数据断流。

因此，数据采集方案应以“可追溯、可关联、可告警、可扩展”为目标，先明确分析需求，再反推采集频率与粒度，最后通过自动化代理和校验规则保证数据质量。只有采集层稳定可靠，后续的良率分析与SPC闭环才有坚实的数据基础。