3. 测试Fail数据采集与清洗：数据采集系统架构、数据清洗方法（缺失值处理、异常值检测、格式统一化）、数据质量评估
在半导体良率故障排查中，测试Fail数据是连接电性失效与工艺缺陷的核心桥梁。然而，原始测试数据往往存在噪声、缺失、格式混乱等问题。本章将系统讲解如何构建高效的数据采集架构，并运用科学方法清洗数据，确保后续分析的准确性与可靠性。
3.1 数据采集系统架构
一个健壮的数据采集系统需要覆盖从测试机台到数据仓库的全链路。典型的半导体测试数据采集架构分为四层：数据源层、采集与传输层、存储与处理层、应用与分析层。
架构设计原则：低延迟（秒级数据同步）、高吞吐（支持万级并行测试通道）、可扩展（支持新机台协议接入）、数据完整性（断点续传与校验）。
3.2 数据清洗方法
原始测试数据中常见的三类问题：缺失值（测试项未采集）、异常值（机台噪声或测试错误）、格式不统一（不同机台、不同批次的数据标准不一致）。以下分别介绍处理方法。
3.2.1 缺失值处理
缺失值在半导体测试数据中通常表现为“NaN”、“-999”、“空字符串”或“测试跳过(Test Skip)”。处理策略需结合缺失原因与业务场景：
| 缺失类型 | 常见原因 | 推荐处理方法 | 适用场景 |
|---|---|---|---|
| 完全随机缺失(MCAR) | 机台瞬间通信中断 | 删除该条记录（若缺失率<5%） | 大批量数据，缺失比例低 |
| 随机缺失(MAR) | 特定测试项因前级Fail被跳过 | 条件均值/中位数填充 | Bin-based分析，需保留样本量 |
| 非随机缺失(MNAR) | 测试项因硬件故障长期未采集 | 标记为“未测试”并单独建模 | 工艺归因时需区分“未测”与“实测Pass” |
实战建议：对于测试项“Test Skip”导致的缺失，不要简单填充为0或均值。建议增加一列“Skip_Flag”，保留缺失原因，避免在后续良率计算中引入偏差。
3.2.2 异常值检测
半导体测试数据中的异常值主要来源于：探针接触不良、测试机台通道噪声、晶圆边缘效应、以及测试程序错误。常用检测方法如下：
- 基于统计的方法：Z-score（适用于正态分布数据）、IQR（四分位距，适用于偏态分布）。
- 基于距离的方法：DBSCAN聚类、LOF（局部异常因子），适用于高维参数空间。
- 基于规则的方法：根据SPEC上下限直接判定（如VDD电流超出最大规格3倍）。
- 基于时序的方法：移动平均+残差分析，适用于同一批次内连续测试数据。
3.2.3 格式统一化
不同测试机台（如Teradyne、Advantest、Chroma）输出的数据格式差异巨大。格式统一化是数据清洗的关键步骤，主要包括：
- 字段命名标准化：统一测试项名称（如“VDD_Max” vs “VDDMAX” vs “vdd_max” → “VDD_MAX”）。
- 数据类型转换：将字符串类型的测试值转为float/int，将时间戳统一为Unix时间戳或ISO 8601格式。
- 单位统一：电流统一为μA或mA，电压统一为V或mV，长度统一为nm或μm。
- Bin编码统一：将不同机台的Bin号映射为统一的良率分类体系（如Pass=1, Fail=0, Skip=-1）。
常见陷阱：不同机台对“测试跳过”的记录方式不同——有的记为“-999”，有的记为“Skip”，有的直接留空。清洗时必须建立统一的缺失值编码表，否则后续聚合统计会出错。
3.3 数据质量评估
数据清洗完成后，需要通过量化指标评估数据质量，确保清洗效果满足分析要求。数据质量评估通常从以下四个维度展开：
| 维度 | 评估指标 | 合格标准 | 评估方法 |
|---|---|---|---|
| 完整性 | 缺失率、空值率 | 单字段缺失率 < 5% | 逐字段统计NaN/Null占比 |
| 准确性 | 异常值比例、SPEC符合率 | 异常值比例 < 2% | 与Golden Sample对比或规则校验 |
| 一致性 | 字段命名一致性、单位一致性 | 100% 统一 | 元数据对比 + 抽样人工审核 |
| 时效性 | 数据延迟、采集时间戳偏差 | 延迟 < 5分钟（实时场景） | 对比采集时间与入库时间 |
3.4 数据清洗Pipeline示例
以下是一个基于Python的半导体测试数据清洗Pipeline示例，展示了从原始STDF解析到清洗后数据输出的完整流程：
import pandas as pd
import numpy as np
from scipy import stats
def clean_test_data(df_raw):
"""
半导体测试数据清洗Pipeline
输入：原始DataFrame（包含测试项、Bin、坐标等字段）
输出：清洗后的DataFrame + 质量报告
"""
# 1. 格式统一化：字段重命名
rename_map = {
'vdd_max': 'VDD_MAX',
'iddq': 'IDDQ',
'bin_num': 'BIN_CODE'
}
df = df_raw.rename(columns=rename_map)
# 2. 缺失值处理：对关键测试项进行条件填充
# 若IDDQ缺失但前级测试Pass，用中位数填充
mask_skip = (df['IDDQ'].isna()) & (df['BIN_CODE'] == 1)
median_iddq = df.loc[df['BIN_CODE'] == 1, 'IDDQ'].median()
df.loc[mask_skip, 'IDDQ'] = median_iddq
# 3. 异常值检测：IQR方法
Q1 = df['VDD_MAX'].quantile(0.25)
Q3 = df['VDD_MAX'].quantile(0.75)
IQR = Q3 - Q1
lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQR
df['VDD_MAX_ANOMALY'] = ((df['VDD_MAX'] < lower_bound) |
(df['VDD_MAX'] > upper_bound)).astype(int)
# 4. 数据质量评估
quality_report = {
'total_records': len(df),
'missing_rate': df['IDDQ'].isna().mean(),
'anomaly_rate': df['VDD_MAX_ANOMALY'].mean(),
'unique_bins': df['BIN_CODE'].nunique()
}
return df, quality_report
# 使用示例
# df_clean, report = clean_test_data(df_raw)
# print(report)
关键点：清洗Pipeline应设计为可重复执行的脚本，每次数据接入时自动运行。清洗规则（如IQR倍数、填充策略）建议通过配置文件管理，便于工艺调整时快速迭代。
3.5 本章小结
测试Fail数据的采集与清洗是良率故障排查的基石。一个可靠的数据采集架构确保数据“采得到、传得快、存得稳”；而科学的清洗方法则保证数据“用得准、分析对、归因真”。在实际工程中，建议建立数据质量监控看板，对清洗前后的数据分布、缺失率、异常率进行持续跟踪，及时发现数据链路中的异常。