4. 数据采集与准备

NPI（New Product Introduction）阶段的数据是良率分析的“原油”。数据质量直接决定根因分析的准确性和效率。本章聚焦于NPI阶段特有的数据源特征、清洗标准化方法以及面向良率分析的数据仓库搭建原则，帮助工程师从源头构建高质量的分析基础。

4.1 NPI阶段核心数据源

NPI阶段的数据源主要分为三类：测试数据（CP/FT）、设备日志（Equipment Log）和自动光学检测数据（AOI）。三者互为补充，共同构成良率分析的“数据三角”。

4.2 数据清洗与标准化

NPI阶段的数据往往存在缺失值、异常值、格式不统一等问题。数据清洗的目标是“去伪存真”，标准化则是“统一语言”。

4.2.1 常见数据质量问题

• 缺失值：测试项未采集、设备日志断点、AOI图像丢失。
• 异常值：测试参数超出物理极限（如电压为负值）、设备传感器漂移。
• 格式不统一：时间戳格式不同（YYYYMMDD vs. YYYY-MM-DD）、坐标系统不一致（晶圆中心 vs. 左下角）。
• 重复记录：同一颗芯片被多次测试（重测数据未标记）。

4.2.2 清洗与标准化流程

1. 缺失值处理：对于关键参数（如良率、Bin值），采用“剔除”策略；对于非关键参数，采用“前向填充”或“中位数填充”。
2. 异常值检测：使用IQR（四分位距）或3σ原则，结合工艺知识判断是否为真实异常。
3. 格式统一：将所有时间戳转换为Unix时间戳或ISO 8601格式；将坐标系统统一为“晶圆中心坐标”。
4. 去重与标记：保留最后一次测试结果，并增加“重测标记”字段。

# 示例：Python数据清洗伪代码（NPI阶段）
import pandas as pd
import numpy as np

# 加载测试数据
df_test = pd.read_csv('npi_test_data.csv')

# 1. 缺失值处理：剔除良率为空的行
df_test = df_test.dropna(subset=['yield'])

# 2. 异常值检测：参数值超出3σ范围视为异常
mean_val = df_test['param1'].mean()
std_val = df_test['param1'].std()
df_test = df_test[(df_test['param1'] >= mean_val - 3*std_val) & 
                  (df_test['param1'] <= mean_val + 3*std_val)]

# 3. 格式统一：时间戳标准化
df_test['timestamp'] = pd.to_datetime(df_test['timestamp'], format='%Y%m%d_%H%M%S')

# 4. 去重：保留最后一次测试记录
df_test = df_test.sort_values('timestamp').drop_duplicates(subset='device_id', keep='last')

4.3 数据仓库搭建原则

面向良率分析的数据仓库不是简单的数据堆砌，而是需要遵循“主题导向、集成、非易失、随时间变化”的维度建模原则。针对NPI阶段，我们强调以下三条核心原则：

• 原则一：以“晶粒/器件”为中心的事实表设计。所有分析都围绕“每一颗芯片”展开，事实表包含良率、Bin、参数值、缺陷坐标等度量。
• 原则二：维度表标准化与缓慢变化维处理。产品、工艺、设备、批次等维度表需要统一编码，并记录版本变化（如工艺参数调整）。
• 原则三：数据分层与ETL自动化。采用ODS（操作数据存储）→ DWD（明细数据层）→ DWS（汇总数据层）的分层架构，ETL流程实现自动化调度。

4.4 NPI数据仓库架构图

下图展示了面向NPI良率分析的数据仓库分层架构，从数据源接入到最终分析应用的全链路设计。

4.5 数据关联与质量验证

数据仓库搭建完成后，必须进行数据关联验证（Data Linking Validation），确保不同数据源之间的记录能够正确匹配。这是后续根因分析的前提。