4. 数据采集与预处理：良率数据与工艺参数数据的采集规范、数据清洗与标准化

良率模型的核心在于“数据驱动”。原始数据直接决定了模型校准的精度与工艺偏差修正的有效性。本章聚焦于从FAB（晶圆厂）获取的原始数据到可建模数据的完整转化链路，涵盖采集规范、清洗策略与数值变换三大环节。

4.1 数据采集规范

良率数据与工艺参数数据在采集维度、频率与格式上存在显著差异，必须建立统一的采集规范以确保数据对齐。

4.2 数据清洗：缺失值与异常值处理

原始数据中普遍存在缺失值与异常值，直接建模会导致模型偏差或收敛失败。清洗策略需根据数据特性选择。

4.2.1 缺失值处理

缺失值产生原因包括传感器故障、通信中断、测试跳过等。处理策略分为删除与填充两类。

# Python示例：使用前向填充处理时间序列缺失值
import pandas as pd

# 假设df包含工艺参数时间序列数据
df['Temperature'].fillna(method='ffill', inplace=True)

# 对于非时序数据，使用中位数填充
median_pressure = df['Pressure'].median()
df['Pressure'].fillna(median_pressure, inplace=True)

4.2.2 异常值检测与处理

异常值通常源于机台故障、传感器漂移或操作失误。检测方法需结合工艺知识。

• 3σ 原则： 适用于正态分布数据，超出均值±3σ的值视为异常。
• IQR（四分位距）法： 适用于非正态分布，超出 Q1-1.5*IQR 或 Q3+1.5*IQR 的值视为异常。
• 局部异常因子（LOF）： 适用于高维参数空间，检测局部密度异常。
• 工艺规格限： 直接使用工艺规范（Spec Limit）作为硬边界，超出即异常。

# Python示例：使用IQR法检测异常值
Q1 = df['Etch_Rate'].quantile(0.25)
Q3 = df['Etch_Rate'].quantile(0.75)
IQR = Q3 - Q1

lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQR

outliers = df[(df['Etch_Rate'] < lower_bound) | (df['Etch_Rate'] > upper_bound)]
print(f"检测到 {len(outliers)} 个异常值")

4.3 数据标准化与归一化

良率模型通常涉及多个量纲不同的工艺参数（如温度范围 200-400°C，压力范围 1-100 Torr）。标准化与归一化将不同尺度的数据映射到统一区间，避免量纲差异主导模型训练。

4.3.1 标准化（Z-score）

将数据转换为均值为0、标准差为1的分布。适用于数据近似正态分布的场景，如温度、压力等工艺参数。

公式：X_std = (X - μ) / σ

from sklearn.preprocessing import StandardScaler

scaler = StandardScaler()
df[['Temperature', 'Pressure']] = scaler.fit_transform(df[['Temperature', 'Pressure']])

4.3.2 归一化（Min-Max）

将数据线性缩放到 [0, 1] 区间。适用于数据有明确边界（如良率 0-100%）或非正态分布的场景。

公式：X_norm = (X - X_min) / (X_max - X_min)

from sklearn.preprocessing import MinMaxScaler

scaler = MinMaxScaler(feature_range=(0, 1))
df[['Yield']] = scaler.fit_transform(df[['Yield']])

4.4 数据预处理流程总览

下图展示了从原始数据到建模数据的完整预处理流水线，包含采集、清洗、变换与对齐四个阶段。

4.5 数据对齐与融合

完成清洗与变换后，需要将良率数据与工艺参数数据按晶圆ID和时间戳进行对齐融合，形成宽表格式的训练数据集。

• 内连接： 仅保留同时存在于良率表和工艺参数表中的晶圆数据，适用于数据完整性高的场景。
• 左连接： 以良率表为主表，保留所有良率记录，工艺参数缺失的用NaN填充，适用于良率数据完整但工艺参数有缺失的场景。
• 时序窗口匹配： 对于时间敏感的工艺步骤，使用滑动窗口将工艺参数与良率结果进行时间偏移匹配。

# Python示例：按LotID和WaferID进行数据融合
yield_df = pd.read_csv('yield_data.csv')
process_df = pd.read_csv('process_params.csv')

# 内连接融合
merged_df = pd.merge(yield_df, process_df, on=['LotID', 'WaferID'], how='inner')
print(f"融合后数据集形状: {merged_df.shape}")