4. 数据采集与预处理：传感器数据采集、数据清洗、标准化与归一化

在半导体制造中，良率预测模型的性能高度依赖于输入数据的质量。晶圆厂每时每刻都在从数百台工艺设备中采集海量传感器数据，这些原始数据包含缺失值、噪声、异常点以及不同量纲的特征。本章将系统讲解从传感器数据采集到预处理的全流程，确保输入模型的数据干净、一致且可比较。

4.1 传感器数据采集架构

半导体制造中的传感器数据采集通常采用 SECS/GEM（半导体设备通信标准/通用设备模型）协议，从刻蚀、沉积、光刻等设备中实时获取工艺参数。典型采集参数包括：

下图展示了从传感器到数据湖的典型采集与存储架构：

4.2 数据清洗：缺失值与异常值处理

原始传感器数据中常见的质量问题包括：传感器短暂离线导致的 缺失值、设备跳变或腔体污染导致的 异常值、以及时间戳不同步导致的 对齐偏差。以下表格总结了不同场景下的处理策略：

下图展示了基于 滑动窗口 + 3σ 准则 的异常值检测与处理流程：

4.3 数据标准化与归一化

传感器参数的量纲差异巨大（例如温度 400°C vs 压力 10 mTorr），直接输入模型会导致梯度更新失衡。标准化和归一化是解决量纲问题的两种核心方法：

下图对比了三种标准化方法对同一组含异常值的传感器数据的处理效果：

4.4 预处理管道实战代码

以下 Python 代码片段展示了针对半导体工艺传感器数据的完整预处理管道，包含缺失值处理、异常值检测和 Robust 标准化：

import pandas as pd
import numpy as np
from scipy import stats

def preprocess_sensor_data(df, recipe_col='recipe_id', value_col='value',
                           window=50, z_thresh=3.0):
    """
    半导体传感器数据预处理管道
    参数:
        df: 原始DataFrame，包含recipe_id, timestamp, value等列
        recipe_col: 配方ID列名
        value_col: 传感器数值列名
        window: 滑动窗口大小
        z_thresh: Z-score异常阈值
    返回:
        df_clean: 清洗后的DataFrame
        stats_dict: 预处理统计信息
    """
    df_clean = df.copy()
    stats_dict = {'total_rows': len(df_clean),
                  'missing_before': df_clean[value_col].isna().sum(),
                  'outliers_removed': 0}

    # 1. 缺失值处理：按配方分组，组内线性插值
    df_clean[value_col] = df_clean.groupby(recipe_col)[value_col].transform(
        lambda x: x.interpolate(method='linear', limit_direction='both')
    )
    # 若仍有缺失（如首尾），使用配方中位数填充
    df_clean[value_col] = df_clean.groupby(recipe_col)[value_col].transform(
        lambda x: x.fillna(x.median())
    )
    stats_dict['missing_after'] = df_clean[value_col].isna().sum()

    # 2. 异常值检测：滑动窗口Z-score
    def detect_outliers_window(series, window, thresh):
        outliers = np.zeros(len(series), dtype=bool)
        for i in range(window, len(series) - window):
            local_data = series.iloc[i - window:i + window + 1]
            local_mean = local_data.mean()
            local_std = local_data.std()
            if local_std > 0:
                z = (series.iloc[i] - local_mean) / local_std
                if abs(z) > thresh:
                    outliers[i] = True
        return outliers

    outlier_mask = df_clean.groupby(recipe_col)[value_col].transform(
        lambda x: detect_outliers_window(x.reset_index(drop=True), window, z_thresh)
    )
    stats_dict['outliers_removed'] = outlier_mask.sum()

    # 异常值替换为局部中位数
    df_clean.loc[outlier_mask, value_col] = (
        df_clean.groupby(recipe_col)[value_col]
        .transform(lambda x: x.rolling(window=window, center=True, min_periods=1).median())
        .fillna(method='bfill').fillna(method='ffill')
    )

    # 3. Robust 标准化（按配方分组）
    def robust_scale_group(group):
        median = group.median()
        iqr = group.quantile(0.75) - group.quantile(0.25)
        if iqr == 0:
            iqr = 1.0  # 避免除零
        return (group - median) / iqr

    df_clean[value_col + '_scaled'] = (
        df_clean.groupby(recipe_col)[value_col].transform(robust_scale_group)
    )

    return df_clean, stats_dict

# 使用示例
# df_raw = pd.read_parquet('sensor_data.parquet')
# df_clean, stats = preprocess_sensor_data(df_raw)
# print(f"缺失值: {stats['missing_before']} → {stats['missing_after']}")
# print(f"异常值处理: {stats['outliers_removed']} 个")

4.5 预处理质量验证

完成预处理后，必须通过以下指标验证数据质量是否满足模型校准要求：

• 缺失率：最终缺失率应 < 0.1%，否则需回溯采集链路。
• 异常值比例：被替换的异常值比例应在 1%–5% 之间，过高说明工艺不稳定或阈值过松。
• 分布一致性：同一配方下，不同批次数据的标准化后分布应近似 N(0,1)（Robust 标准化下近似对称分布）。
• 时间连续性：清洗后数据的时间戳间隔应均匀，无跳变或重复。