4. 数据预处理与清洗：异常值检测、平滑滤波与缺失值插补

实测数据在采集过程中不可避免地受到测试设备噪声、环境扰动、操作误差及样本缺陷等因素影响，直接用于参数提取会导致模型失配甚至不收敛。数据预处理与清洗是连接原始测试数据与高质量建模数据的关键桥梁，其核心任务包括：异常值检测、数据平滑与滤波、缺失值插补。本章将系统阐述这三类方法的原理、适用场景及在SPICE建模流程中的自动化实现策略。

4.1 异常值检测：3-sigma 与 IQR 方法

异常值（Outlier）是指显著偏离数据集中趋势的观测点，可能由探针接触不良、设备跳变或样本破损引起。在半导体器件测试中，异常值会严重扭曲参数提取结果，例如将阈值电压（Vth）的提取值偏移数十毫伏。

4.1.1 3-sigma 方法（基于正态分布假设）

3-sigma 方法假设数据服从正态分布，以均值 μ 为中心，标准差 σ 为尺度，将超出 [μ - 3σ, μ + 3σ] 区间的数据点判定为异常值。该方法计算简单，但对非正态分布或小样本数据敏感。

4.1.2 IQR 方法（基于四分位距，稳健性强）

IQR 方法不依赖数据分布假设，通过计算第一四分位数 Q1 和第三四分位数 Q3，定义四分位距 IQR = Q3 - Q1，将超出 [Q1 - 1.5×IQR, Q3 + 1.5×IQR] 区间的数据点判定为异常值。该方法对偏态分布和少量异常值具有天然稳健性，是半导体数据清洗的首选方法。

# Python 示例：IQR 异常值检测函数
import numpy as np

def detect_outliers_iqr(data, multiplier=1.5):
    q1 = np.percentile(data, 25)
    q3 = np.percentile(data, 75)
    iqr = q3 - q1
    lower_bound = q1 - multiplier * iqr
    upper_bound = q3 + multiplier * iqr
    outliers = (data < lower_bound) | (data > upper_bound)
    return outliers, lower_bound, upper_bound

4.2 数据平滑与滤波：移动平均与中值滤波

测试数据中的高频噪声（如测量系统热噪声、量化噪声）会掩盖器件的真实物理特性，尤其在弱反型区（subthreshold region）和饱和区（saturation region）交界处，噪声可能导致跨导（gm）提取出现虚假峰值。平滑滤波的目标是抑制噪声而不显著改变信号的关键特征（如拐点、峰值）。

4.2.1 移动平均滤波（Moving Average）

移动平均滤波通过计算滑动窗口内数据点的算术平均值来平滑序列，窗口宽度 N 是核心参数。N 越大，平滑效果越强，但信号细节损失也越大。

4.2.2 中值滤波（Median Filter）

中值滤波以窗口内数据的中位数替代中心点值，对脉冲噪声（尖峰）具有极佳的抑制效果，同时能较好地保留信号边缘（如阈值电压附近的陡峭变化）。在半导体数据中，中值滤波特别适合处理因探针瞬间接触不良产生的孤立尖峰。

# Python 示例：移动平均与中值滤波实现
import numpy as np
from scipy.ndimage import median_filter

def moving_average(data, window=5):
    """移动平均滤波"""
    kernel = np.ones(window) / window
    return np.convolve(data, kernel, mode='same')

def median_filter_1d(data, size=5):
    """中值滤波"""
    return median_filter(data, size=size)

4.3 缺失值插补策略

实测数据中缺失值可能由测试中断、通道故障、数据导出错误等原因造成。在SPICE建模中，缺失值会导致参数提取算法无法计算梯度或矩阵奇异。插补策略需根据缺失模式（随机缺失、完全随机缺失、非随机缺失）和数据特性（线性、非线性）选择。

4.3.1 常用插补方法对比

4.3.2 自动化插补策略选择规则

在自动化流程中，建议采用分级插补策略：

• 第一级（快速修复）： 缺失点少于连续3个时，使用线性插值或前向填充，计算开销极小。
• 第二级（曲线拟合）： 缺失段较长（3~10个点）且数据呈明显非线性时，使用三次样条插值。
• 第三级（标记跳过）： 缺失段超过总数据点20%或连续缺失超过10个点时，标记该曲线为“不可用”，不进行插补，避免引入虚假信息。

# Python 示例：自动化插补策略实现
import numpy as np
from scipy.interpolate import CubicSpline

def auto_impute(x, y, max_gap=10, threshold_ratio=0.2):
    """自动化缺失值插补"""
    mask = np.isnan(y)
    total_points = len(y)
    missing_ratio = np.sum(mask) / total_points
    
    if missing_ratio > threshold_ratio:
        return None, "数据不可用：缺失比例超过20%"
    
    # 查找连续缺失段
    gaps = []
    start = None
    for i, m in enumerate(mask):
        if m and start is None:
            start = i
        elif not m and start is not None:
            gaps.append((start, i-1))
            start = None
    if start is not None:
        gaps.append((start, len(mask)-1))
    
    y_imputed = y.copy()
    for gap_start, gap_end in gaps:
        gap_len = gap_end - gap_start + 1
        if gap_len <= 3:
            # 线性插值
            if gap_start > 0 and gap_end < len(y)-1:
                y0, y1 = y[gap_start-1], y[gap_end+1]
                for j in range(gap_start, gap_end+1):
                    t = (j - gap_start + 1) / (gap_len + 1)
                    y_imputed[j] = y0 + t * (y1 - y0)
        elif gap_len <= max_gap:
            # 样条插值
            valid_idx = ~mask
            if np.sum(valid_idx) > 3:
                cs = CubicSpline(x[valid_idx], y[valid_idx])
                y_imputed[gap_start:gap_end+1] = cs(x[gap_start:gap_end+1])
        else:
            # 标记为不可用
            return None, f"连续缺失{gap_len}点，超过阈值{max_gap}"
    
    return y_imputed, "插补成功"

4.4 自动化预处理流水线架构

将上述方法集成到自动化流程中，形成标准化的数据预处理流水线。该流水线应支持模块化配置、可回溯日志和异常告警，确保从原始测试数据到清洗后数据的全链路可追溯。

通过本章的方法与架构，读者应能构建一套适用于半导体器件实测数据的自动化预处理系统，为后续的参数提取与模型校准提供高质量的数据基础。