3. 数据预处理基础：数据清洗概念、异常值识别、缺失值处理策略
在ICCAP参数提取流程中，测量数据直接决定了提取结果的物理合理性与模型精度。然而，原始测量数据往往包含噪声、异常跳变、缺失点以及设备切换误差。数据预处理正是为了将这些“脏数据”转化为可用于拟合的干净数据集。本章将系统讲解数据清洗的核心概念、异常值的识别方法以及缺失值的处理策略。
核心原则：数据预处理的目标不是“美化”数据，而是去除测量过程中引入的非物理误差，保留真实的器件行为特征。过度处理会丢失物理信息，处理不足则导致参数提取失败。
3.1 数据清洗概念与流程
数据清洗（Data Cleaning）是指检测并纠正（或删除）数据集中不准确、不完整、不合理或重复的记录。在半导体器件测量中，数据清洗通常包含以下步骤：
- 格式统一：确保电压、电流、电容等物理量的单位与量纲一致（如 V、A、F）。
- 去重：移除因测量系统重复触发而产生的完全相同的记录行。
- 范围校验：检查测量值是否超出仪器量程或物理可能范围（如负电阻值）。
- 异常值识别：定位并标记统计上或物理上不合理的测量点。
- 缺失值处理：对测量序列中的空缺位置进行填充或插值。
- 平滑与去噪：在保留器件物理拐点（如阈值电压、击穿点）的前提下，滤除高频噪声。
3.2 异常值识别方法
异常值（Outlier）是指显著偏离数据集中其他观测值的测量点。在I-V特性曲线中，异常值通常表现为电流的突然跳变、负阻现象或超出物理模型预测范围的数值。常用的识别方法包括：
| 方法 | 原理 | 适用场景 | ICCAP中的典型应用 |
|---|---|---|---|
| Z-Score法 | 计算数据点与均值的标准差倍数，|Z|>3视为异常 | 近似正态分布的数据 | Id-Vg亚阈值区电流噪声检测 |
| IQR四分位法 | 超出Q1-1.5×IQR或Q3+1.5×IQR的点为异常 | 非对称分布、存在局部离群点 | 击穿电压附近的电流跳变 |
| 局部离群因子(LOF) | 基于局部密度比较识别离群点 | 密度不均匀的多模态数据 | 多温度I-V曲线中的异常曲线 |
| 物理约束法 | 基于器件物理设定电流/电压的合理范围 | 已知器件规格和测量条件 | 排除负电流、超量程饱和电流 |
ICCAP实践提示：在ICCAP的Data Display中，建议先绘制线性坐标和半对数坐标的I-V曲线，通过肉眼识别明显的跳变点。对于疑似异常点，使用
Transform → Filter功能进行条件筛选，而非直接删除，以便保留审计痕迹。
3.3 缺失值处理策略
缺失值在测量数据中通常表现为电压扫描序列中的电流空缺、电容-电压曲线中的断点或温度插值时的数据间隙。处理策略需根据缺失机制和数据特性选择：
| 策略 | 方法描述 | 优点 | 缺点 | ICCAP实现方式 |
|---|---|---|---|---|
| 删除法 | 直接移除包含缺失值的整行或整段数据 | 简单快速，不引入人为偏差 | 丢失信息，可能导致数据不连续 | Data Display中手动选择删除 |
| 线性插值 | 用缺失点前后两个有效点的连线值填充 | 保持数据连续性，计算量小 | 在拐点处可能失真 | Transform → Interpolate |
| 样条插值 | 使用三次样条函数拟合整段数据后插值 | 曲线平滑，适合非线性区域 | 可能过拟合噪声 | Python脚本调用scipy.interpolate |
| 模型预测填充 | 基于已有数据拟合物理模型后预测缺失值 | 物理一致性最好 | 依赖模型准确性，计算复杂 | ICCAP优化器拟合后回代 |
重要警告：在ICCAP参数提取中，禁止对击穿区、阈值电压拐点、饱和区等物理敏感区域使用线性插值。这些区域的缺失值应优先采用模型预测填充或样条插值，以避免引入非物理的线性过渡。
3.4 数据预处理在ICCAP中的实现
ICCAP提供了多种内置工具用于数据预处理，同时支持通过Python脚本实现更复杂的清洗逻辑。以下是一个典型的预处理脚本示例：
# ICCAP Python 数据预处理脚本示例
import iccap
import numpy as np
from scipy import interpolate
# 获取当前测量数据
vg = iccap.get_data("Vg_sweep")
id = iccap.get_data("Id_sweep")
# 1. 异常值识别：Z-Score法
z_scores = np.abs((id - np.mean(id)) / np.std(id))
outlier_mask = z_scores > 3
# 2. 标记异常值（不删除，仅标记）
id_clean = np.where(outlier_mask, np.nan, id)
# 3. 缺失值处理：样条插值
valid_mask = ~np.isnan(id_clean)
if np.sum(valid_mask) > 3:
spline = interpolate.CubicSpline(vg[valid_mask], id_clean[valid_mask])
id_filled = spline(vg)
else:
id_filled = id_clean # 有效点不足时保留原数据
# 4. 写回ICCAP
iccap.set_data("Id_clean", id_filled)
iccap.set_data("Outlier_flag", outlier_mask.astype(int))
最佳实践：在ICCAP中，建议将原始数据、清洗后数据和异常标记数据分别保存在不同的Data Set中（如
Raw、Clean、Flags），以便随时回溯对比。预处理脚本应作为Transform的一部分保存，确保可重复性。
3.5 数据预处理质量评估
完成预处理后，需要通过以下指标评估数据质量：
- 数据完整率：处理后有效数据点占总数据点的百分比，目标 > 95%。
- 异常值占比：被标记为异常的数据点比例，通常应 < 2%。
- 平滑度指标：计算相邻数据点的一阶差分标准差，与原始噪声水平对比。
- 物理一致性检查：验证预处理后的I-V曲线是否满足基本物理规律（如Ids随Vgs单调递增、无负阻等）。
| 评估指标 | 计算方法 | 可接受范围 | 超出范围的处理建议 |
|---|---|---|---|
| 数据完整率 | 有效点数 / 总点数 × 100% | ≥ 95% | 检查测量设置，考虑重新测量 |
| 异常值占比 | 异常点数 / 总点数 × 100% | ≤ 2% | 检查探针接触、仪器噪声 |
| 一阶差分标准差比 | σ(ΔId_clean) / σ(ΔId_raw) | 0.5 ~ 1.5 | 过小表示过度平滑，过大表示去噪不足 |
| 物理单调性 | 检查Id-Vg在非击穿区是否单调递增 | 100%通过 | 检查器件是否自热或存在测量错误 |
课程要点回顾：数据预处理是ICCAP参数提取的基石。异常值识别应结合统计方法与物理约束，缺失值处理需根据数据区域特性选择策略。清洗后的数据必须经过质量评估，确保其物理合理性与统计可靠性，才能进入后续的参数提取流程。