4. 数据导入与预处理：从CSV/Excel读取测量数据，数据清洗与异常值剔除，单位换算

在MOSFET参数提取流程中，测量数据的质量直接决定了后续拟合与提取的准确性。原始测量数据通常由半导体参数分析仪（如Keysight B1500、Keithley 4200）生成，以CSV或Excel格式保存。本章将系统讲解如何将这些原始数据高效、准确地导入Python环境，并进行必要的清洗、异常值剔除与单位换算，为后续的I-V/C-V曲线拟合奠定坚实的数据基础。

4.1 数据读取：从文件到DataFrame

Python的Pandas库是处理表格数据的核心工具。针对CSV和Excel文件，我们采用不同的读取策略，并处理常见的格式陷阱。

4.1.1 CSV文件读取

CSV文件是最常见的测量数据格式。使用 pandas.read_csv() 时，需注意以下参数：

• skiprows：跳过文件开头的注释行或仪器信息行。
• header：指定列名所在的行号。
• sep/delimiter：指定分隔符（逗号、制表符或空格）。
• na_values：将特定字符串（如 "N/A", "Overload"）识别为缺失值。

import pandas as pd
import numpy as np

# 读取典型的Keysight B1500 CSV输出
# 文件前20行为仪器配置，第21行为列名
df_idvg = pd.read_csv(
    'Id_Vg_NMOS.csv',
    skiprows=20,          # 跳过前20行仪器信息
    header=0,             # 第21行作为列名
    sep=',',              # 逗号分隔
    na_values=['N/A', 'Overload', '-----']  # 标记无效数据
)

# 查看前几行确认数据格式
print(df_idvg.head())

4.1.2 Excel文件读取

Excel文件通常包含多个工作表（Sheet），且可能存在合并单元格。使用 pandas.read_excel() 时，需指定工作表名称或索引。

# 读取Excel文件中的特定工作表
df_cv = pd.read_excel(
    'C_V_measurement.xlsx',
    sheet_name='Cgg_Vg',      # 指定工作表名称
    header=0,
    skiprows=5                # 跳过前5行注释
)

# 处理合并单元格：向前填充缺失的索引列
df_cv['Device'] = df_cv['Device'].fillna(method='ffill')

4.1.3 数据读取常见问题与对策

4.2 数据清洗：缺失值与重复值处理

测量数据中常见的“脏数据”包括缺失值、重复行以及由于仪器抖动产生的异常跳点。清洗策略需结合物理背景，避免引入人为偏差。

4.2.1 缺失值处理

缺失值在测量数据中通常表现为NaN。处理策略取决于缺失值的分布和物理意义：

• 直接删除：当缺失值占比很小（<5%）且随机分布时，使用 df.dropna()。
• 插值填充：对于连续的I-V或C-V曲线，使用线性插值或样条插值填充缺失点。
• 前向/后向填充：适用于时间序列或阶梯扫描数据。

# 策略1：删除包含任何NaN的行
df_clean = df_idvg.dropna()

# 策略2：对特定列进行线性插值（适用于连续扫描）
df_idvg['Id'] = df_idvg['Id'].interpolate(method='linear')

# 策略3：前向填充（适用于分组测量数据）
df_cv['Capacitance'] = df_cv.groupby('Device')['Capacitance'].fillna(method='ffill')

4.2.2 重复值检测与移除

重复的测量点可能由仪器误触发或文件拼接错误导致。重复值会扭曲拟合结果，必须识别并移除。

# 检测完全重复的行
duplicates = df_idvg.duplicated()
print(f"重复行数: {duplicates.sum()}")

# 基于关键列（如Vg）检测重复，保留第一个测量值
df_idvg = df_idvg.drop_duplicates(subset=['Vg'], keep='first')

# 排序确保数据单调性
df_idvg = df_idvg.sort_values(by='Vg').reset_index(drop=True)

4.3 异常值剔除：基于物理与统计的方法

异常值（Outliers）可能来源于仪器噪声、探针接触不良或静电放电。剔除异常值需要结合MOSFET的物理特性，避免误删真实物理现象（如GIDL效应）。

4.3.1 物理约束法

基于MOSFET的基本物理规律，设定合理的数值边界：

• 电流约束：漏电流Id应为正值（增强型NMOS），且不超过仪器量程上限。
• 电容约束：栅电容Cgg应为正值，且不超过氧化层电容的理论最大值。
• 单调性约束：在亚阈值区，Id随Vg单调增加；在积累区，Cgg随Vg单调变化。

# 物理约束剔除异常值
def filter_physical_outliers(df, id_col='Id', vg_col='Vg'):
    """基于物理约束过滤异常值"""
    # 1. 电流必须为正
    mask_positive = df[id_col] > 0
    
    # 2. 电流不能超过仪器量程（假设量程为0.1A）
    mask_range = df[id_col] < 0.1
    
    # 3. 去除Vg扫描方向上的非单调跳变（差分超过3个标准差）
    diff = df[id_col].diff().abs()
    threshold = diff.mean() + 3 * diff.std()
    mask_monotonic = diff < threshold
    
    return df[mask_positive & mask_range & mask_monotonic].copy()

df_filtered = filter_physical_outliers(df_idvg)

4.3.2 统计方法：IQR与Z-score

对于无明显物理边界的参数（如阈值电压的统计分布），采用统计方法更为合适。

# IQR方法剔除异常值
def remove_outliers_iqr(df, column):
    Q1 = df[column].quantile(0.25)
    Q3 = df[column].quantile(0.75)
    IQR = Q3 - Q1
    lower_bound = Q1 - 1.5 * IQR
    upper_bound = Q3 + 1.5 * IQR
    return df[(df[column] >= lower_bound) & (df[column] <= upper_bound)]

# Z-score方法（适用于正态分布数据）
from scipy import stats
def remove_outliers_zscore(df, column, threshold=3):
    z_scores = np.abs(stats.zscore(df[column]))
    return df[z_scores < threshold]

4.4 单位换算：统一量纲与物理单位

测量数据中，不同参数可能使用不同的单位（如电流用A或mA，电容用F或pF）。单位换算是参数提取前的必要步骤，确保所有数据使用国际单位制（SI）。

4.4.1 常见单位换算表

4.4.2 自动化单位换算函数

编写一个通用的单位换算函数，根据列名中的单位标识自动进行转换。

def auto_convert_to_si(df):
    """自动将DataFrame中的测量单位转换为SI单位"""
    unit_map = {
        'mA': 1e-3, 'μA': 1e-6, 'uA': 1e-6, 'nA': 1e-9, 'pA': 1e-12,
        'mV': 1e-3,
        'pF': 1e-12, 'nF': 1e-9, 'fF': 1e-15,
        'mS': 1e-3, 'μS': 1e-6, 'uS': 1e-6,
        'MHz': 1e6, 'kHz': 1e3
    }
    
    df_converted = df.copy()
    for col in df_converted.columns:
        for unit, factor in unit_map.items():
            if unit in col:
                # 提取数值列并转换
                df_converted[col] = pd.to_numeric(df_converted[col], errors='coerce') * factor
                # 更新列名，移除单位标识
                df_converted.rename(columns={col: col.replace(f' ({unit})', '').replace(f'[{unit}]', '')}, inplace=True)
                break
    return df_converted

# 应用单位换算
df_si = auto_convert_to_si(df_idvg)
print("单位换算完成，所有数据已转换为SI单位制。")

4.5 数据预处理流程总览

下图展示了从原始测量文件到可用于参数提取的干净数据集的完整预处理流程：

4.6 完整预处理脚本示例

以下是一个集成了上述所有步骤的完整预处理函数，可直接用于实际测量数据：

def preprocess_mosfet_data(filepath, file_type='csv', **kwargs):
    """
    完整的MOSFET测量数据预处理流水线
    
    参数:
        filepath: 文件路径
        file_type: 'csv' 或 'excel'
        **kwargs: 传递给读取函数的额外参数
    
    返回:
        df_clean: 清洗后的DataFrame
        report: 预处理报告字典
    """
    report = {'initial_rows': 0, 'removed_nan': 0, 'removed_duplicates': 0, 
              'removed_outliers': 0, 'final_rows': 0}
    
    # 1. 数据读取
    if file_type == 'csv':
        df = pd.read_csv(filepath, **kwargs)
    elif file_type == 'excel':
        df = pd.read_excel(filepath, **kwargs)
    else:
        raise ValueError("file_type must be 'csv' or 'excel'")
    
    report['initial_rows'] = len(df)
    
    # 2. 数据清洗：缺失值
    nan_count = df.isna().sum().sum()
    df = df.dropna()
    report['removed_nan'] = nan_count
    
    # 3. 数据清洗：重复值
    dup_count = df.duplicated().sum()
    df = df.drop_duplicates()
    report['removed_duplicates'] = dup_count
    
    # 4. 异常值剔除（基于物理约束）
    df = filter_physical_outliers(df)
    report['removed_outliers'] = report['initial_rows'] - len(df) - report['removed_nan'] - report['removed_duplicates']
    
    # 5. 单位换算
    df = auto_convert_to_si(df)
    
    # 6. 排序与索引重置
    df = df.sort_values(by=df.columns[0]).reset_index(drop=True)
    
    report['final_rows'] = len(df)
    
    return df, report

# 使用示例
df_clean, report = preprocess_mosfet_data(
    'Id_Vg_NMOS.csv',
    file_type='csv',
    skiprows=20,
    header=0
)

print("预处理完成！")
print(f"原始行数: {report['initial_rows']}")
print(f"最终行数: {report['final_rows']}")
print(f"移除缺失值: {report['removed_nan']}")
print(f"移除重复值: {report['removed_duplicates']}")
print(f"移除异常值: {report['removed_outliers']}")