数据整理预备：缺失值、异常值与重复值的处理原则

在历年健康数据趋势分析中，数据质量直接决定分析结论的可靠性。无论是体检指标、慢病随访记录、医保结算数据，还是可穿戴设备采集的连续生理信号，原始数据几乎不可避免地存在缺失、异常和重复三类问题。若未经处理直接进入趋势建模，轻则导致统计指标偏移，重则使趋势判断完全失真。本章围绕数据清洗的三大核心任务——缺失值处理、异常值识别、重复值去重，系统讲解其基本概念、判断方法、处理原则与实战要点，为后续健康数据趋势分析打下坚实基础。

一、核心原理：数据清洗的本质与决策框架

数据清洗并非简单地“删掉坏数据”，而是在保留有效信息与消除噪声之间寻找平衡。健康数据具有强连续性、强个体差异性和临床敏感性，处理不当会引入系统性偏差。例如，某年体检数据中收缩压字段缺失率高达15%，若直接删除这些记录，可能导致老年人群样本量骤减，使后续高血压趋势分析产生偏倚。因此，清洗决策必须基于三个核心原则：保留信息最大化、引入偏差最小化、处理过程可追溯。

从数据质量维度看，三类问题各有其产生机制。缺失值可能源于设备故障、受检者未完成项目、数据录入遗漏或系统迁移丢失；异常值可能来自测量误差、记录错误、真实极端生理状态（如急性病发作时的血压骤升）或单位换算错误；重复值则多因多源数据合并、重复录入或同一患者多次就诊记录未正确关联而产生。理解产生机制是选择处理方法的先决条件。

二、缺失值处理：判断机制与填充策略

缺失值处理的第一步不是“怎么填”，而是“为什么缺失”。统计学上将缺失机制分为三类：完全随机缺失（MCAR）、随机缺失（MAR）和非随机缺失（MNAR）。MCAR指缺失与任何变量无关，如设备临时故障；MAR指缺失与其他已观测变量相关，如老年人更易漏做运动负荷试验；MNAR指缺失与缺失值本身相关，如病情严重者拒绝填写生活质量问卷。健康数据中MNAR并不少见，此时简单删除或填充都会引入严重偏倚。

处理策略需结合缺失比例与分析目标综合判断。当缺失率低于5%且为MCAR时，可直接删除缺失记录；当缺失率在5%-20%之间，优先考虑填充方法；当缺失率超过20%，需评估该变量是否适合纳入分析，或考虑更复杂的多重插补法。常用填充方法包括：均值/中位数填充（适用于近似正态分布且缺失率低）、前向/后向填充（适用于时间序列数据）、回归插补（利用其他变量预测缺失值）、多重插补（通过多次模拟生成多个完整数据集）。

在历年健康数据趋势分析中，时间序列数据的缺失处理需格外谨慎。例如，某社区连续5年的BMI监测数据中，2022年因体检机构更换导致3月份数据整体缺失。此时若使用均值填充，会掩盖季节性波动；若使用前向填充，则可能将2021年的水平错误延续。更合理的做法是使用同季度其他年份的同期均值，或建立混合效应模型进行插补。

三、异常值识别：统计方法与业务规则结合

异常值识别不能仅依赖单一方法，必须将统计检测与业务逻辑相结合。健康数据中的“异常”具有双重含义：统计学上的离群点（如收缩压300mmHg）和临床意义上的异常值（如空腹血糖7.0mmol/L以上）。前者可能是录入错误，后者可能是真实病理状态。因此，识别策略应分层进行。

常用统计方法包括：3σ原则（适用于近似正态分布数据，超出均值±3倍标准差视为异常）、IQR四分位距法（以Q1-1.5×IQR和Q3+1.5×IQR为界，对偏态分布更稳健）、Z-score标准化（将数据转换为标准正态分布后设定阈值）。对于多变量场景，可使用DBSCAN聚类或孤立森林算法识别局部异常。但统计方法只能标记“可疑点”，最终判定需结合业务规则。

实战中，建议建立“异常值三层审核机制”：第一层用IQR或3σ自动标记；第二层由数据分析师结合字段逻辑（如年龄-血压关系、性别-血红蛋白差异）进行筛选；第三层由临床顾问复核不确定项。以某三甲医院10年门诊血压数据为例，初始标记出2,847个异常点，经三层审核后，确认其中1,932个为录入错误（如收缩压与舒张压颠倒），615个为真实极端值（多为急诊患者），300个为设备校准问题导致的系统性偏移。最终仅对录入错误进行修正，真实极端值保留但单独标注。

四、重复值去重：识别粒度与保留策略

重复值处理的关键在于定义“重复”的粒度。完全重复（所有字段一致）相对容易处理，但健康数据中更常见的是部分重复——同一患者在不同时间点的记录，或同一事件被多个系统重复上报。例如，某患者在同一天于门诊和体检中心各测一次血压，两条记录的时间戳、科室、设备编号不同，但患者ID和血压值相同。此时需要根据分析目标决定保留哪条。

去重操作应遵循以下流程：首先，确定唯一标识符（如患者ID+检查日期+检查项目）；其次，设定去重规则（完全匹配或模糊匹配）；然后，选择保留策略（保留最早记录、最新记录、或质量最高记录）；最后，验证去重效果。对于时间序列数据，还需考虑时间窗口去重——例如，同一患者24小时内的多次血压测量可能取平均值而非简单去重。

# 示例：Python中基于关键字段的去重逻辑
import pandas as pd

df = pd.read_csv('health_data.csv')
# 定义去重键：患者ID + 检查日期 + 项目代码
df_dedup = df.drop_duplicates(
    subset=['patient_id', 'check_date', 'item_code'],
    keep='last'  # 保留最新记录
)
# 检查去重前后记录数变化
print(f"去重前: {len(df)} 行, 去重后: {len(df_dedup)} 行")

在历年健康数据合并场景中，重复值往往源于多源数据整合。例如，将医院HIS系统与社区健康档案合并时，同一患者的血压记录可能同时存在于两个系统，且测量时间相差数小时。此时不应简单去重，而应设计“数据融合规则”——若两条记录时间差小于1小时且数值差异小于5mmHg，取平均值；若差异大于10mmHg，则保留更接近临床诊断的记录并标注另一条为待核验。

五、案例拆解：某市十年糖尿病筛查数据清洗实战

某市疾控中心计划分析2015-2024年糖尿病筛查数据中的空腹血糖趋势，原始数据集包含12.8万条记录，涉及年龄、性别、空腹血糖、糖化血红蛋白、BMI、家族史等12个字段。初步质量评估发现三类问题：缺失值占8.3%（主要集中在糖化血红蛋白字段，缺失率15.2%）；异常值初步标记1,240条（血糖值>30mmol/L或<1.0mmol/L）；重复记录2,356条（同一患者同一年度多次筛查）。

处理过程：第一步，缺失值分析发现糖化血红蛋白缺失与年龄显著相关（65岁以上人群缺失率22%），判定为MAR机制，采用回归插补法，以空腹血糖、年龄、BMI为预测变量建立线性回归模型进行填充。第二步，异常值审核中，1,240条标记记录经临床顾问复核后，确认其中890条为血糖仪校准错误（同一批次设备连续出现偏高值），310条为真实极端值（多为新确诊重症患者），40条为录入错误（小数点位置错误）。对校准错误数据整体修正，录入错误逐条修正，真实极端值保留并添加“临床极端值”标签。第三步，重复值处理以“患者ID+筛查年份”为去重键，保留每年最后一次筛查记录，共去重2,356条。

结果对比：清洗前，原始数据计算的十年血糖均值呈不规则波动，2020年出现异常峰值（均值8.2mmol/L）；清洗后，该峰值回落至7.1mmol/L，与当年疫情导致筛查人群结构变化（更多重症患者主动筛查）的解释一致。清洗前后趋势线的R²从0.62提升至0.81，年度变化率的标准差从0.45降至0.28，趋势判断更加稳定。

复盘经验：本次清洗中最大的教训是——不能对所有异常值“一刀切”删除。若直接删除310条真实极端值，会导致2020-2022年血糖均值被低估约0.3mmol/L，可能错误地得出“疫情期间血糖控制改善”的结论。此外，回归插补虽然有效，但需验证插补模型的稳定性，建议在最终分析中同时报告“完整案例分析”和“插补后分析”两种结果，以评估插补带来的不确定性。

六、常见误区与总结复盘

数据清洗实践中，以下误区最为常见：误区一：过度依赖自动清洗工具，忽略业务逻辑校验。例如，某工具将BMI>40自动标记为异常并删除，但专业运动员或特定人群的BMI可能真实偏高。误区二：缺失值一律用均值填充。当数据呈偏态分布或存在多个子群时，均值填充会压缩方差，削弱趋势分析中的组间差异。误区三：重复值去重后不验证。去重操作可能误删有效记录，尤其是当唯一标识符存在缺失或错误时。误区四：清洗过程不记录、不审计。这导致分析结果无法复现，在健康数据监管日益严格的背景下存在合规风险。

总结本章核心要点：缺失值处理需先判断缺失机制，再选择删除、填充或忽略策略；异常值识别必须统计方法与业务规则双轨并行，区分“错误值”与“真实极端值”；重复值去重要明确粒度定义，结合时间窗口与业务场景制定保留规则。所有清洗操作都应形成文档，确保从原始数据到分析数据的每一步转换都有据可查。在历年健康数据趋势分析中，数据清洗不是一次性的预处理步骤，而应贯穿整个分析生命周期——当发现趋势异常时，应回溯清洗规则，检查是否存在未被识别的数据质量问题。