4、数据规范与清洗：学习如何统一数据格式、处理缺失值、异常值、重复记录，确保数据质量可靠
女性健康数据的采集渠道日益多元，从智能手环、体脂秤、经期管理App，到医院的检验报告、体检中心的影像结论，再到日常问诊记录和主观症状自评。这些数据在字段命名、计量单位、时间粒度、取值口径上往往存在显著差异。如果未经清洗直接进入趋势复盘，轻则导致统计指标失真，重则让健康干预建议产生方向性误导。数据规范与清洗的本质，不是简单删除“坏数据”，而是建立一套可追溯、可复现、可审计的质量控制流程，让原始数据转化为可分析的资产。
上图展示了女性健康数据从多源接入到分析数据集输出的完整链路。核心在于“统一规范层”与“清洗处理层”的协同：前者解决口径问题，后者解决质量问题。质量反馈回路确保清洗规则随数据特征变化持续迭代。下面从四个模块展开讲解。
4.1 核心原理：数据质量维度与清洗目标
数据清洗不是一次性动作，而是围绕数据质量维度持续开展的系统工程。在女性健康场景中，需要重点关注以下四个质量维度：
- 完整性（Completeness）：指数据记录中字段缺失的程度。例如经期记录中“经量”字段缺失、体温测量中“测量时间”缺失、体检报告中“BMI”未计算等。缺失比例超过阈值时，相关分析结论的可信度将显著下降。
- 准确性（Accuracy）：指数据值与真实情况的一致程度。例如体脂秤将身高175cm误录为157cm、血糖仪读数超出生理极限、孕周计算与末次月经日期矛盾等。
- 一致性（Consistency）：指同一实体在不同数据源或不同字段间的逻辑统一。例如手环记录的睡眠时长与App手动录入的入睡时间冲突、检验报告中的“雌二醇”单位pg/mL与ng/L混用等。
- 时效性（Timeliness）：指数据是否在预期时间窗口内可用。例如基础体温需要晨起固定时间测量，若记录时间偏移超过2小时，其周期趋势判断价值将大打折扣。
清洗目标可以概括为：将原始数据转化为满足“分析就绪”（Analysis-Ready）状态的数据集。这意味着数据字段命名统一、单位一致、缺失值有明确策略、异常值有据可查、重复记录已合并去重，且每一步操作都有日志记录可供审计。
关键认知：清洗不是“删数据”，而是“理解数据”。每一次删除或填充操作，都应基于对女性生理周期、疾病特征、测量原理的深入理解，而非机械套用统计规则。例如，经期周期长度在21-35天之间波动属于正常，但若某条记录显示周期为60天，可能是多囊卵巢综合征的信号，也可能是录入错误——需要结合其他字段综合判断。
4.2 判断方法与操作流程：四步清洗法
针对女性健康数据的特殊性，推荐采用“四步清洗法”作为标准操作流程。每一步都有明确的输入、操作要点和输出物。
| 步骤 | 核心任务 | 关键操作 | 输出物 |
|---|---|---|---|
| 第一步：格式统一 | 字段命名、单位、时间格式标准化 | 统一字段名为snake_case；单位统一为国际标准；时间统一为ISO 8601 | 字段映射表、单位换算表 |
| 第二步：缺失值处理 | 识别缺失模式，制定填充或删除策略 | 区分随机缺失与非随机缺失；时间序列用插值法；关键字段缺失则标记 | 缺失值报告、填充规则说明 |
| 第三步：异常值检测 | 识别超出生理范围或统计范围的值 | 结合IQR法、Z-score法与生理知识阈值双重校验 | 异常值清单、处理决定 |
| 第四步：重复记录合并 | 识别并合并同一实体的多条记录 | 基于时间戳+ID+关键字段相似度匹配 | 去重日志、保留记录说明 |
在具体执行中，每一步都需要结合女性健康数据的特殊性。以格式统一为例，需要特别注意以下场景：
- 单位换算：激素水平检测中，雌二醇（E2）常见单位有pg/mL和pmol/L，换算系数为1 pg/mL = 3.671 pmol/L；孕酮（P）有ng/mL和nmol/L，换算系数为1 ng/mL = 3.18 nmol/L。若混用单位直接分析，会导致趋势判断完全错误。
- 时间粒度对齐：手环记录的睡眠数据精确到分钟，而经期App记录精确到天。在分析“睡眠与经期关系”时，需要将分钟级数据聚合为天级，并明确聚合规则（如取均值、中位数或特定时段）。
- 枚举值标准化：经量描述在不同App中可能为“少/中/多”“轻/普通/重”“1/2/3”，需要映射为统一编码。建议使用0-3分制：0=无，1=少量，2=中等，3=大量。
4.3 案例拆解：某健康管理平台经期数据清洗实战
某女性健康管理平台计划基于用户历史数据复盘“经期不规律与生活方式因素”的关联。原始数据来自三个渠道：App手动记录、智能手环同步、体检报告导入。数据量为12,000名用户、约36万条经期记录。初始数据存在以下问题：
- 时间格式混乱：有“2024/3/5”“2024-03-05”“2024.3.5”三种格式；
- 周期长度异常：部分记录显示周期为5天或90天，明显超出正常范围；
- 缺失严重：经量字段缺失率达32%，睡眠时长缺失率18%；
- 重复记录：约5%的用户存在同一天两条记录（App手动+手环自动同步）。
清洗策略制定：
第一步，格式统一。编写字段映射脚本，将所有日期转为YYYY-MM-DD格式，时间戳统一为东八区。单位方面，将体检报告中的激素水平统一换算为pg/mL和ng/mL。经量描述映射为0-3分制。
第二步，缺失值处理。经量字段缺失率较高，但该字段对“经期不规律”分析并非核心变量，因此不进行填充，而是将缺失标记为-1，在分析时作为独立分组处理。睡眠时长缺失则采用同用户前后7天中位数插补，插补后仍缺失的记录从睡眠相关分析中剔除。
第三步，异常值检测。采用“生理阈值+统计阈值”双重校验。生理阈值设定为周期长度15-60天（超出则判定为异常），经期长度2-10天。统计阈值采用IQR法，对周期长度计算Q1和Q3，将超出Q1-1.5×IQR或Q3+1.5×IQR的值标记为潜在异常。最终识别出1,240条周期异常记录，其中约70%为录入错误（如将28录为82），30%为真实异常（如多囊卵巢综合征用户）。录入错误直接修正，真实异常保留但添加标记字段。
第四步，重复记录合并。基于“用户ID+日期”为键，若两条记录日期相同，则保留App手动记录（因为手动记录通常包含更多主观信息），删除手环自动同步记录。若两条记录字段互补，则合并为一条完整记录。
清洗结果对比：
| 质量指标 | 清洗前 | 清洗后 | 提升幅度 |
|---|---|---|---|
| 日期格式统一率 | 67% | 100% | +33% |
| 周期长度异常占比 | 3.4% | 0.9% | 异常减少74% |
| 经量字段缺失率 | 32% | 32%（标记处理） | 缺失模式已明确 |
| 重复记录占比 | 5.2% | 0.1% | 重复减少98% |
复盘经验：清洗过程中发现，异常周期记录中约30%为真实病理信号，因此在清洗后需要保留“异常标记”字段，供后续医学分析使用。同时，清洗规则需要版本化管理，每次规则调整都应记录变更原因和影响范围，确保分析结果可复现。
4.4 常见误区与总结复盘
在女性健康数据清洗实践中，以下误区需要特别警惕：
误区一：过度清洗导致信息丢失。将超出统计范围的值一律删除，可能误删真实病理信号。例如，周期长度45天对于多囊卵巢综合征用户是真实特征，不应删除。正确做法是标记而非删除，在分析时区分“录入错误”和“真实异常”。
误区二：忽视时间上下文。女性健康数据高度依赖时间上下文。例如，基础体温在排卵日会上升0.3-0.5℃，若仅按全局统计阈值判断，可能将排卵日体温标记为异常。清洗时应结合周期阶段进行分层判断。
误区三：填充策略一刀切。对于缺失值，不应统一使用均值填充。例如，经期第一天经量通常较大，若用整体均值填充，会低估经量峰值。建议按周期天数分组填充。
总结复盘要点：
- 清洗规则必须文档化：每条规则应包含规则名称、适用字段、判断逻辑、处理动作、负责人、生效日期。建议使用Markdown或Wiki维护规则库。
- 清洗前后数据量对比：每次清洗应记录原始记录数、删除记录数、修正记录数、填充记录数，确保数据量变化可解释。
- 保留原始数据备份：清洗操作应在副本上进行，原始数据永久保留。建议使用Git LFS或数据版本工具管理清洗脚本和数据快照。
- 建立质量监控看板：对关键字段的缺失率、异常率、重复率进行月度监控，趋势恶化时及时预警。
实操建议：对于中小型团队，推荐使用Python的pandas库配合自定义规则函数完成清洗。将清洗逻辑封装为独立模块，输入原始DataFrame，输出清洗后DataFrame和清洗报告。清洗报告应包含每步操作的行数变化、字段统计信息，便于审计和复盘。
数据规范与清洗是女性健康数据趋势复盘中投入产出比最高的环节。一个经过精心清洗的数据集，不仅能让后续统计分析更加可靠，还能在数据中挖掘出有价值的临床线索。建议在实际项目中，将清洗时间预算设定为总分析时间的40%-50%，并建立清洗规则库持续迭代，让数据质量成为团队的核心竞争力。