📚 课程目录第3章数据采集与整理

3、数据采集与整理：从喂养记录到可用数据资产

喂养记录是婴幼儿健康管理中最基础、最连续的数据来源。无论是新手父母手写的纸质日记、儿科门诊的电子表格，还是智能喂养APP自动生成的时间轴，这些原始记录都蕴含着评估生长趋势的关键信息。然而，原始记录≠可用数据。本章聚焦于“采集”与“整理”两个核心动作：建立多源数据的统一采集规范，并掌握去重、补缺、纠错的数据清洗技巧，为后续的生长曲线绘制与趋势解读奠定可靠基础。

3.1 多源喂养记录的特征与采集策略

不同来源的喂养记录在格式、粒度、时效性和可靠性上存在显著差异。理解这些差异是制定采集策略的前提。

3.1.1 三类主要数据源的特征对比

数据源类型	典型格式	时间粒度	优势	局限
纸质记录	手写表格、日记本	日/次	灵活、无技术门槛	易丢失、字迹难辨、无自动校验
电子表格	Excel/CSV/Google Sheets	可精确到分钟	可排序筛选、便于计算	依赖人工录入、易产生重复行
智能APP	JSON/数据库导出	自动时间戳	自动记录、提醒、可视化	数据格式封闭、导出受限

采集策略核心原则：建立“主数据源+辅助校验”的双轨机制。例如，以APP自动记录为主数据源，同时每周将纸质记录中的关键字段（如每日总奶量、特殊事件）转录到电子表格中作为交叉验证。对于电子表格，应统一列名规范：日期、时间、喂养类型（母乳/配方奶/辅食）、奶量(ml)、喂养时长(min)、备注。

经验提示：在采集阶段就建立“数据字典”，明确每个字段的取值范围和单位。例如，奶量统一用毫升（ml），时长统一用分钟（min），避免后续清洗时进行大规模单位换算。

3.2 数据清洗：去重、补缺、纠错实战

数据清洗是决定分析质量的关键环节。原始数据中常见的“脏数据”包括：重复记录、缺失值、异常值、逻辑矛盾值。以下按操作流程展开。

3.2.1 去重（Deduplication）

核心原理：同一喂养事件可能被多个设备或人工重复记录。例如，妈妈在APP上记录了一次喂奶，同时又在纸质本上写了一遍，之后转录电子表格时又生成了一行。

判断方法：采用“时间窗口+关键字段”双重匹配。设定时间窗口为±3分钟，若两条记录的时间差在窗口内，且喂养类型、奶量字段一致，则判定为重复记录。

# 伪代码示例：基于时间窗口的去重逻辑
for record in records:
    if record.time - previous_record.time <= 3min:
        if record.type == previous_record.type and record.amount == previous_record.amount:
            mark_as_duplicate(record)
            # 保留时间戳更早、备注更完整的一条

3.2.2 补缺（Missing Value Imputation）

核心原理：缺失值处理需区分“随机缺失”与“系统性缺失”。随机缺失（如某天忘记记录）可采用插补法；系统性缺失（如某设备连续一周未同步）则需回溯原始来源。

操作流程：

缺失模式分析：统计每个字段的缺失率。若缺失率 > 20%，需考虑该字段是否可依赖。
插补策略选择：
- 邻近均值插补：适用于奶量等连续变量，取前后各2天的平均值。
- 同类中位数插补：按喂养类型分组后取中位数。
- 回归插补：利用体重、月龄等变量建立回归模型预测缺失值（适用于科研场景）。
标记插补记录：在数据集中增加“是否插补”列，便于后续分析时区分真实值与估算值。

3.2.3 纠错（Error Correction）

核心原理：异常值不一定是错误，但需要人工判断。常见错误包括：单位错误（如将盎司当作毫升）、小数点错位、时间逻辑矛盾（如喂养时长超过2小时）。

判断方法：采用“物理可行性+统计离群”双重检验。

检验维度	规则示例	处理方式
物理可行性	单次奶量 > 300ml（新生儿）	标记为可疑，核对原始记录
统计离群	奶量 > 均值+3倍标准差	检查是否因辅食添加或疾病导致
逻辑一致性	喂养时长 > 60min 且奶量 < 20ml	可能为安抚性吸吮，需重新分类

风险警示：纠错时切忌“一刀切”删除异常值。例如，某天宝宝因猛长期奶量突增50%，这恰恰是生长趋势分析的重要信号。应先标记、后验证、再决定保留或修正。

3.3 案例拆解：从混乱的三个月记录到干净的分析数据集

背景与约束：某儿童保健中心收集了50名婴儿的喂养记录，数据来源包括家长提交的纸质问卷（约40%）、门诊电子表格（35%）和一款主流喂养APP的导出数据（25%）。目标是分析0-6月龄婴儿的奶量增长趋势。初始数据共12,000条记录，但质量参差不齐。

初始现象：

纸质问卷中约15%的记录日期缺失或模糊（如“上周三”）。
电子表格中存在大量重复行（同一时间点被录入两次）。
APP导出数据中，有约8%的记录奶量为0或超过500ml（明显异常）。

分析判断过程：

去重：按“婴儿ID+时间戳±5分钟”匹配，共识别出1,200条重复记录，保留信息更完整的一条，删除其余。
补缺：对于缺失日期的记录，通过APP中的喂养间隔推算大致日期；若无法推算，则标记为“日期不可靠”，不纳入趋势分析。
纠错：对奶量>500ml的记录，逐一核对原始备注。发现其中60%为“母乳+配方奶混合喂养”未拆分记录，故拆分为两条；20%为录入错误（如多打一个零），修正为原值的1/10；剩余20%确认为真实值（如9月龄婴儿单次奶量可达300ml以上），予以保留。

结果对比：

指标	清洗前	清洗后	变化率
总记录数	12,000	10,350	-13.8%
缺失日期占比	15%	3%	-80%
异常奶量占比	8%	0.5%	-93.8%
数据完整性评分	72/100	96/100	+33%

复盘经验：清洗过程耗时约6人·小时，但显著提升了后续趋势分析的置信度。关键教训是：在采集阶段就应设计“必填字段”和“单位默认值”，可减少70%的清洗工作量。

3.4 常见误区与总结复盘

误区一：追求“完美数据”而过度清洗。过度插补或删除可能扭曲真实生长规律。正确做法是保留“原始值”与“清洗值”双版本。

误区二：忽视时间戳的时区与夏令时问题。APP导出数据若涉及跨时区记录，需统一转换为UTC或本地标准时间。

误区三：将“清洗”等同于“删除”。清洗的核心是“标记+修正”，而非简单丢弃。建议在数据集中增加“数据质量标记”字段（0=原始可靠，1=插补，2=修正，3=可疑）。

  本章核心要点：
  采集阶段：建立统一字段规范，明确主数据源与辅助校验源。
去重：时间窗口+关键字段双重匹配，保留信息最完整记录。
补缺：区分随机缺失与系统性缺失，优先采用邻近均值或同类中位数插补。
纠错：物理可行性+统计离群双重检验，异常值先标记后处理。
质量评估：完整性≥95%、准确性误差<5%、跨源匹配率≥90%。

完成数据采集与清洗后，下一步即可将整理好的喂养记录按时间序列排列，计算每日总奶量、喂养频次、单次平均奶量等衍生指标，为生长趋势分析提供标准化的数据输入。值得注意的是，清洗过程应全程记录操作日志，确保分析结果的可追溯性。