4、数据准备：数据采集、清洗、标准化、时间对齐与缺失值处理

月亮上升组合关系模式分析（以下简称“月升组合分析”）的结论可靠性，完全取决于输入数据的质量。无论后续采用何种统计模型或机器学习算法，若数据采集口径不一、存在噪声、时间轴错位或缺失严重，分析结果都可能失真甚至误导决策。本章聚焦于数据准备阶段的四大核心任务：数据采集、数据清洗、标准化处理、时间对齐与缺失值填补，并给出可落地的操作流程与实战案例。

4.1 数据采集：明确口径与多源整合

核心原理：月升组合分析通常需要三类数据：月亮升落时间（天文历法数据）、地理与气象观测数据（云量、能见度、湿度）、以及目标事件或行为记录（如观测活动、摄影记录、生物活动日志）。不同来源的数据具有不同的时间精度、坐标体系和更新频率，采集阶段必须明确每类数据的业务含义与物理单位。

操作流程：

1. 确定分析粒度：根据研究目标选择时间分辨率（分钟级、小时级或日级）。例如，分析“月升时刻与观测者行为”需精确到分钟；分析“月升前后气象条件”可放宽到小时级。
2. 数据源清单化：列出所有需要的数据源，包括API接口、数据库导出、手工记录表等，并记录字段说明、更新频率、访问权限。
3. 口径确认：统一时间标准（UTC或本地时区）、地理坐标格式（WGS84等）、数值单位（米/英尺、摄氏度/华氏度）。
4. 增量采集与快照备份：对动态数据（如实时气象）采用增量拉取，同时保留每日全量快照，便于回溯。

数据类别	典型字段	常见来源	采集频率
天文历法	月升时刻、月落时刻、月相、高度角	天文台历表、PyEphem、Skyfield	一次性/年度
气象观测	云量、能见度、温度、湿度、风速	气象站API、遥感数据	小时级/分钟级
行为记录	观测时间、位置、事件类型	日志系统、移动端打卡	事件驱动

4.2 数据清洗：去重、纠错与异常值处理

核心原理：原始数据往往包含重复记录、格式错误、逻辑矛盾（如月升时间晚于月落时间但月相为满月）以及极端异常值（如云量大于100%）。清洗的目标是让数据符合基本业务规则，为后续标准化提供干净底座。

判断方法与操作流程：

• 去重：基于主键（如“站点ID+时间戳”）检测完全重复或部分重复记录，保留最新版本或合并有效字段。
• 格式规范化：将日期时间统一为ISO 8601格式（YYYY-MM-DDTHH:mm:ssZ），数值字段去除千分位逗号、统一小数点符号。
• 逻辑校验：编写规则引擎检查字段间关系。例如：能见度 >= 0，云量 ∈ [0, 100]，月升时刻 < 月落时刻（在正常周期内）。
• 异常值识别：使用箱线图（IQR法）或Z-score法检测单变量异常；对于时间序列，可使用滑动窗口的中位数绝对偏差（MAD）识别突变点。

# 异常值检测示例（Python伪代码）
import pandas as pd
from scipy import stats

df['z_score'] = stats.zscore(df['cloud_cover'])
df_clean = df[(df['z_score'].abs() < 3) & (df['cloud_cover'].between(0, 100))]

4.3 标准化：量纲统一与编码一致

核心原理：不同来源的数据可能使用不同量纲（如温度用摄氏度与华氏度）、不同编码（如性别用“M/F”与“1/0”）、不同分类体系（如云量用“少云/多云/阴”与“0-4级”）。标准化使数据在统一尺度下可比，也是后续特征工程和模型训练的前提。

操作要点：

1. 数值型数据：若后续使用距离类算法（如KNN、SVM），需进行Z-score标准化或Min-Max缩放；若使用树模型，则非必需。
2. 类别型数据：统一映射为一致的标签编码或独热编码，并保存编码映射表以便解释。
3. 时间字段：转换为时间戳（Unix时间或日期时间对象），并提取衍生特征（如“距月升的小时数”）。
4. 地理坐标：统一为十进制度数，若涉及距离计算需转换为平面坐标（如UTM）。

字段	原始格式	标准化后	说明
温度	68°F	20.0°C	统一为摄氏度
云量等级	“多云”	2（0-4级）	建立等级映射
观测时间	“2024-03-15 19:30”	1710502200	转为Unix时间戳

4.4 时间对齐与缺失值处理

核心原理：月升组合分析要求所有特征在相同的时间点上对齐。例如，要分析“月升时刻前1小时的气象条件”，需要将气象数据重采样到与月升事件对齐的时间轴。由于数据源采样频率不同（气象站每小时记录，行为日志事件驱动），必然产生时间不匹配和缺失值。

操作流程：

• 定义对齐基准：以“月升事件”为锚点，构建相对时间轴（如T-60分钟、T-30分钟、T+0、T+30分钟）。
• 重采样：将高频数据降采样（如分钟级→小时级取均值），或将低频数据升采样（如小时级→分钟级用插值）。
• 缺失值处理：根据缺失机制选择方法：
  • 完全随机缺失：可删除或均值填补。
  • 随机缺失：使用多重插补（MICE）或KNN插补。
  • 非随机缺失：需分析缺失原因，避免引入偏差。
• 时间窗口特征：生成滑动窗口统计量（如过去3小时平均云量），减少单点缺失的影响。

4.5 案例拆解：某天文摄影项目的月升数据准备

背景与约束：某天文摄影团队计划分析“月升时刻与拍摄成功率”的关系，数据来自三个渠道：① 天文软件输出的月升时间表（精确到秒）；② 当地气象站的小时级观测数据（云量、能见度）；③ 摄影师手动记录的拍摄日志（时间精确到分钟，但存在漏记）。分析目标：构建一个时间对齐的数据集，用于预测“月升后30分钟内是否适合拍摄”。

初始现象与目标：初步统计发现，气象数据与拍摄日志的时间戳无法直接匹配——气象数据是整点记录，而月升时间往往在整点之间；且拍摄日志有约15%的缺失时间记录。

关键输入数据：

• 月升时间：2024-03-15 19:42:35（UTC+8）
• 气象数据：19:00 云量65%，能见度12km；20:00 云量80%，能见度8km
• 拍摄日志：19:45 开始拍摄，19:50 因云层遮挡中断

分析判断过程：

1. 时间对齐：以月升时刻T=19:42:35为基准，将气象数据线性插值到T-30min（19:12:35）和T+30min（20:12:35），得到云量分别为62%和78%。
2. 缺失处理：拍摄日志中19:40-19:44的记录缺失，采用前向填充（假设摄影师在等待月升），标记为“等待状态”。
3. 特征构建：生成“月升前30min平均云量”、“月升后30min能见度变化率”等特征。

实际操作步骤：

# 时间对齐与插值示例
import pandas as pd
from scipy.interpolate import interp1d

# 气象数据重采样到目标时间点
weather = pd.DataFrame({'time': ['19:00', '20:00'], 'cloud': [65, 80]})
target_times = ['19:12:35', '19:42:35', '20:12:35']
f = interp1d(weather['time'].apply(lambda x: int(x[:2])*60+int(x[3:])), weather['cloud'])
aligned_cloud = [f(int(t[:2])*60+int(t[3:5])+int(t[6:])/60) for t in target_times]

结果对比：对齐后的数据集包含12个完整样本（原9个），缺失率从15%降至2%。使用该数据集训练的决策树模型，预测拍摄成功率的准确率达78%，比未对齐前提升12个百分点。

风险与代价：插值引入了人为平滑，可能低估云量突变的真实影响；前向填充可能掩盖摄影师的实际等待行为。复盘时建议增加“数据质量标记”字段，区分原始值与插补值。

复盘经验：数据准备阶段应预留20%的时间进行质量验证，包括可视化检查时间序列曲线、对比插值前后分布差异、邀请业务人员确认特征含义。

4.6 常见误区与总结复盘

误区	后果	正确做法
忽略时区统一	月升时间与行为记录错位数小时	统一存储为UTC，展示时转换
机械删除异常值	丢失极端天气下的有效样本	结合业务规则判断，保留并打标
全局均值填补缺失	破坏时序连续性，引入偏差	使用插值或基于时间窗口的方法
未记录清洗规则	结果不可复现，团队协作困难	编写数据清洗日志与数据字典

总结：数据准备不是“一次性”工作，而是一个迭代过程。建议在每次月升组合分析前，先运行数据质量检查脚本，输出缺失率、异常值数量、时间覆盖度等指标，形成数据质量报告。只有经过严格准备的数据，才能支撑后续的模式发现与关系验证。