时序数据基础：时间戳、频率、采样、缺失值类型与时序数据特性
时序数据（Time Series Data）是随时间顺序记录的数据点序列，广泛存在于金融交易、工业传感器、服务器监控、医疗体征、气象观测等场景。与普通横截面数据不同，时序数据的核心在于“时间”这一维度——它不仅决定了数据的排列顺序，更隐含了数据生成过程的动态规律。理解时间戳、频率、采样方式、缺失值类型以及趋势、季节、周期、噪声等基本特性，是后续进行数据清洗、特征构造和模型选择的前提。本章将系统梳理这些基础概念，并给出可操作的判断方法与实战注意事项。
核心原理：时间戳、频率与采样
时间戳（Timestamp）是时序数据中每个观测点对应的具体时间标识，通常以标准格式（如 ISO 8601）或 Unix 时间戳存储。频率（Frequency）指数据采样的时间间隔，常见的有秒级、分钟级、小时级、日级等。采样（Sampling）则是从连续信号或高频数据中提取代表性子集的过程，分为等间隔采样和事件驱动采样。理解这三者的关系是处理时序数据的第一步：时间戳决定了数据的“坐标”，频率决定了数据的“粒度”，而采样方式决定了数据的“分布形态”。
在实际工程中，时间戳的解析与标准化是常见痛点。例如，不同数据源可能使用不同的时区、不同的日期格式（2024-01-01 12:00:00 vs 01/01/2024 12:00 PM），甚至存在时间戳重复或乱序的情况。频率的识别则直接影响后续的重采样策略——如果数据本应是小时级但实际存在分钟级抖动，就需要先进行对齐处理。
判断方法或操作流程：识别频率与采样模式
判断时序数据的频率与采样模式，可以遵循以下操作流程：
- 时间戳排序与去重：首先对时间戳进行升序排序，检查是否有重复值。重复时间戳可能意味着同一时刻有多个观测值，需要决定是聚合还是保留。
- 计算时间间隔序列：计算相邻时间戳的差值（
diff），得到间隔序列。如果间隔序列的众数稳定（例如绝大多数间隔为 3600 秒），则可判定为固定频率；如果间隔波动较大，则可能是不规则采样。 - 频率归一化：对于固定频率数据，将时间戳对齐到标准频率网格（如整点、整分）。对于不规则数据，需要决定是否重采样到固定频率，或使用时间窗口聚合。
- 采样模式识别：观察数据是均匀分布还是集中在某些时段（如交易数据集中在工作时段）。事件驱动采样（如点击流日志）通常具有高度不均匀的时间间隔。
| 特征 | 固定频率 | 不规则频率 | 事件驱动 |
|---|---|---|---|
| 时间间隔 | 恒定（如 5 分钟） | 波动较大 | 无规律，由事件触发 |
| 典型场景 | 气象站、监控指标 | 用户登录日志 | 交易记录、点击流 |
| 处理方式 | 直接使用或重采样 | 需重采样或时间窗口 | 需聚合为计数/频率特征 |
| 常见陷阱 | 时区偏移导致错位 | 缺失值难以定义 | 突发流量导致偏斜 |
缺失值类型：从机制到处理策略
时序数据中的缺失值比横截面数据更复杂，因为缺失可能发生在时间维度上，也可能发生在数值维度上。根据缺失机制，通常分为三类：完全随机缺失（MCAR）、随机缺失（MAR）和非随机缺失（MNAR）。MCAR 指缺失与任何变量无关，如传感器偶发断电；MAR 指缺失与其他观测变量相关，如高温导致设备停机；MNAR 指缺失与缺失值本身相关，如传感器在数值过高时自动关闭。
在时序场景中，还需要区分“点缺失”和“区间缺失”。点缺失是单个时间点无数据，区间缺失是连续一段时间无数据。区间缺失的处理难度远大于点缺失，因为简单的插值方法（如线性插值）在长区间缺失时会产生严重偏差。
案例拆解：工业传感器温度数据的频率识别与缺失处理
某工厂的温控系统每 10 秒记录一次温度数据，用于设备过热预警。但在实际采集过程中，由于网络抖动，部分时间戳出现延迟，且偶尔有 1-2 分钟的数据完全丢失。初始目标是构建一个温度异常检测模型，但原始数据质量不佳。
关键输入数据：原始 CSV 文件包含三列：timestamp、temperature、device_id。共 100 万条记录，时间跨度 30 天。
分析判断过程：
- 首先绘制时间戳间隔直方图，发现大部分间隔为 10 秒，但存在少量 20 秒、30 秒甚至 120 秒的间隔，说明存在数据延迟和丢失。
- 进一步检查发现，间隔为 120 秒的时段恰好对应网络维护窗口，属于 MNAR 缺失。
- 对于点缺失（间隔为 20 秒或 30 秒），采用线性插值补充；对于区间缺失（120 秒），使用前后各 5 个点的均值结合局部趋势进行填充。
实际操作步骤：
import pandas as pd
import numpy as np
# 读取数据并解析时间戳
df = pd.read_csv('temp_sensor.csv', parse_dates=['timestamp'])
df = df.sort_values('timestamp')
# 计算时间间隔
df['gap'] = df['timestamp'].diff().dt.total_seconds()
# 识别点缺失（间隔为20或30秒）并插值
point_mask = df['gap'].isin([20, 30])
df.loc[point_mask, 'temperature'] = np.nan
df['temperature'] = df['temperature'].interpolate(method='linear')
# 识别区间缺失（间隔>=60秒）并特殊处理
interval_mask = df['gap'] >= 60
# 对每个区间进行局部趋势填充（此处简化处理）
for idx in df[interval_mask].index:
start = df.index.get_loc(idx) - 1
end = min(start + 5, len(df)-1)
window = df.iloc[max(0,start-5):start+1]['temperature']
df.loc[idx, 'temperature'] = window.mean()结果对比：处理前，模型在缺失时段频繁误报；处理后，误报率降低 40%，且温度趋势保持平滑。风险在于插值可能掩盖真实异常，因此后续在特征工程中加入了“缺失标记”作为额外特征。
复盘经验：时序缺失处理不能一刀切，必须结合缺失机制和业务含义。同时，处理后的数据应保留缺失标记，以便模型学习缺失模式本身可能携带的信息。
时序数据特性：趋势、季节、周期与噪声
时序数据可分解为四个核心成分：趋势（Trend）、季节性（Seasonality）、周期性（Cycle）和噪声（Noise）。趋势是长期上升或下降的平滑方向；季节性是以固定时间间隔（如日、周、月）重复出现的模式；周期性是长度不固定的循环波动（如经济周期）；噪声是去除前三者后的随机波动。
判断这些特性的常用方法包括：
- 趋势判断：使用移动平均或 LOESS 平滑，观察平滑曲线的方向变化。
- 季节性判断：绘制自相关函数（ACF）图，若在滞后阶数等于季节周期处出现显著峰值，则存在季节性。
- 周期性判断：周期性通常需要结合业务知识，且周期长度不固定，难以通过 ACF 直接识别。
- 噪声评估：对去除趋势和季节后的残差进行白噪声检验（如 Ljung-Box 检验）。
| 特性 | 定义 | 识别方法 | 处理方式 |
|---|---|---|---|
| 趋势 | 长期方向性变化 | 移动平均、线性回归 | 差分、去趋势 |
| 季节性 | 固定周期重复 | ACF、STL 分解 | 季节差分、虚拟变量 |
| 周期性 | 非固定循环 | 业务知识、频谱分析 | 带通滤波、周期特征 |
| 噪声 | 随机波动 | 残差分析、白噪声检验 | 平滑、降噪 |
常见误区与总结复盘
在时序数据基础处理中，常见的误区包括：
- 忽略时区处理：不同时区的数据直接拼接会导致时间错位，应统一转换为 UTC 或指定时区。
- 盲目重采样：将不规则数据强行重采样为高频数据会引入大量缺失，重采样为低频数据则可能丢失细节。
- 混淆季节性与周期性：季节性周期固定（如每年 12 个月），周期性不固定（如经济衰退期长度不一），处理方法不同。
- 忽视缺失标记：缺失本身可能是有信息量的（如设备故障），应将其作为特征而非简单填充。
总结而言，时序数据的基础处理是后续所有分析的地基。时间戳、频率、采样、缺失值和数据特性这五个维度相互关联：频率决定了缺失值的定义方式，采样方式影响趋势和季节性的识别，而缺失类型又反过来影响重采样策略。在实际项目中，建议先完成时间戳标准化和频率识别，再进行缺失值处理，最后进行特性分解与特征构造。每一步都应记录处理日志，以便追溯和复现。