第一章：课程导入——学习目标、核心概念、整体框架、适用场景与工具链概览
时序数据（Time Series Data）是随时间顺序记录、带有时间戳的观测值序列，广泛存在于工业传感器、金融交易、服务器监控、医疗体征、自动驾驶轨迹等场景。与静态表格数据不同，时序数据具有时间顺序性、自相关性、趋势与季节性、非平稳性等独特性质，这使得其预处理与特征工程不能简单套用传统机器学习方法。本章作为课程总纲，将明确学习目标、界定核心概念、展示整体知识框架、梳理适用场景，并给出贯穿全课程的工程工具链概览，为后续各章节的深入展开奠定方法论基础。
上图展示了本课程的整体知识框架。从数据源出发，经过预处理、特征工程，最终进入建模与评估环节；核心概念贯穿始终，工具链为各环节提供支撑。下面我们将逐一展开本章的各个模块。
1.1 学习目标：从数据到特征的完整能力构建
本课程的学习目标并非仅仅教会你几个函数或算法，而是帮助你建立一套系统化的时序数据建模思维。完成本课程后，你应该具备以下四层能力：
- 第一层：数据理解能力——能够识别时序数据的类型（等间隔/非等间隔、单变量/多变量、平稳/非平稳），理解其统计特性（自相关、偏自相关、趋势强度），并能用可视化手段快速洞察数据形态。
- 第二层：预处理能力——掌握缺失值插补（前向填充、线性插值、样条插值、基于模型的方法）、异常值检测与处理（3σ法则、IQR、孤立森林、时序分解残差法）、重采样与对齐（降采样聚合、升采样插值、时区处理）、平滑去噪（移动平均、指数平滑、Savitzky-Golay滤波）等核心技术。
- 第三层：特征工程能力——能够根据业务场景和数据特性，构造出有区分度的特征集。包括统计特征（均值、方差、偏度、峰度）、时序特有特征（滞后特征、滑动窗口统计、差分特征、时间戳分解特征）、频域特征（FFT幅值、功率谱密度、频谱质心）、以及复杂特征（小波变换系数、符号化特征、熵特征）。
- 第四层：工程落地能力——能够使用Python工具链（Pandas、NumPy、SciPy、statsmodels、tsfresh等）高效实现上述流程，并理解特征选择与评估的方法（过滤式、包裹式、嵌入式），避免过拟合和泄漏。
1.2 核心概念：时序数据区别于静态数据的本质
要掌握时序数据预处理与特征工程，首先必须理解几个核心概念。这些概念是后续所有方法论的基石。
| 概念 | 定义 | 对预处理/特征工程的影响 |
|---|---|---|
| 时间戳与采样频率 | 每个观测点对应的时间标记；单位时间内采样次数 | 决定重采样策略、对齐方式、时间窗口大小 |
| 趋势（Trend） | 数据在长时间内的上升或下降方向 | 需通过差分或去趋势处理，否则特征会失真 |
| 季节性（Seasonality） | 固定周期内的重复模式（如日、周、年） | 需构造周期特征或进行季节性分解 |
| 平稳性（Stationarity） | 统计特性（均值、方差）不随时间变化 | 非平稳数据需差分或变换，否则模型失效 |
| 自相关性（Autocorrelation） | 序列与其自身滞后版本的相关性 | 决定滞后特征的有效阶数，影响特征选择 |
| 滑动窗口（Sliding Window） | 固定长度的时间窗口在序列上滑动 | 窗口大小和步长是特征构造的核心参数 |
以自相关性为例：如果某传感器数据在滞后5分钟时自相关系数高达0.9，说明当前值与前5分钟的值高度相关，那么构造滞后5分钟的特征就非常有价值。反之，如果自相关性在滞后1分钟后迅速衰减到0.1，则滞后特征的意义就不大。这种判断需要结合ACF（自相关函数）和PACF（偏自相关函数）图进行。
1.3 整体框架：从原始数据到建模输入的标准化流程
时序数据预处理与特征工程并非零散的操作，而是一条有逻辑的流水线。本课程将整个流程划分为五个阶段，每个阶段都有明确的目标和产出物。
- 阶段一：数据探查与质量评估——统计缺失率、异常值比例、时间间隔分布、数据范围等，形成数据质量报告。此阶段决定后续预处理策略的激进程度。
- 阶段二：数据清洗与对齐——处理缺失值、异常值、重复时间戳、非等间隔采样对齐、时区统一。产出物是干净、连续、等间隔的时间序列。
- 阶段三：序列变换与平滑——差分、对数变换、标准化/归一化、平滑去噪。目的是让数据满足模型假设或提升特征稳定性。
- 阶段四：特征构造——从时间域、频域、时频域三个维度构造特征。这是整个流程中最耗时也最体现功力的环节。
- 阶段五：特征评估与选择——通过相关性分析、重要性排序、交叉验证等方式筛选有效特征，防止维度爆炸和过拟合。
1.4 适用场景：哪些问题需要时序预处理与特征工程
并非所有带时间戳的数据都需要复杂的时序处理。本课程的方法适用于以下几类典型场景：
- 工业设备预测性维护——振动传感器、温度传感器、电流信号等高频数据，需要提取退化趋势特征、频域特征来预测剩余寿命。
- 金融量化交易——股票价格、交易量、波动率等，需要构造技术指标特征（移动平均线、RSI、MACD）、波动率特征、以及基于事件（财报发布、宏观数据）的特征。
- IT系统监控与异常检测——CPU使用率、内存占用、请求延迟、错误日志计数等，需要检测周期性异常、突刺、趋势漂移。
- 医疗健康监测——心电信号（ECG）、脑电信号（EEG）、血糖监测，需要提取心率变异性、波形形态特征。
- 能源负荷预测——电力负荷、风力发电量、太阳能输出，需要结合天气特征、日历特征（节假日、工作日）进行预测。
这些场景的共同特点是：数据具有明显的时间依赖结构，且预测或分类的目标与时间上下文密切相关。如果数据只是“恰好带个时间戳”，但时间顺序对结果没有影响，那么传统的静态特征工程方法可能更合适。
1.5 工具链概览：Python生态与工程化选型
本课程全程使用Python作为主要编程语言，围绕以下核心库展开：
| 工具 | 用途 | 典型场景 |
|---|---|---|
| Pandas | 数据加载、时间索引、重采样、缺失值处理 | 日常数据清洗与变换 |
| NumPy / SciPy | 数值计算、FFT、信号滤波、统计检验 | 频域特征提取、平滑去噪 |
| statsmodels | 时间序列分解、ACF/PACF、平稳性检验（ADF） | 趋势/季节性分析、差分阶数确定 |
| tsfresh | 自动特征提取（数百种候选特征） | 快速生成特征集，用于初步建模 |
| scikit-learn | 特征缩放、特征选择、模型训练与评估 | 特征工程后的建模环节 |
| PyTorch / TensorFlow | 深度学习模型（LSTM、Transformer） | 需要自动学习时序依赖的复杂场景 |
| InfluxDB / Prometheus | 时序数据库，存储与查询大规模时序数据 | 生产环境数据接入与监控 |
在课程中，我们将以Pandas和NumPy作为基础操作工具，以statsmodels和tsfresh作为时序分析专用工具，以scikit-learn作为特征评估与建模的统一接口。对于深度学习相关的内容，会给出PyTorch的示例代码，但不会深入模型内部细节——那是另一门课程的主题。
1.6 案例拆解：从传感器数据到故障预测的完整链路
为了让你更直观地理解本章内容如何串联，我们来看一个简化的工业案例。某工厂的旋转设备上安装了振动传感器，采样频率为1kHz，连续采集30天数据，目标是预测设备是否会在未来24小时内发生故障。
初始现象与目标：设备工程师发现近期故障率上升，希望建立预警系统。原始数据为连续波形，无法直接输入机器学习模型。
关键输入数据：振动加速度信号（单位：g），时间戳精确到毫秒，每天约8640万条记录。同时有设备运行日志（启停时间、负载率）和维修记录。
分析判断过程：
- 数据探查：发现约0.3%的时间戳存在缺失（传感器缓存溢出），0.1%的数据超出正常范围（可能是电磁干扰）。
- 预处理：对缺失段采用前向填充（因为缺失时间极短，振动信号连续性较强）；对超范围数据用中值滤波替代；将非等间隔数据重采样为等间隔1kHz序列。
- 特征构造：每10分钟计算一个窗口（60万点），提取均方根值（RMS）、峰值因子、峭度、频谱质心、频带能量比（0-100Hz、100-200Hz等）。同时构造滞后特征：过去1小时、4小时、24小时的RMS趋势斜率。
- 特征评估：使用随机森林的特征重要性排序，发现“最近4小时RMS斜率”和“200-400Hz频带能量”是最重要的两个特征。
结果对比：仅使用RMS单一特征时，故障预测的F1分数为0.62；加入频域特征和趋势特征后，F1提升至0.85。但同时也发现，如果窗口过短（1分钟），特征噪声太大；窗口过长（1小时），则无法及时捕捉突发异常。
风险与代价：该方案需要较高的计算资源（每10分钟处理60万点数据），且对传感器硬件稳定性有要求。如果传感器本身漂移，特征分布会发生变化，需要定期重新校准。
复盘经验：特征工程不是越多越好，而是越“对”越好。在这个案例中，频域特征之所以有效，是因为轴承早期故障会在特定频段产生共振峰值，这是物理机理决定的。理解业务背景，比盲目堆砌特征更重要。
1.7 常见误区与总结复盘
在时序数据预处理与特征工程中，初学者容易陷入以下几个误区：
- 误区一：忽视时间顺序，直接打乱数据。时序数据的训练集和测试集必须按时间切分，不能随机划分，否则会造成数据泄漏，模型评估结果虚高。
- 误区二：对非平稳数据直接建模。很多统计模型和机器学习模型假设数据平稳。如果不做差分或去趋势，模型可能捕捉到虚假的相关性。
- 误区三：窗口大小拍脑袋决定。窗口过小会引入噪声，窗口过大会平滑掉关键变化。应结合业务周期（如24小时、7天）和自相关分析来确定。
- 误区四：忽略时间戳本身的特征。小时、星期几、是否节假日、是否月初/月末，这些时间特征往往对预测有显著帮助，但容易被忽略。
- 误区五：特征工程一步到位。特征工程是迭代过程，需要根据模型效果不断调整。先构造基础特征，再逐步增加复杂特征，并用验证集评估每次增加的价值。