4、季节性规律的数据来源与处理
季节性规律研究的第一步，也是最关键的一步，是获取高质量、口径一致的数据。数据源的可靠性直接决定了后续分析的成败。本章将系统梳理农产品期货研究中常用的数据渠道，并重点讲解数据清洗、对齐、标准化与季节性分解的核心方法，帮助您建立一套可复用的数据处理流水线。
4.1 核心数据源与获取渠道
农产品期货研究涉及的数据维度较多，按性质可分为价格类、供需类、天气类、资金类和宏观类五大板块。不同数据源的更新频率、历史深度和获取成本差异较大，需要根据研究目标进行取舍。
| 数据类别 | 关键字段 | 推荐渠道 | 更新频率 | 注意事项 |
|---|---|---|---|---|
| 价格行情 | 收盘价、最高/最低价、成交量、持仓量 | 交易所官网（DCE/CZCE/SHFE）、Wind、文华财经 | 日频/分钟级 | 注意主力合约切换规则，复权处理 |
| 库存仓单 | 注册仓单量、交易所库存、港口库存 | 交易所每日仓单数据、我的农产品网 | 日频/周频 | 仓单数据在交割月前变化剧烈 |
| 供需平衡 | 种植面积、单产、产量、消费量、进出口 | USDA（WASDE报告）、国家统计局、农业农村部 | 月度/季度 | USDA数据对全球定价影响显著 |
| 天气气象 | 降水量、温度、土壤湿度、干旱指数 | NOAA、中国气象数据网、路透天气 | 日频 | 需与作物生长周期匹配解读 |
| 资金持仓 | CFTC持仓报告、主力席位持仓、资金流向 | CFTC官网、交易所会员持仓排名 | 周频（CFTC）/日频（国内） | 商业持仓与投机持仓需区分 |
4.2 数据清洗与预处理
原始数据往往存在缺失值、异常值、合约不连续等问题，直接使用会导致季节性分解结果偏差。数据清洗的核心目标是让数据"干净、连续、可比"。
4.2.1 缺失值处理
- 删除法：当缺失比例低于5%且缺失位置随机时，可直接删除该交易日数据。
- 插值法：对于价格序列，优先使用线性插值或前向填充；对于库存数据，可使用相邻周均值填充。
- 模型预测法：当缺失段较长（如连续一周以上），可参考同期历史数据或相关品种数据建立回归模型填补。
4.2.2 异常值识别
异常值通常来自数据录入错误、极端行情（如涨跌停板）或合约换月跳空。常用识别方法包括：
- 3σ原则：计算滚动窗口（如20日）的均值与标准差，超出±3σ的数值标记为异常。
- IQR法：基于四分位距，超出Q1-1.5×IQR或Q3+1.5×IQR的数值视为异常。
- 涨跌停过滤：国内商品期货有涨跌停限制，单日涨跌幅超过阈值（如±8%）需检查是否为真实行情。
4.2.3 主力合约连续化处理
期货价格存在合约到期问题，直接拼接不同合约的价格会产生跳空。常用方法有两种：
- 持仓量加权法：按各合约持仓量加权计算连续价格，权重随移仓换月动态调整。
- 主力合约切换法：设定规则（如持仓量最大或成交量最大）确定主力合约，在切换日进行价格调整（后复权或前复权）。
# 主力合约切换示例（Python伪代码）
def switch_main_contract(df, rule='volume'):
df['main'] = df.groupby('date').apply(
lambda x: x.loc[x[rule].idxmax(), 'contract']
)
# 在切换日计算价差并调整
df['adjusted_price'] = df['close'] + df.groupby('contract')['close'].diff().fillna(0)
return df
4.3 数据对齐与标准化
不同数据源的频率和口径不一致，必须统一到同一时间轴和量纲后才能进行联合分析。数据对齐是季节性研究中最容易被忽视但影响最大的环节。
4.3.1 时间对齐
- 日频对齐：将周频、月频数据通过插值或前向填充转为日频，注意节假日和交易所休市日。
- 自然日与交易日：天气数据按自然日记录，而期货价格按交易日记录，需将天气数据映射到最近的交易日。
- 季节性对齐：农历节气（如清明、霜降）和西方节日（如感恩节）对农产品需求有影响，需在时间轴上标注。
4.3.2 量纲标准化
价格、库存、持仓量等数据的量纲差异较大，直接比较会产生误导。常用标准化方法包括：
| 方法 | 公式 | 适用场景 |
|---|---|---|
| Z-score归一化 | (x - μ) / σ | 跨品种比较、异常检测 |
| Min-Max缩放 | (x - min) / (max - min) | 机器学习模型输入 |
| 对数变换 | ln(x) | 价格序列（消除异方差） |
| 同比/环比差分 | (x_t - x_{t-n}) / x_{t-n} | 消除趋势项，突出季节性 |
4.4 季节性分解方法
季节性分解的核心目标是将时间序列拆分为趋势项、季节项、周期项和随机项。对于农产品期货，常用的分解方法有三种：经典乘法分解、X-13ARIMA-SEATS和STL分解。
4.4.1 经典乘法分解
适用于具有明显趋势且季节性波动幅度随趋势变化的序列（如大豆价格在牛市中季节性波动更大）。模型形式为：
Y_t = Trend_t × Seasonal_t × Cyclical_t × Irregular_t计算步骤：先通过移动平均提取趋势项，再用原序列除以趋势项得到"季节+随机"项，最后对同月份（或同周）求平均得到季节指数。
4.4.2 X-13ARIMA-SEATS
美国普查局开发的官方季节性调整方法，支持交易日效应、节假日效应和离群值自动检测。适合处理月度数据，是USDA等机构的标准工具。在Python中可通过statsmodels库的x13_arima_analysis调用。
4.4.3 STL分解（Seasonal-Trend decomposition using LOESS）
基于局部加权回归的分解方法，适用于日频和周频数据，对异常值鲁棒性强。STL允许季节项随时间缓慢变化，更适合捕捉农产品生长周期中气候异常导致的季节性偏移。
from statsmodels.tsa.seasonal import STL
# 以豆粕日度价格为例
stl = STL(price_log, period=252, robust=True)
result = stl.fit()
seasonal = result.seasonal # 季节项
trend = result.trend # 趋势项
resid = result.resid # 随机项
4.5 案例拆解：豆粕期货季节性分解实战
背景与目标：某农产品研究团队需要判断豆粕期货是否存在稳定的"3-5月上涨、8-10月下跌"的季节性规律，以辅助制定年度交易日历。团队获取了2013-2023年共11年的豆粕主力连续合约日度收盘价数据。
关键输入数据：
- 价格序列：2,860个交易日收盘价（已做主力合约连续化处理）
- 辅助数据：USDA月度供需报告日期、国内豆粕库存周度数据
- 参数设定：STL分解周期=252（一年交易日），稳健模式开启
分析过程：
- 数据清洗：剔除2020年3月因疫情导致的异常跳空（单日跌幅超7%），采用前后5日均值插值填补。
- 对数变换：对价格取自然对数，使季节性波动以百分比形式呈现。
- STL分解：提取季节项后，计算每年各月季节项均值，得到11年×12月的季节指数矩阵。
- 显著性检验：对3月、4月、5月的季节指数做单样本t检验（H0: 均值=0），p值分别为0.03、0.01、0.02，均小于0.05，确认上涨规律显著。
- 稳健性验证：剔除2016年（极端拉尼娜年）和2021年（非洲猪瘟恢复期）后重新分解，3-5月上涨规律依然存在，但幅度收窄约30%。
结果对比：
| 月份 | 全样本季节指数 | 剔除异常年份后 | 结论 |
|---|---|---|---|
| 3月 | +2.8% | +2.1% | 显著上涨 |
| 4月 | +3.5% | +2.9% | 显著上涨 |
| 5月 | +1.9% | +1.4% | 弱显著 |
| 8月 | -2.2% | -1.8% | 显著下跌 |
风险与代价：该规律在2018年（中美贸易战）和2022年（俄乌冲突推高全球粮价）中完全失效，说明外部宏观冲击会覆盖季节性规律。团队最终将季节性信号作为仓位管理的参考而非唯一依据，并设定了单月最大回撤5%的风控线。
4.6 常见误区与总结
误区一：忽视合约换月跳空。直接拼接不同合约价格会产生虚假的"季节性波动"，尤其在交割月前后。必须使用连续合约或进行复权处理。
误区二：样本期过短。少于5年的数据无法覆盖完整的"丰产-减产"周期，得出的季节性规律可能只是随机波动。建议至少使用10年数据，并分阶段验证稳定性。
误区三：忽略数据频率匹配。将月度供需数据与日度价格直接回归，会导致自由度虚高和伪相关。应将高频数据降频或低频数据插值后再分析。
误区四：过度拟合异常年份。极端行情（如2020年疫情、2022年俄乌冲突）会扭曲季节项。建议在分解前先标记异常年份，分别计算"正常年份"和"全样本"的季节指数，对比差异。
总结：一套完整的数据处理流程应包含：多渠道数据获取→严格清洗（缺失/异常/合约处理）→统一时间轴与量纲→选择合适分解方法→统计检验→稳健性验证。只有经过这一系列工序，季节性规律才能从"看起来有规律"升级为"统计上显著、逻辑上可解释、实战中可验证"的有效信号。