4、Pandas金融数据处理：DataFrame操作、时间序列索引、缺失值处理、数据重采样、滚动计算

金融数据分析的核心挑战在于：数据量大、时间维度强、噪声多、且经常存在缺失或异常。Pandas作为Python数据科学生态中的核心库，提供了高效处理表格数据和时间序列的完整工具链。本章将聚焦于金融场景下最常用的五个能力模块——DataFrame结构化操作、时间序列索引、缺失值处理、数据重采样与滚动计算，帮助学员建立一套从原始行情数据到可分析特征集的标准化处理流程。我们将结合股票日线数据、分钟级交易记录等真实场景，深入讲解每个模块的原理、操作路径与实战陷阱。

上图展示了金融数据处理的核心链路：原始数据首先经过DataFrame结构化操作完成基础清洗，随后建立时间序列索引，再根据分析目标选择缺失值处理、重采样或滚动计算。实际项目中，这五个模块并非严格串行，而是根据数据质量与分析需求灵活组合。例如，处理分钟级交易数据时，可能先进行缺失值填充，再重采样为日线，最后计算滚动波动率。理解每个模块的适用边界与操作细节，是构建稳健金融数据管道的前提。

4.1 DataFrame核心操作：从原始数据到分析表

核心原理：DataFrame是Pandas中用于存储二维表格数据的核心结构，其设计灵感来源于R语言的data.frame和SQL表。在金融场景中，DataFrame的每一行通常代表一个时间点的观测（如某只股票某天的OHLCV数据），每一列代表一个特征（开盘价、收盘价、成交量等）。DataFrame的强大之处在于其灵活的索引机制、丰富的列操作方法和高效的向量化计算能力。

操作流程：金融数据清洗通常遵循以下步骤：

1. 数据加载与初步检查：使用pd.read_csv()或pd.read_sql()加载数据，通过df.info()、df.describe()、df.head()快速了解数据结构、类型和分布。
2. 列名规范化：金融数据源常包含大小写混合或带空格的列名，使用df.columns = [col.strip().lower().replace(' ', '_') for col in df.columns]统一格式。
3. 类型转换：将日期列转为datetime64类型，数值列转为float64，避免后续计算时出现类型错误。
4. 行过滤与排序：根据交易状态（如剔除停牌日）、数据范围（如只保留近5年）过滤行，按时间排序保证时间序列正确性。
5. 去重与合并：处理重复记录（如同一时间戳的重复行情推送），使用drop_duplicates()；多表数据（如行情与财务数据）通过merge()或concat()合并。

import pandas as pd
import numpy as np

# 1. 加载数据
df = pd.read_csv('stock_daily.csv')
print(f"原始数据量: {df.shape}")

# 2. 列名规范化
df.columns = ['date', 'open', 'high', 'low', 'close', 'volume', 'adj_close']

# 3. 日期转换与索引设置
df['date'] = pd.to_datetime(df['date'])
df = df.sort_values('date').reset_index(drop=True)

# 4. 去重（同一日期只保留最后一条记录）
df = df.drop_duplicates(subset='date', keep='last')

# 5. 过滤异常成交量（剔除停牌或数据错误）
df = df[df['volume'] > 0]

# 6. 新增收益率列（用于后续分析）
df['return'] = df['close'].pct_change()

print(f"清洗后数据量: {df.shape}")
print(df.head())

4.2 时间序列索引：让数据拥有时间维度

核心原理：金融数据天然具有时间属性，将时间列设置为DataFrame的索引（Index）是Pandas处理时间序列的关键步骤。DatetimeIndex不仅提供了快速的时间切片能力，还支持频率转换、时区处理、移动窗口对齐等高级操作。与普通整数索引相比，时间索引让数据在时间维度上“可导航”。

操作流程：

1. 设置索引：df.set_index('date', inplace=True)，确保索引为DatetimeIndex类型。
2. 时间切片：使用df['2023-01-01':'2023-06-30']按日期范围筛选，或df.loc['2023']选取整年数据。
3. 频率转换：df.asfreq('D')将数据转换为日频率，缺失日期自动填充NaN；df.resample('W')按周聚合。
4. 时区处理：df.tz_localize('UTC').tz_convert('Asia/Shanghai')处理跨时区数据。
5. 交易日历：使用pd.offsets.BDay()或pd.date_range(freq='B')生成工作日序列，跳过周末和节假日。

# 时间索引高级操作示例
import pandas as pd

# 生成2023年交易日序列（跳过周末）
trade_days = pd.date_range('2023-01-01', '2023-12-31', freq='B')
print(f"2023年交易日数量: {len(trade_days)}")

# 假设df已设置DatetimeIndex
df = df.set_index('date')

# 时间切片：获取2023年第一季度数据
q1_data = df.loc['2023-01-01':'2023-03-31']

# 重采样为周线（每周最后一个交易日收盘价）
weekly_close = df['close'].resample('W-FRI').last()

# 前向填充缺失的交易日（如节假日）
df_daily = df.resample('D').ffill()

4.3 缺失值处理：金融数据的“补洞”艺术

核心原理：金融数据缺失的原因多样：停牌、数据源故障、非交易日、不同市场时区差异等。缺失值处理的目标不是简单“填满”，而是根据数据缺失机制（完全随机缺失、随机缺失、非随机缺失）选择合适策略，避免引入偏差。Pandas将缺失值统一表示为NaN（Not a Number），并提供isna()/notna()进行检测。

判断方法与操作流程：

1. 缺失模式识别：df.isna().sum()统计每列缺失数；df.isna().mean()查看缺失比例；df[df.isna().any(axis=1)]定位含缺失的行。
2. 删除策略：df.dropna()删除含任何缺失的行；df.dropna(subset=['close'])仅当关键列缺失时删除；df.dropna(thresh=5)保留至少有5个非缺失值的行。
3. 填充策略：df.fillna(0)用常数填充；df.fillna(method='ffill')前向填充（用上一个有效值）；df.fillna(method='bfill')后向填充；df.interpolate()线性插值。
4. 金融特有方法：对于停牌导致的缺失，通常使用前向填充（因为停牌期间价格维持上一交易日收盘价）；对于非交易日，可选择删除或填充为0成交量。

# 1. 生成完整的小时时间轴
full_index = pd.date_range('2023-06-01 09:30', '2023-06-30 15:00', freq='H')
# 剔除午休时段
trading_hours = full_index[~((full_index.hour == 11) | (full_index.hour == 12))]

# 2. 重索引到完整交易时间轴
df_hourly = df.set_index('datetime').reindex(trading_hours)

# 3. 前向填充价格（停牌期间价格不变）
df_hourly['close'] = df_hourly['close'].ffill()
df_hourly['open'] = df_hourly['open'].ffill()

# 4. 成交量缺失填充为0（表示无交易）
df_hourly['volume'] = df_hourly['volume'].fillna(0)

# 5. 对于长时间缺失（如整天停牌），使用线性插值
df_hourly['close'] = df_hourly['close'].interpolate(limit_direction='both')

4.4 数据重采样：时间粒度的自由切换

核心原理：重采样（Resampling）是将时间序列从一种频率转换为另一种频率的过程。降采样（如日线转周线）通过聚合减少数据量，升采样（如日线转小时线）通过插值或填充增加数据密度。Pandas的resample()方法本质上是“分组聚合”在时间维度上的特化，其分组键为时间间隔。

操作流程：

1. 确定目标频率：常用频率代码——'D'（日）、'W'（周）、'M'（月）、'Q'（季度）、'H'（小时）、'T'（分钟）、'B'（工作日）。
2. 选择聚合方式：金融数据中，OHLC（开盘、最高、最低、收盘）价格通常使用ohlc()方法；成交量使用sum()；收益率使用mean()或prod()（复合收益）。
3. 处理边界与标签：label='right'表示用区间右端点作为结果索引，closed='right'表示区间右闭。
4. 升采样填充：asfreq()生成空值，再配合ffill()、bfill()或interpolate()填充。

# 日线数据（已设置DatetimeIndex）
# 周线：每周最后一个交易日的OHLC，成交量求和
weekly = df.resample('W-FRI').agg({
    'open': 'first',
    'high': 'max',
    'low': 'min',
    'close': 'last',
    'volume': 'sum'
})

# 月线：每月最后一个交易日
monthly = df.resample('M').agg({
    'open': 'first',
    'high': 'max',
    'low': 'min',
    'close': 'last',
    'volume': 'sum'
})

# 对比：使用ohlc()快捷方法（仅适用于价格列）
weekly_ohlc = df[['open', 'high', 'low', 'close']].resample('W-FRI').ohlc()
weekly_ohlc.columns = ['_'.join(col) for col in weekly_ohlc.columns]

4.5 滚动计算：动态窗口下的金融指标

核心原理：滚动计算（Rolling Calculation）在固定大小的窗口内执行聚合操作，窗口随时间滑动。与重采样不同，滚动窗口是重叠的（步长为1），而重采样窗口不重叠。滚动计算是技术指标（如移动平均线MA、布林带BOLL、相对强弱指数RSI）的基础。

操作流程：

1. 定义窗口：df['close'].rolling(window=20)创建20日滚动窗口。
2. 选择聚合函数：.mean()、.std()、.max()、.min()、.sum()、.apply(custom_func)。
3. 处理边界：默认窗口不足时返回NaN，可通过min_periods参数设置最少有效观测数。
4. 窗口对齐：默认右对齐（当前值包含在窗口内），可通过center=True设置中心对齐。

# 计算20日布林带
window = 20
df['MA20'] = df['close'].rolling(window=window).mean()
df['STD20'] = df['close'].rolling(window=window).std()
df['Upper'] = df['MA20'] + 2 * df['STD20']
df['Lower'] = df['MA20'] - 2 * df['STD20']

# 计算滚动收益率标准差（风险指标）
df['Rolling_Vol'] = df['return'].rolling(window=60).std() * np.sqrt(252)  # 年化波动率

# 自定义滚动函数：计算滚动Beta（相对于沪深300）
def calc_beta(window_data):
    # window_data包含两列：stock_return, market_return
    cov_matrix = np.cov(window_data['stock_return'], window_data['market_return'])
    return cov_matrix[0, 1] / cov_matrix[1, 1]

df['Beta'] = df[['stock_return', 'market_return']].rolling(window=120).apply(calc_beta, raw=False)