📚 课程目录第4章时间序列数据读取与生成

4. 时间序列数据读取与生成

在金融数据分析中，时间序列的“入口”往往决定了后续清洗与对齐的效率。真实业务里，行情数据可能来自券商导出的CSV、研究员维护的Excel台账、或行情服务器的数据库表；而回测、估值、风控又常常需要我们自己生成规则的时间索引。本节围绕“读进来”和“造出来”两条主线，讲清Pandas在金融时间序列读取与索引生成中的关键操作，并重点处理容易被忽视的时区问题。

一、核心原理：时间序列的三要素

任何一条金融时间序列，都可以拆解为三个要素：时间索引、数值列、时区语义。时间索引决定了对齐的基准；数值列承载价格、成交量、收益率等观测值；时区语义则决定了同一时刻在不同市场之间能否正确比较。很多“数据对不上”的问题，根源不是计算错误，而是这三要素没有统一。

Pandas提供了两类时间对象：Timestamp表示单个时刻，DatetimeIndex表示时间索引。读取数据时，我们通常先用parse_dates把字符串列转成时间类型，再set_index设为索引；生成数据时，则用date_range或bdate_range直接构造DatetimeIndex。理解这一点，就能把“读取”和“生成”统一到同一套索引体系下。

二、方法流程：从文件到索引的标准化动作

无论数据来自哪种介质，建议都按“读取—解析时间—设索引—统一时区—校验频率”五步走。下面给出三种常见来源的读取示例。

import pandas as pd

# 1. CSV：指定时间列并解析
df_csv = pd.read_csv(
    "sh600519_daily.csv",
    parse_dates=["trade_date"],
    index_col="trade_date",
    encoding="utf-8"
)

# 2. Excel：多sheet场景
df_xlsx = pd.read_excel(
    "research_nav.xlsx",
    sheet_name="nav",
    parse_dates=["date"],
    index_col="date"
)

# 3. 数据库：SQL查询后解析
import sqlite3
conn = sqlite3.connect("market.db")
df_sql = pd.read_sql(
    "SELECT trade_date, close, volume FROM daily_bar WHERE symbol='000001'",
    conn,
    parse_dates=["trade_date"],
    index_col="trade_date"
)
conn.close()

读取完成后，用date_range生成规则索引，或用bdate_range生成工作日索引。二者区别在于：date_range按自然日历频率生成，bdate_range默认跳过周六周日，更贴近A股、等交易日场景。

# 自然日索引：适合日历日、资金占用天数
cal_idx = pd.date_range("2024-01-01", "2024-01-10", freq="D")

# 工作日索引：适合股票交易日近似
biz_idx = pd.bdate_range("2024-01-01", "2024-01-10", freq="B")

# 带时区的工作日索引
tz_idx = pd.bdate_range(
    "2024-01-01", periods=5,
    freq="B", tz="Asia/Shanghai"
)

提示：若数据源本身已含交易日历，优先使用交易所日历对齐；bdate_range只是“工作日近似”，无法覆盖春节、国庆等法定休市日。

三、案例场景：跨市场收盘价对齐

假设我们同时持有A股与数据，A股时间戳为Asia/Shanghai，为America/New_York。若直接合并，会出现“同一时刻被当成不同时刻”的错位。正确做法是先统一到UTC，再按目标时区展示。

a_share = a_share.tz_localize("Asia/Shanghai")
us_share = us_share.tz_localize("America/New_York")

# 统一到UTC后再对齐
a_utc = a_share.tz_convert("UTC")
us_utc = us_share.tz_convert("UTC")

merged = pd.concat([a_utc, us_utc], axis=1, join="inner")
merged.index = merged.index.tz_convert("Asia/Shanghai")

另一个高频场景是“补全缺失交易日”。例如用bdate_range生成完整索引，再reindex原始数据，缺失值用ffill或标记为NaN，便于后续计算收益率。

读取来源	关键参数	常见坑	建议动作
CSV	parse_dates、index_col、encoding	日期格式混杂、BOM头	先`dtype=str`读入再统一解析
Excel	sheet_name、parse_dates	日期被存成数字序列	用`pd.to_datetime`指定origin
数据库	parse_dates、index_col	时区字段丢失	SQL中显式返回带时区时间戳
date_range	start、end、freq、tz	freq与业务频率不符	用`bdate_range`或自定义日历

四、误区与复盘

误区一：把tz-naive当成UTC。无时区的时间戳没有绝对含义，跨市场合并前必须先tz_localize。
误区二：用date_range生成交易日。自然日会引入周末噪声，导致收益率计算出现空值或错误。
误区三：读取时不做类型校验。价格列若被读成字符串，后续pct_change会直接报错或产生意外结果。
误区四：忽略夏令时。纽约市场存在夏令时切换，tz_convert能自动处理，手工加减小时则容易出错。

复盘建议：每次读取后执行df.index.is_monotonic_increasing、df.index.has_duplicates、df.index.tz三项检查，能提前拦截80%以上的时间索引问题。

把读取、生成、时区三条线打通后，后续的清洗与对齐才有稳定基础。建议在项目中封装一个load_financial_series()函数，统一处理解析、索引、时区与频率校验，让每一份进入分析流程的数据都具备一致的时间语义。