4. 数据采集策略：API接口调用、数据库直连、文件批量导入与实时流式接入

构建组合风险归因模型所需的数据源多样且分散，单一采集方式无法覆盖所有场景。本章系统阐述四种核心数据采集策略，帮助你在不同数据源类型、时效性要求和系统架构下做出合理选择。

4.1 四种采集策略对比总览

4.2 API接口调用

API是获取外部结构化数据的主要方式，尤其适用于市场行情、公司基本面、信用评级、宏观经济指标等场景。设计API采集模块时需关注以下关键点：

• 认证与限流：API Key / OAuth2.0 鉴权，配合令牌桶或滑动窗口限流策略，避免触发服务端限频。
• 重试与退避：网络抖动或服务不可用时，采用指数退避重试（Exponential Backoff），最大重试次数建议3~5次。
• 增量与全量：优先使用增量接口（如按时间戳过滤），减少不必要的数据传输；首次加载或数据修复时使用全量接口。
• 数据校验：对返回的JSON/XML进行Schema校验，确保字段完整性、类型正确性。

# Python示例：带重试与限流的API采集
import requests
from tenacity import retry, stop_after_attempt, wait_exponential
from ratelimit import limits, sleep_and_retry

@sleep_and_retry
@limits(calls=100, period=60)  # 每分钟最多100次
@retry(stop=stop_after_attempt(3), wait=wait_exponential(multiplier=1, min=2, max=10))
def fetch_market_data(symbol, date, api_key):
    url = f"https://api.example.com/v1/market/{symbol}?date={date}"
    headers = {"X-API-Key": api_key}
    resp = requests.get(url, headers=headers, timeout=30)
    resp.raise_for_status()
    return resp.json()

4.3 数据库直连

内部交易系统、持仓管理、风控数据库通常提供JDBC/ODBC直连接口。直连方式延迟低、数据一致性好，但需谨慎控制查询压力。

• 连接池管理：使用连接池（如HikariCP、Druid）复用连接，避免频繁创建/销毁。
• 分页查询：大表查询必须使用游标或分页，防止内存溢出和锁表。
• 只读事务：采集操作使用只读事务，避免意外写入。
• 增量同步：利用数据库的CDC（Change Data Capture）机制或时间戳字段实现增量同步。

-- 增量采集示例：基于时间戳的持仓数据拉取
SELECT trade_date, portfolio_id, asset_id, quantity, market_value
FROM daily_holdings
WHERE update_time > '2025-03-01 00:00:00'
ORDER BY trade_date, portfolio_id
LIMIT 10000 OFFSET 0;

4.4 文件批量导入

历史数据、离线报表、第三方数据文件通常以CSV或Parquet格式提供。文件导入是构建训练数据集最基础、最可靠的方式。

# Python示例：使用Pandas读取Parquet文件并校验Schema
import pandas as pd
import pyarrow.parquet as pq

# 读取Parquet文件
df = pd.read_parquet("risk_factors_2025.parquet")

# 校验必要字段
required_cols = {'trade_date', 'factor_id', 'factor_value', 'asset_class'}
assert required_cols.issubset(set(df.columns)), "缺少必要字段"

# 数据类型转换
df['trade_date'] = pd.to_datetime(df['trade_date'])
df['factor_value'] = pd.to_numeric(df['factor_value'], errors='coerce')

4.5 实时流式数据接入

高频行情、实时风险监控、逐笔交易等场景需要毫秒级延迟的流式处理。流式接入架构通常包含消息队列、流处理引擎和数据落盘三个层次。

4.6 混合采集策略与数据管道编排

实际生产环境中，组合风险归因模型的数据管道通常采用混合策略。以下是一个典型的日频数据管道示例：

1. 00:00-01:00 — 文件批量导入：加载前一日历史因子数据（Parquet格式，约200GB）。
2. 01:00-02:00 — 数据库直连：从交易系统拉取日终持仓和交易记录（增量同步）。
3. 02:00-03:00 — API接口调用：获取外部评级、财报、宏观指标（约50个API端点）。
4. 09:30-16:00 — 实时流式接入：盘中高频行情（Tick级）通过Kafka接入，用于盘中风险预警。
5. 16:00-17:00 — 数据质量校验与合并：所有数据源对齐后写入训练数据集。

4.7 数据质量监控与异常处理

无论采用哪种采集策略，数据质量监控都是不可缺失的环节。建议在采集管道中嵌入以下检查点：