2. 量化研究基础
在进入具体的成本与容量测算之前,必须先建立一条清晰的因果链:研究流程决定策略类型,策略类型决定数据需求,数据需求最终决定成本与容量。很多团队在评估阶段直接跳到“要多少台服务器、多少存储”,却忽略了前面的三个环节,导致预算与实际需求严重脱节。本章将这条链路拆开,逐段说明它们之间的传导关系。
一、核心原理:四层传导模型
量化研究的成本与容量并不是一个独立的工程问题,而是研究设计的下游结果。可以把这种传导关系理解为四层结构:
- 流程层:研究是日频、分钟频还是逐笔?是离线回测还是实时信号?流程的节奏直接决定计算的时间窗口。
- 策略层:策略是趋势跟踪、统计套利还是高频做市?不同策略对延迟、吞吐、历史深度的敏感度差异巨大。
- 数据层:需要哪些字段、多长历史、什么频率、是否包含盘口与逐笔?数据量是容量评估中最刚性的约束。
- 成本容量层:存储、计算、网络、许可、人力,最终折算为一次性投入与持续运营成本。
这条链路的每一层都会放大或缩小下一层的需求。例如,同样是股票策略,日频趋势跟踪可能只需要几GB的日线数据,而日内做市策略可能需要数十TB的逐笔委托与成交数据。忽略传导关系,就会把“策略研究”和“资源采购”割裂开来。
二、方法流程:从研究问题到资源清单
下面给出一个可复用的六步流程,用于把研究需求逐步转化为可估算的资源清单。
- 明确研究目标与频率:确定信号生成周期(日、小时、分钟、逐笔)与调仓周期。
- 选择策略类型:根据目标选择趋势、套利、多因子、做市等类型,并记录其对延迟和吞吐的要求。
- 推导数据需求:列出字段、频率、历史长度、标的范围、是否含盘口/逐笔/基本面。
- 估算数据量:按“字段数 × 频率 × 标的数 × 历史长度”做量级估算,并预留清洗与特征工程副本。
- 映射计算与存储资源:把数据量与回测/训练/实盘的并发需求映射为CPU、内存、存储、网络配置。
- 折算成本与容量上限:区分一次性投入与月度运营成本,并计算在当前资源下可支持的最大策略容量。
这六步中,第三步和第四步最容易出现低估。常见做法是只计算原始数据大小,而忽略特征表、中间结果、回测日志和版本快照。经验上,实际存储需求通常是原始数据的2到4倍。
三、策略类型与数据需求的对应关系
不同策略类型对数据的需求差异极大,下表给出常见策略的典型数据需求与资源敏感点,便于在评估时快速定位。
| 策略类型 | 典型频率 | 核心数据需求 | 历史深度 | 资源敏感点 |
|---|---|---|---|---|
| 日频趋势跟踪 | 日线 | OHLCV、复权因子 | 5–10年 | 存储低、计算低 |
| 多因子选股 | 日线/周线 | 行情、财务、行业分类 | 10年以上 | 特征工程计算、数据清洗 |
| 统计套利 | 分钟级 | 分钟行情、配对标的 | 3–5年 | 内存、回测并发 |
| 日内做市 | 逐笔/盘口 | Level-2、逐笔委托与成交 | 1–2年 | 存储、网络延迟、吞吐 |
| 高频信号 | 毫秒/微秒 | 逐笔、订单簿快照 | 数月 | 低延迟网络、FPGA/专用硬件 |
从表中可以看出,频率每提升一个量级,数据量和资源敏感点都会发生质变。日频策略的成本瓶颈通常在数据清洗与特征计算,而高频策略的瓶颈则在存储吞吐和网络延迟。
四、案例与场景:一个多因子团队的容量评估
假设一个团队要研究A股多因子选股策略,覆盖约5000只股票,使用日频行情与财务数据,历史深度10年。可以按以下方式快速估算:
标的数:5000
交易日:约 250 天/年 × 10 年 = 2500 天
日线字段:约 20 个(OHLCV、复权、换手等)
原始数据量 ≈ 5000 × 2500 × 20 × 8 Byte ≈ 2.0 GB
特征表:约 200 个因子
特征数据量 ≈ 5000 × 2500 × 200 × 8 Byte ≈ 20 GB
中间结果与版本快照:按 3 倍冗余估算
实际存储需求 ≈ (2 + 20) × 3 ≈ 66 GB
这个量级对于单机或小型集群即可承载。但如果把频率改为分钟级,数据量会放大约240倍,存储需求直接进入TB级,计算与回测并发也需要重新设计。这说明频率是容量评估中最敏感的杠杆。
五、误区与复盘
在实际项目中,以下误区反复出现,值得在评估阶段主动排查。
- 只算原始数据,忽略衍生数据:特征表、回测日志、模型快照往往比原始数据更大。
- 用当前策略需求评估未来容量:研究是迭代的,数据需求会随策略演进增长,需预留扩展空间。
- 把延迟需求后置:高频策略的延迟要求必须在架构设计初期确定,后期改造成本极高。
- 忽略数据许可成本:Level-2、逐笔、财务数据的授权费用常被低估,且按用户数或标的数计费。
- 容量与成本混为一谈:容量是“能支持多少策略/多少资金”,成本是“需要花多少钱”,两者需要分别建模。
把研究流程、策略类型、数据需求与成本容量评估串成一条链,是后续所有测算工作的基础。只有这条链清晰,成本与容量才不是拍脑袋的数字,而是可解释、可验证、可扩展的工程结论。