📚 课程目录第4章集成架构设计

4. 集成架构设计

本章是《Backtrader与Spark集成实践》的技术蓝图核心。我们将从整体架构、数据流、以及两个引擎的角色划分三个维度，构建一套可落地、可扩展的量化回测技术栈。这套架构的核心思想是：Spark负责“重计算”与“大数据”，Backtrader负责“策略逻辑”与“事件驱动”。

4.1 整体架构图：三层两引擎

整体架构采用经典的分层设计，从上到下依次为：应用层、计算引擎层、存储层。Backtrader与Spark在引擎层各司其职，通过统一的数据接口进行交互。

架构设计原则： 数据与计算分离。Spark集群负责海量历史数据的清洗、特征工程与并行回测任务分发；Backtrader实例作为轻量级回测单元，专注于策略执行与订单管理。

4.2 数据流设计：从原始数据到回测报告

数据流是架构的“血液”。设计良好的数据流能够确保Spark与Backtrader高效协作，避免数据瓶颈。整个数据流分为三个阶段：数据导入与预处理、回测任务分发与执行、结果汇聚与存储。

阶段	负责组件	核心操作	数据格式
1. 数据导入与预处理	Spark ETL 作业	从HDFS/对象存储读取原始CSV/JSON；去重、填充缺失值、计算技术指标（如MA、RSI）；按时间分区写入Parquet	Parquet (列式存储，带时间分区)
2. 回测任务分发与执行	Spark Driver + Backtrader Worker	Spark Driver读取Parquet数据，按标的或时间窗口切分为DataFrame分区；每个分区发送给一个Backtrader Worker实例执行回测	Spark DataFrame (Row格式) → Backtrader Line 数据
3. 结果汇聚与存储	Spark Driver + 数据库	收集所有Worker返回的绩效指标（年化收益、夏普比率、最大回撤等）；Spark进行聚合统计；写入MySQL/PostgreSQL或回写Parquet	JSON / 关系型表

  关键设计点： 数据流采用“Spark Shuffle → Backtrader Local”模式。Spark负责数据的垂直切分（按时间）或水平切分（按标的），Backtrader实例只处理自己分到的数据切片，避免跨实例的数据依赖，从而实现近乎线性的扩展。

4.3 角色划分：Backtrader 与 Spark 的职责边界

明确两个引擎的职责边界是架构设计成功的关键。错误的角色划分会导致性能下降或代码维护困难。下表从多个维度对比了二者的核心职责。

维度	Apache Spark	Backtrader
核心定位	分布式数据处理与计算框架	事件驱动的量化回测框架
数据处理	海量数据（TB级）的ETL、特征工程、聚合统计	单标的或小批量（MB级）的OHLCV时间序列
计算模型	批处理（Batch）与微批处理（Micro-batch）	事件循环（Event Loop），逐Bar推进
并行策略	数据并行：将数据分片到集群各节点	任务并行：每个Worker运行一个独立的回测任务
状态管理	无状态或通过Checkpoint管理状态	有状态：维护持仓、订单、现金等内部状态
输出	清洗后的DataFrame、特征矩阵、聚合结果	策略绩效报告（PnL曲线、交易记录、分析器指标）

常见误区： 不要在Backtrader内部进行复杂的数据聚合或跨标的统计计算（如计算全市场平均波动率）。这些操作应前置到Spark中完成，Backtrader只消费已经加工好的“干净”数据。反之，也不要用Spark去模拟订单执行的滑点或撮合逻辑，这些是Backtrader事件引擎的专长。

4.4 集成模式：Spark 作为 Backtrader 的“数据工厂”与“调度器”

在实际集成中，Spark主要扮演两个角色：

数据工厂（Data Factory）： Spark负责将原始数据转化为Backtrader可以直接使用的DataFrame或Line数据。这包括数据清洗、重采样、技术指标计算等。Backtrader通过自定义DataFeed类，直接从Spark DataFrame读取数据。
任务调度器（Task Scheduler）： Spark Driver将回测任务（策略 + 参数 + 数据切片）封装成一个个Task，分发到集群的Executor上。每个Executor启动一个独立的Backtrader进程（或线程）执行回测。Spark的容错机制可以自动重试失败的任务。

以下是一个简化的代码示例，展示Backtrader如何消费Spark处理后的数据：

# Spark 侧：数据处理并收集为迭代器
def spark_prepare_data(spark, symbol):
    df = spark.read.parquet(f"hdfs://data/clean/{symbol}")
    # 转换为 Pandas DataFrame 并返回迭代器
    pandas_df = df.orderBy("date").toPandas()
    return pandas_df.iterrows()

# Backtrader 侧：自定义 DataFeed
import backtrader as bt

class SparkDataFeed(bt.feeds.PandasData):
    params = (
        ('datetime', 'date'),
        ('open', 'open'),
        ('high', 'high'),
        ('low', 'low'),
        ('close', 'close'),
        ('volume', 'volume'),
    )

# 在 Cerebro 中使用
cerebro = bt.Cerebro()
# 假设 spark_data 是从 Spark 获取的 Pandas DataFrame
data = SparkDataFeed(dataname=spark_data)
cerebro.adddata(data)

通过这种模式，Backtrader无需关心数据来源的复杂性，只需专注于策略逻辑的实现。Spark则负责处理数据工程层面的所有挑战。