1. 课程导论与背景：回测标签口径校准的定义、为什么需要Kafka驱动、课程整体架构与学习目标
1.1 回测标签口径校准的定义
在量化金融中，回测标签口径校准是指对历史行情数据进行标注、对齐与修正的过程，确保回测信号与真实交易环境下的标签口径一致。核心挑战在于：不同数据源、不同时间粒度、不同撮合规则会导致标签偏差，从而产生“伪信号”或“过拟合回测”。
关键概念：标签口径（Label Caliber）指回测中用于判定信号正确性的标准，包括时间戳对齐、价格撮合规则、滑点模型、手续费扣除方式等。口径不一致是回测与实盘绩效差异的主要来源之一。
| 口径维度 | 常见偏差 | 校准目标 |
|---|---|---|
| 时间戳对齐 | K线收盘价与信号生成时间错位 | 信号时间戳与撮合时间戳严格对齐 |
| 价格撮合规则 | 使用收盘价 vs 实际成交价 | 按订单簿快照或滑点模型校准 |
| 标签分类标准 | 涨跌幅阈值、持有期定义不一致 | 统一标签生成逻辑与参数 |
| 数据源差异 | 不同交易所/数据商的时间戳精度不同 | 标准化时间戳与价格字段 |
1.2 为什么需要Kafka驱动
传统回测标签校准采用批处理方式（如每日定时跑Python脚本），存在以下痛点：
- 延迟高：新数据到达后无法立即校准，标签更新滞后。
- 扩展性差：增加新标的或新口径时，需要修改批处理脚本并重新跑全量数据。
- 状态管理困难：校准过程中需要维护中间状态（如未完成K线、待撮合订单），批处理难以增量恢复。
- 口径版本混乱：不同团队使用不同口径版本，回测结果无法复现。
引入Kafka流处理后，标签校准变为实时、增量、可回溯的流式管道：
- 事件驱动：每笔行情或订单事件进入Kafka Topic，触发标签校准逻辑。
- 状态化处理：Kafka Streams的Key-Value State Store维护窗口状态（如当前K线、订单簿快照）。
- Exactly-Once语义：保证每条事件只被处理一次，标签不重复、不丢失。
- 可重放：通过重置Consumer Offset，可重新校准任意历史时间窗口。
实践要点：Kafka驱动并非简单地将批处理脚本改为流式，而是重新设计数据管道：行情数据 → Kafka Topic → 流处理器（校准逻辑） → 标签输出Topic。每个环节都支持水平扩展和故障恢复。
1.3 课程整体架构
本课程共30章，分为四个阶段：
| 阶段 | 章节范围 | 核心内容 |
|---|---|---|
| 基础篇 | 第1-8章 | 回测标签口径概念、Kafka Streams基础、状态存储与时间窗口 |
| 核心篇 | 第9-18章 | 标签生成拓扑设计、口径校准算子、Exactly-Once与容错 |
| 进阶篇 | 第19-25章 | 多数据源融合、滑点模型流式实现、标签版本管理 |
| 实战篇 | 第26-30章 | 完整案例：从行情接入到标签输出、性能调优与监控 |
1.4 学习目标
完成本课程后，学员应具备以下能力：
- 理解回测标签口径偏差的根源：能够识别时间戳、价格、分类标准等维度的常见偏差。
- 掌握Kafka Streams核心编程模型：包括Processor API、DSL、State Store、Window操作。
- 设计并实现流式标签校准管道：从行情Topic接入，经过校准算子，输出标准标签Topic。
- 处理Exactly-Once与容错：确保标签不重复、不丢失，支持故障恢复。
- 构建可复现的口径版本管理：通过Kafka的Offset和Schema Registry实现标签版本回溯。
- 完成一个完整的实战案例：从数据接入到标签输出，包含性能调优与监控。
前置要求：学员需具备基础的Python或Java编程能力，了解Kafka基本概念（Topic、Producer、Consumer），并对量化回测有初步认识。本课程不涉及Kafka集群运维细节，但会提供必要的配置说明。