1. 课程导入
欢迎进入《金融数据工程与实时计算》的第一章。金融行业每天产生海量行情、订单、成交、风控与清算数据，这些数据不仅规模大、维度多，而且对时效性、准确性和一致性有极高要求。传统离线批处理已经无法满足实时风控、智能投顾、量化交易和实时反欺诈等业务需求。本课程的目标，是帮助学习者建立从数据采集、传输、存储、计算到服务化的完整工程能力，并掌握实时计算在金融场景中的落地方法。
一、学习目标：从“会写SQL”到“能建实时数据系统”
本课程不是单纯讲解某个工具，而是围绕金融数据链路构建一套可复用的工程方法论。完成学习后，你应当能够：
- 理解金融数据的特殊性：时序性、低延迟、高吞吐、强一致性、可追溯与合规要求。
- 掌握数据工程核心环节：采集、清洗、建模、存储、调度、监控与治理。
- 具备实时计算能力：使用流处理框架完成窗口计算、状态管理、事件时间处理与Exactly-Once语义。
- 能够设计金融级数据架构：Lambda、Kappa、流批一体等架构的选型与权衡。
- 落地典型场景：实时行情推送、交易风控、反欺诈、实时估值与智能投研。
核心判断：金融数据工程的价值不在于“数据多”，而在于“在正确的时间，把正确的数据，以正确的形式，送到正确的决策点”。实时计算正是实现这一目标的关键技术手段。
二、核心概念：建立金融实时数据的心智模型
在进入具体技术之前，需要先统一几个关键概念。它们贯穿整个课程，也是后续架构设计与故障排查的基础。
| 概念 | 含义 | 金融场景示例 |
|---|---|---|
| 事件时间 | 数据实际发生的时间，而非系统处理时间 | 交易所撮合时间、订单委托时间 |
| 水位线 | 用于判断乱序数据何时可以触发计算的机制 | 行情延迟到达时仍能正确统计成交量 |
| 窗口 | 将无界流切分为有界片段进行计算 | 每5秒计算一次买卖盘口失衡率 |
| 状态 | 流处理中需要跨事件保留的中间结果 | 用户当日累计交易金额、持仓变化 |
| Exactly-Once | 每条数据恰好影响一次计算结果 | 资金扣减、清算入账不能重复 |
| 数据血缘 | 记录数据从源头到目标的流转路径 | 监管审计时追溯指标来源 |
这些概念不是孤立存在的。事件时间决定窗口如何划分，水位线决定何时触发计算，状态决定计算能否跨事件累积，Exactly-Once决定结果是否可信，数据血缘决定系统是否可治理。理解它们之间的联动关系，比单独记忆定义更重要。
三、整体知识框架：五层能力模型
为了便于学习与落地，本课程将金融数据工程与实时计算的知识体系划分为五层。每一层都有明确的目标、工具与衡量指标。
- 数据采集层：负责从交易所、柜台、日志、第三方接口获取数据。关注点包括协议适配、断点续传、乱序处理与数据完整性。
- 数据传输层：使用消息队列实现高吞吐、低延迟、可回放的数据管道。关注分区、副本、持久化与消费位点管理。
- 数据计算层：包括批处理与流处理。流处理重点掌握事件时间、窗口、状态、水位线与容错机制。
- 数据存储层：根据访问模式选择时序数据库、OLAP、KV存储、缓存与数据湖。关注写入放大、查询延迟与成本。
- 数据服务与治理层：通过API、推送、报表等方式输出结果，并建立血缘、质量、监控与合规模块。
学习建议：不要试图一次性掌握所有工具。先理解每一层要解决的问题，再选择主流技术深入实践。工具会变，但数据链路的工程原则相对稳定。
四、典型应用场景：实时计算在金融中的落地
金融实时计算并非单一场景，而是覆盖前中后台的完整能力。以下四个场景最具代表性：
- 实时行情与交易信号：对逐笔行情进行窗口聚合，计算买卖盘失衡、成交量突变、价格动量等指标，为量化策略提供毫秒级信号。
- 实时风控与反欺诈：在用户下单、转账、登录等事件发生时，实时计算设备指纹、行为序列、关联图谱与规则命中情况，阻断异常交易。
- 实时估值与清算：对持仓组合进行实时盯市，计算浮动盈亏、风险敞口与保证金占用，支持盘中风控与日终清算加速。
- 智能投研与资讯推送：将新闻、公告、研报与行情事件进行流式关联，实时生成标签与摘要，推送给投研人员或终端用户。
这些场景的共同点是：数据持续到达、结果需要低延迟、计算逻辑复杂且不能出错。它们对系统的要求远高于普通互联网实时推荐，因为金融场景直接关联资金与合规风险。
五、常见误区与复盘：初学者最容易踩的坑
误区一：把实时计算等同于“快”。实时计算的核心不是单纯追求低延迟，而是在正确性、一致性与时效性之间取得平衡。资金类场景中，错误的结果比慢几秒更危险。
以下清单总结了初学者常见的认知偏差与纠正方向：
| 常见误区 | 问题本质 | 纠正方向 |
|---|---|---|
| 只用处理时间，忽略事件时间 | 乱序数据导致统计结果错误 | 引入事件时间与水位线机制 |
| 认为“至少一次”够用 | 重复计算导致资金重复扣减 | 关键链路实现Exactly-Once或幂等写入 |
| 状态无限增长 | 内存溢出、恢复缓慢 | 设置状态TTL、使用增量检查点与外部状态存储 |
| 忽视数据血缘与监控 | 出问题无法定位、监管无法审计 | 从第一天就建立血缘、指标与告警体系 |
| 盲目追求Lambda架构 | 批流两套代码维护成本高 | 评估Kappa与流批一体，优先统一计算逻辑 |
复盘这些误区可以发现，金融数据工程的难点往往不在编码，而在对业务语义、时间语义与一致性语义的理解。只有把这三者对齐，实时计算系统才能真正可信。
六、本章小结与学习准备
本章作为课程导入，建立了金融数据工程与实时计算的整体认知：学习目标聚焦于“能建系统、能保正确、能落场景”；核心概念围绕事件时间、窗口、状态、水位线与Exactly-Once展开；知识框架分为采集、传输、计算、存储、服务与治理五层；典型场景覆盖行情、风控、估值与投研。接下来，课程将逐层深入，从数据采集与消息队列开始，逐步构建完整的金融实时数据系统。
准备建议：在学习后续章节前，建议先熟悉Linux基础命令、SQL、至少一门编程语言（Java/Scala/Python），并了解基本的分布式系统概念。这些是后续动手实践的基础。
# 建议的本地环境准备清单
- JDK 11 或 17
- Maven 或 Gradle
- Docker 与 Docker Compose
- Kafka / Pulsar 本地单机环境
- Flink 本地集群或 MiniCluster
- Python 3.9+ 与常用数据分析库
- Git 与基础命令行工具