1. 课程导入
在金融行情系统中，数据Schema从来不是一成不变的。交易所新增字段、业务方提出新指标、上游系统重构、监管要求调整，都会推动行情数据的结构发生演进。而行情系统最怕的，恰恰是“上游一改，下游全崩”。本课程要解决的核心问题就是：当行情数据的Schema持续演进时，如何让生产、传输、存储、消费各环节既能快速接纳新结构，又能兼容旧逻辑，做到平滑升级、不中断服务。
一、学习目标：从“能解析”到“可演进”
本课程不是单纯讲JSON或Protobuf语法，而是围绕行情数据全链路，建立一套可落地的Schema治理能力。学完本课程，你应当能够：
- 识别演进类型：区分字段新增、删除、重命名、类型变更、语义变更、嵌套结构调整等不同演进形态，并判断其兼容性等级。
- 设计兼容策略：针对不同演进类型，选择向后兼容、向前兼容、双向兼容或版本隔离方案。
- 落地技术手段：掌握Avro、Protobuf、JSON Schema、FIX等常见行情Schema体系下的兼容处理技巧。
- 构建治理流程：从Schema注册、版本管理、灰度发布到监控告警，形成完整的演进治理闭环。
- 应对真实故障：在字段缺失、类型冲突、默认值异常等场景下快速定位并恢复。
二、核心挑战：行情数据Schema演进的“三座大山”
行情数据具有高吞吐、低延迟、多消费者、强时效四大特征，这使得Schema演进比普通业务数据更棘手。核心挑战可以归纳为三类：
| 挑战类型 | 典型场景 | 潜在后果 |
|---|---|---|
| 结构兼容性 | 上游新增字段，下游反序列化失败 | 消费端崩溃、数据丢失 |
| 语义兼容性 | 字段名不变，但单位从“元”改为“分” | 数据静默错误，业务决策偏差 |
| 时序兼容性 | 新旧版本Schema并行，消费者混用 | 数据错乱、对账困难 |
特别提醒：行情系统中，最危险的往往不是“解析报错”，而是“解析成功但语义错误”。例如价格字段类型从int改为long，数值看似正常，但精度或单位已变，这类问题在盘中极难发现。
三、整体知识框架：四层演进治理模型
为了系统化应对上述挑战，本课程将知识体系划分为四个层次，从下到上依次为：
- Schema定义层：选择IDL（接口描述语言），定义字段、类型、默认值、必选/可选约束。这是演进的起点。
- 序列化与传输层：决定数据在网络上以何种二进制或文本格式传输，直接影响兼容性能力。例如Protobuf的字段编号机制、Avro的Schema Registry。
- 版本与注册层：管理Schema版本、兼容性检查、发布审批。这是治理的核心枢纽。
- 消费与适配层：下游如何读取不同版本数据，包括默认值填充、字段映射、降级处理等。
这四层不是孤立的，而是一条完整的数据流。任何一个环节的兼容性缺失，都会导致整条链路断裂。下面的SVG展示了行情数据从生产到消费的Schema演进治理全景，以及各层之间的依赖关系。
四、实战路线图：从认知到落地
本课程共30章，按照“认知—设计—实现—治理—复盘”的路径推进。第1章作为导入，先建立全局视角。后续章节将逐步深入：
- 第2-6章：Schema演进基础——行情数据模型、常见IDL对比、兼容性定义与分类。
- 第7-14章：兼容处理核心技术——Protobuf字段编号策略、Avro Schema Resolution、JSON Schema校验、FIX协议扩展。
- 第15-22章：工程化落地——Schema Registry搭建、CI/CD集成、灰度发布、监控告警。
- 第23-28章：真实场景实战——交易所字段升级、行情回放兼容、多版本并行消费、故障排查。
- 第29-30章：复盘与展望——典型误区总结、未来演进趋势。
学习建议：每章都配有可运行的代码片段和配置示例。建议你准备一个本地环境，跟随课程动手修改Schema、观察序列化结果、模拟兼容性检查。行情Schema治理是“做中学”的领域，只看不练很难形成肌肉记忆。
五、常见误区：别让这些认知拖后腿
在正式进入技术细节之前，先澄清几个高频误区，避免后续走弯路：
- 误区一：“加字段一定兼容。”——如果序列化框架要求字段必填，或消费者使用严格模式解析，加字段同样会导致失败。
- 误区二：“改字段名没关系，反正有映射。”——映射需要额外维护，且容易遗漏；在Avro中改字段名等同于删除旧字段并新增新字段。
- 误区三：“兼容性检查是上线前才做的事。”——兼容性应在Schema设计阶段就纳入考量，事后补救成本极高。
- 误区四：“所有消费者都用最新版就行。”——行情系统中消费者众多，升级节奏不一，必须假设新旧版本长期共存。
核心原则：行情数据Schema演进的第一性原理是——永远假设有旧消费者存在，永远为旧消费者保留可解析路径。在这个前提下，再追求新字段、新语义的高效表达。
接下来，我们将从行情数据模型的基本构成开始，逐步拆解Schema演进的每一个技术细节。请带着一个问题进入后续学习：你当前系统中的行情Schema，如果明天上游要加一个字段，你的链路能扛住吗？