01
数据契约基础
什么是数据契约、为什么需要数据契约、数据契约的核心要素。
概念入门
02
Schema定义入门
Avro Schema基础、JSON Schema基础、Protobuf基础。
AvroJSONProtobuf
03
Schema演化原则
向前兼容、向后兼容、完全兼容、破坏性变更。
兼容性设计原则
04
Avro Schema演化实战
添加字段、删除字段、修改字段类型、默认值策略。
Avro实战
05
JSON Schema演化实战
required字段变更、additionalProperties处理、oneOf与anyOf演化。
JSON演化
06
Protobuf演化实战
字段编号管理、reserved关键字、oneof演化、map类型演化。
Protobuf编号
07
数据契约版本管理
语义化版本在Schema中的应用、版本号策略、版本仓库设计。
版本治理
08
Schema注册中心
Confluent Schema Registry入门、API操作、兼容性策略配置。
注册中心Confluent
09
契约测试基础
消费者驱动契约测试、Pact框架入门、契约验证流程。
测试Pact
10
数据管道中的契约
Kafka消息契约、数据湖表结构契约、ETL契约管理。
管道Kafka
11
微服务间的数据契约
服务间API契约、事件契约、共享库的Schema管理。
微服务API
12
Schema迁移策略
蓝绿部署与Schema、金丝雀发布与Schema、灰度迁移实践。
部署迁移
13
数据质量与契约
Schema校验与数据质量、契约违规监控、告警机制。
质量监控
14
多语言环境下的契约
跨语言Schema生成、兼容性矩阵、代码生成最佳实践。
多语言代码生成
15
大规模Schema治理
Schema仓库管理、变更审批流程、自动化审计。
治理自动化
16
时间维度上的演化
时间戳处理、时区问题、历史数据回溯。
时间时区
17
嵌套与复杂类型演化
record嵌套演化、数组类型演化、map类型演化。
嵌套复杂类型
18
枚举类型演化
枚举值增删、默认值处理、枚举与字符串互转。
枚举兼容
19
Union类型演化
Avro Union处理、oneof vs union、类型新增与移除。
Uniononeof
20
Schema文档化
自动生成文档、Schema注释规范、文档与代码同步。
文档注释
21
契约安全
Schema访问控制、敏感字段标记、数据脱敏契约。
安全脱敏
22
事件驱动架构中的契约
CloudEvents规范、事件Schema管理、事件版本策略。
事件驱动CloudEvents
23
数据湖Schema管理
Delta Lake Schema演化、Iceberg Schema演化、Hudi Schema演化。
数据湖DeltaIceberg
24
实时流处理中的Schema
Flink与Schema Registry集成、Kafka Streams Schema处理。
流处理Flink
25
批处理中的Schema
Spark Schema推断、Hive Schema演化、Presto/Trino Schema适配。
批处理Spark
26
Schema演化自动化工具
Schema diff工具、自动迁移脚本、CI/CD集成。
自动化CI/CD
27
契约治理与组织流程
契约委员会、变更评审、SLA定义。
治理流程
28
故障案例复盘
Schema演化导致的线上事故、回滚策略、经验总结。
复盘事故
29
未来趋势
Schema-on-Read vs Schema-on-Write、动态Schema、AI辅助Schema设计。
趋势AI
30
综合实战
从零构建一个数据契约管理系统，涵盖设计、开发、部署、运维全流程。
实战全流程