VIP20
本课程属于：002-数据湖仓平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

数据系统Schema演化与兼容治理

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
第1章
Schema Evolution 概述
什么是 Schema Evolution？为什么需要它？常见应用场景（数据湖、流处理、消息队列）。
概念场景
第2章
Schema 基础
Avro、Protobuf、Thrift、JSON Schema 对比。Schema 注册表（Schema Registry）的核心作用。
对比注册表
第3章
Avro Schema 详解
Avro 数据类型、Record、Enum、Array、Map、Union 的定义与使用。
Avro类型
第4章
Avro Schema 兼容性规则
Backward、Forward、Full、None 四种兼容性模式详解。
兼容性模式
第5章
Avro Schema 演进实战
添加字段、删除字段、修改字段类型、重命名字段。
演进字段
第6章
Avro Schema 演进实战（续）
Union 类型演进、默认值策略、枚举类型演进。
Union枚举
第7章
Confluent Schema Registry 入门
安装、启动、REST API 基础操作（注册、查询、兼容性检查）。
入门REST
第8章
Confluent Schema Registry 客户端集成
Java Producer/Consumer 集成 Avro Schema。
Java集成
第9章
Confluent Schema Registry 客户端集成（续）
Python 客户端集成 Avro Schema。
Python集成
第10章
Schema Registry 兼容性策略配置
全局策略 vs Subject 级别策略，策略变更的影响。
策略配置
第11章
Schema Registry 版本管理
版本号、Schema ID、引用（Reference）机制。
版本引用
第12章
Schema Registry 高级特性
Schema 导出/导入、Schema 迁移、多数据中心复制。
高级迁移
第13章
Protobuf Schema 详解
Protobuf 语法、消息定义、字段类型、Oneof、Map。
Protobuf语法
第14章
Protobuf Schema 兼容性规则
字段编号规则、删除/添加字段、修改字段类型。
兼容性编号
第15章
Protobuf Schema 演进实战
Reserved 关键字、包名管理、枚举演进。
演进Reserved
第16章
Protobuf Schema 与 gRPC
Service 定义、Streaming、错误处理中的 Schema 演进。
gRPCStreaming
第17章
Thrift Schema 详解
Thrift IDL 语法、Struct、Union、Exception、Service。
ThriftIDL
第18章
Thrift Schema 兼容性规则
字段 ID 管理、Required/Optional 变化、类型变更。
兼容性字段ID
第19章
JSON Schema 详解
JSON Schema 基础语法、Validation、Draft 版本差异。
JSONValidation
第20章
JSON Schema 演进策略
宽松模式、严格模式、向后兼容性检查工具。
策略兼容性
第21章
Schema Evolution 在 Kafka 中的实践
Kafka Avro Serializer/Deserializer、错误处理。
Kafka序列化
第22章
Schema Evolution 在 Kafka 中的实践（续）
Kafka Streams 与 Schema Registry 集成。
Kafka Streams集成
第23章
Schema Evolution 在 Flink 中的实践
Flink Avro/Protobuf 格式支持、状态兼容性。
Flink状态
第24章
Schema Evolution 在 Flink 中的实践（续）
Flink SQL 与 Schema Registry 集成。
Flink SQL集成
第25章
Schema Evolution 在 Spark 中的实践
Spark Avro/Protobuf 数据源、Schema 推断与合并。
Spark推断
第26章
Schema Evolution 在数据湖中的实践
Delta Lake、Apache Iceberg、Apache Hudi 的 Schema 演进对比。
数据湖对比
第27章
Schema Evolution 在数据湖中的实践（续）
Iceberg Schema 演进实战（添加、删除、重命名、类型提升）。
Iceberg演进
第28章
Schema Evolution 最佳实践
设计原则、命名规范、默认值策略、版本管理流程。
最佳实践规范
第29章
Schema Evolution 监控与治理
Schema 变更审计、兼容性检查自动化、CI/CD 集成。
监控CI/CD
第30章
Schema Evolution 故障排查与案例分析
常见错误（IncompatibleSchemaException、SerializationException）、真实生产事故复盘。
故障案例
专注课程资料整理