📚 课程目录第3章消息序列化与Schema设计

3. 消息序列化与Schema设计

在 Kafka 中，消息的键和值最终都以字节数组形式存储。序列化决定了“对象如何变成字节”，Schema 则决定了“这些字节如何被解释”。如果生产者和消费者对结构的理解不一致，轻则字段缺失，重则整条数据流解析失败。因此，序列化格式与 Schema 管理是数据建模工程的基础设施，而不是可选项。

三种主流格式的定位差异

Avro 是 Confluent 生态中默认推荐的格式。它把 Schema 与数据分离：写入数据时只携带紧凑的二进制内容，Schema 由 Schema Registry 按 ID 管理。Avro 支持丰富的类型系统、默认值、联合类型和逻辑类型（如 decimal、timestamp-millis），非常适合需要频繁演进的数据管道。它的写入体积小，但读取时必须拿到写入时的 Schema 才能正确解码。

Protobuf 由 Google 设计，字段以编号（tag）标识，二进制编码紧凑，跨语言支持成熟。Protobuf 的 Schema 演进规则围绕字段编号展开：新增字段必须使用新编号，删除字段应保留编号（reserved），不能复用。它适合对性能和跨语言一致性要求高的场景，但可读性不如 JSON，且默认值语义与 Avro 不同。

JSON Schema 以文本形式描述 JSON 结构，人类可读、调试方便，适合对外接口或需要人工排查的场景。代价是体积大、解析开销高，且类型约束相对宽松。它更适合作为契约文档和轻量校验，而不是高吞吐内部管道的首选。

Schema Registry 的集成方式

Confluent Schema Registry 是一个独立服务，为每个 Subject（通常是 <topic>-value 或 <topic>-key）维护 Schema 版本序列。生产者发送消息前，序列化器会先向 Registry 注册或查询 Schema，拿到全局唯一的 Schema ID，然后把 ID 写入消息头部，再拼接二进制数据。消费者反序列化时，从消息头读出 ID，向 Registry 拉取对应 Schema，完成解码。

这种设计的关键收益是：消息体不重复携带完整 Schema，节省带宽；同时所有 Schema 变更都经过 Registry 校验，避免不兼容的结构直接进入 Topic。下面是一个 Avro 生产者的关键配置示例：

# 生产者配置
value.serializer=io.confluent.kafka.serializers.KafkaAvroSerializer
schema.registry.url=http://registry:8081
auto.register.schemas=true
use.latest.version=false

# 消费者配置
value.deserializer=io.confluent.kafka.serializers.KafkaAvroDeserializer
specific.avro.reader=true

当 auto.register.schemas=true 时，生产者遇到未注册的 Schema 会自动提交注册；生产环境更稳妥的做法是关闭自动注册，改由 CI 流程显式注册并做兼容性检查，避免意外结构变更污染 Subject。

演进策略与兼容性判断

Schema 演进的核心问题是：新版本上线后，旧消费者还能不能读新数据，新消费者还能不能读旧数据。Schema Registry 提供四种兼容性级别：

BACKWARD（默认）：新 Schema 可以读旧数据。允许删除字段、新增带默认值的字段。消费者先升级。
FORWARD：旧 Schema 可以读新数据。允许新增字段、删除带默认值的字段。生产者先升级。
FULL：双向兼容，同时满足 BACKWARD 和 FORWARD，演进最安全但限制最多。
NONE：不做兼容性检查，仅用于临时调试，生产环境应避免。

以订单模型为例，v1 定义为 {order_id: string, amount: double}。若要新增 currency 字段，在 BACKWARD 策略下必须给它默认值 "CNY"，这样旧数据反序列化时该字段取默认值，新消费者不会报错。若直接删除 amount 且无默认值，注册会被拒绝，因为旧消费者无法处理缺失字段。

实践建议：内部数据管道优先使用 Avro + BACKWARD 兼容；对外接口或需要人工排查的场景可用 JSON Schema；跨语言高性能场景选 Protobuf，并严格管理字段编号的 reserved 列表。

落地检查清单

在把序列化方案投入生产前，建议逐项确认：Subject 命名是否统一为 <topic>-value；兼容性级别是否按 Topic 显式设置而非依赖全局默认；生产者是否关闭自动注册并接入 CI 校验；消费者是否使用 specific.avro.reader 生成强类型对象；Schema 变更是否经过评审并保留版本记录。把这些环节固定下来，Schema 演进才不会成为数据管道的隐性风险。