📚 课程目录第4章 Schema Registry介绍

4. Schema Registry 介绍：Confluent Schema Registry 架构、功能、部署方式

在 Kafka 契约校验体系中，Schema Registry 是承载序列化契约的核心组件。它独立于 Kafka Broker 运行，专门负责 Schema 的存储、版本管理、兼容性校验与分发。Confluent Schema Registry 是目前最成熟的实现，也是本课程后续所有契约校验实验的基础设施。

4.1 为什么需要 Schema Registry

Kafka 消息体本质是字节数组，Producer 与 Consumer 之间必须约定序列化格式。若缺少集中式 Schema 管理，会引发以下问题：

格式耦合：Producer 与 Consumer 各自维护 Schema 副本，升级时容易版本错配。
兼容性失控：字段增删、类型变更无法自动校验，反序列化失败后只能人工排查。
序列化开销：每条消息都携带完整 Schema 定义，网络与存储成本剧增。

Schema Registry 通过 Schema ID + 全局存储 解决上述痛点：Producer 只向消息头写入 4 字节 Schema ID，Consumer 从 Registry 按 ID 拉取 Schema 完成反序列化，同时 Registry 在注册时执行兼容性策略。

4.2 Confluent Schema Registry 架构

下图展示了 Schema Registry 在 Kafka 生态中的位置及其内部核心模块：

架构要点：Schema Registry 使用 Kafka 内部 Topic _schemas 持久化所有 Schema 数据，保证高可用与一致性。REST API 层对外提供 HTTP 接口，兼容性引擎在每次注册新版本时执行策略校验。

4.3 核心功能

功能模块	说明	契约校验中的作用
Schema 注册	Producer 或 Consumer 通过 REST API 提交 Schema 定义，Registry 分配全局唯一 ID	确保每个 Schema 版本有唯一标识，消息头携带 ID 即可引用
版本管理	同一 Subject（主题）下可存在多个 Schema 版本，支持向前/向后追溯	契约校验可指定版本范围，实现渐进式升级
兼容性校验	支持 BACKWARD、FORWARD、FULL、NONE 等策略，注册时自动比对	契约校验的核心规则引擎，拒绝不兼容的 Schema 变更
Schema 引用	支持 Schema 间嵌套引用（如 Avro 的 record 引用）	复杂契约场景下保持引用关系可追溯
序列化器集成	提供 Kafka Avro/JSON Schema/Protobuf 序列化器，自动与 Registry 交互	降低契约校验的接入成本，开箱即用

4.4 兼容性策略详解

兼容性策略决定了 Schema 变更时契约是否被允许。以下表格对比了四种内置策略：

策略	规则	典型场景	校验方向
BACKWARD	新 Schema 必须能读取旧 Schema 写入的数据	Consumer 先升级，Producer 后升级	新 Schema 兼容旧 Schema
FORWARD	旧 Schema 必须能读取新 Schema 写入的数据	Producer 先升级，Consumer 后升级	旧 Schema 兼容新 Schema
FULL	同时满足 BACKWARD 和 FORWARD	Producer 与 Consumer 同时升级	双向兼容
NONE	不执行任何兼容性校验	开发/测试环境，或完全可控的场景	无校验

生产环境建议：默认使用 BACKWARD 策略，确保 Consumer 先升级后仍能读取旧数据。若无法控制升级顺序，使用 FULL 策略更安全。NONE 策略仅用于快速迭代阶段，上线前必须切换。

4.5 部署方式

Confluent Schema Registry 支持多种部署模式，适应不同规模与可靠性要求：

单节点模式：开发/测试环境使用，一个 Registry 实例 + 一个 Kafka Broker。不提供高可用，Registry 宕机后 Schema 注册与拉取均不可用。
多节点集群模式：生产环境标准部署，多个 Registry 实例组成集群，共享同一个 _schemas Topic。通过负载均衡器对外暴露统一端点，单节点故障不影响服务。
多数据中心模式：跨地域部署，每个数据中心独立 Registry 集群，通过 Kafka MirrorMaker 同步 _schemas Topic。适用于全球部署的 Kafka 集群。

以下为生产环境多节点部署的典型架构：

4.6 快速部署示例（Docker Compose）

以下为单节点 Schema Registry + 单节点 Kafka 的 Docker Compose 配置，适用于本地开发与契约校验实验：

version: '3.8'
services:
  zookeeper:
    image: confluentinc/cp-zookeeper:7.6.0
    environment:
      ZOOKEEPER_CLIENT_PORT: 2181
      ZOOKEEPER_TICK_TIME: 2000

  kafka:
    image: confluentinc/cp-kafka:7.6.0
    depends_on:
      - zookeeper
    ports:
      - "9092:9092"
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1

  schema-registry:
    image: confluentinc/cp-schema-registry:7.6.0
    depends_on:
      - kafka
    ports:
      - "8081:8081"
    environment:
      SCHEMA_REGISTRY_HOST_NAME: schema-registry
      SCHEMA_REGISTRY_KAFKASTORE_BOOTSTRAP_SERVERS: PLAINTEXT://kafka:9092
      SCHEMA_REGISTRY_LISTENERS: http://0.0.0.0:8081

  启动验证：执行 docker-compose up -d 后，访问 http://localhost:8081/subjects 应返回空 JSON 数组 []，表示 Registry 已正常运行。

4.7 与 Kafka 契约校验的关系

在后续章节中，Schema Registry 将作为契约校验的 执行引擎：

Producer 提交消息时，序列化器自动向 Registry 注册 Schema，触发兼容性校验。
Consumer 拉取消息时，通过 Schema ID 获取 Schema 定义，确保反序列化契约一致。
契约测试工具（如本课程后续使用的 Kafka Contract Tester）直接调用 Registry REST API 进行 Schema 比对与版本管理。