3. 环境准备：Docker、Docker Compose、Java、Kafka、MySQL、PostgreSQL 的安装与配置

说实话，搭建 CDC 管道这件事，60% 的坑都出在环境上。我见过太多人代码写好了，结果连不上 Kafka，或者 MySQL 的 binlog 没打开，折腾半天才发现是环境问题。所以这一章，咱们把地基打牢。

我会带你装好所有需要的组件。你跟着我的步骤走，基本不会出问题。嗯，咱们开始吧。

3.1 整体架构一览

在动手之前，你先想清楚我们要搭什么。说白了，就是让数据从 MySQL 流到 PostgreSQL，中间经过 Kafka 做缓冲和分发。这套东西跑在 Docker 里，用 Java 写的程序去控制它。

下面这张图，就是咱们整个环境的逻辑关系。你看一眼，心里有个谱。

3.2 Docker 与 Docker Compose

我个人习惯用 Docker 来管理这些中间件。为什么？因为干净、可重复、不污染宿主机。你想想看，装一个 Kafka 要配 Zookeeper、调 JVM 参数、处理端口冲突……用 Docker 的话，一个 docker-compose.yml 全搞定。

3.2.1 安装 Docker

不同系统安装方式不一样。我列个表，你对照着来。

sudo usermod -aG docker $USER
newgrp docker

3.2.2 安装 Docker Compose

Docker Compose 现在已经是 Docker 的一部分了。如果你装的是 Docker Desktop，它自带 Compose。Linux 上可能需要单独装。

# 下载最新版
sudo curl -L "https://github.com/docker/compose/releases/latest/download/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

# 赋予执行权限
sudo chmod +x /usr/local/bin/docker-compose

# 验证
docker-compose --version

3.3 Java 环境

Debezium 和 Kafka Connect 都是 Java 写的。所以 Java 是必须的。我个人推荐 JDK 11，因为它在性能和兼容性上平衡得最好。JDK 8 太老，JDK 17 有些库还没完全适配。

3.3.1 安装 OpenJDK 11

# Ubuntu/Debian
sudo apt update
sudo apt install openjdk-11-jdk

# CentOS/RHEL
sudo yum install java-11-openjdk-devel

# 验证
java -version

输出应该类似这样：

openjdk version "11.0.18" 2023-01-17 LTS
OpenJDK Runtime Environment (build 11.0.18+10-post-Ubuntu-0ubuntu122.04)
OpenJDK 64-Bit Server VM (build 11.0.18+10-post-Ubuntu-0ubuntu122.04, mixed mode)

3.3.2 配置 JAVA_HOME

很多 Java 应用（包括 Kafka）依赖 JAVA_HOME 环境变量。不配的话，启动时会报错。我踩过这个坑，所以提醒你一下。

# 找到 Java 安装路径
sudo update-alternatives --config java

# 编辑 ~/.bashrc 或 ~/.zshrc
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
export PATH=$JAVA_HOME/bin:$PATH

# 生效
source ~/.bashrc

# 验证
echo $JAVA_HOME

3.4 Apache Kafka

Kafka 是整个 CDC 管道的核心。数据从 MySQL 出来，先到 Kafka，再到 PostgreSQL。为什么中间要加一层？说白了，为了解耦和缓冲。万一 PostgreSQL 挂了，数据不会丢，等它恢复后再继续消费。

3.4.1 用 Docker Compose 部署 Kafka

我建议用 Docker Compose 来部署 Kafka 和 Zookeeper。下面这个配置是我项目里常用的，你直接复制就行。

version: '3.8'
services:
  zookeeper:
    image: confluentinc/cp-zookeeper:7.4.0
    environment:
      ZOOKEEPER_CLIENT_PORT: 2181
      ZOOKEEPER_TICK_TIME: 2000
    ports:
      - "2181:2181"

  kafka:
    image: confluentinc/cp-kafka:7.4.0
    depends_on:
      - zookeeper
    ports:
      - "9092:9092"
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
      KAFKA_TRANSACTION_STATE_LOG_MIN_ISR: 1
      KAFKA_TRANSACTION_STATE_LOG_REPLICATION_FACTOR: 1

3.4.2 启动并验证 Kafka

# 启动
docker-compose up -d

# 查看日志
docker-compose logs -f kafka

# 创建一个测试 Topic
docker exec -it kafka kafka-topics --create \
  --topic test-topic \
  --bootstrap-server localhost:9092 \
  --partitions 1 \
  --replication-factor 1

# 列出 Topic
docker exec -it kafka kafka-topics --list \
  --bootstrap-server localhost:9092

如果你看到 test-topic 出现在列表里，说明 Kafka 跑起来了。

3.5 MySQL 8.0

MySQL 是源端数据库。CDC 的核心是读取 binlog，所以 binlog 必须开启。我记得第一次做 CDC 项目时，忘了开 binlog，Debezium 连不上，查了半天才发现。嗯，这个坑你别踩。

3.5.1 用 Docker 部署 MySQL

version: '3.8'
services:
  mysql:
    image: mysql:8.0
    ports:
      - "3306:3306"
    environment:
      MYSQL_ROOT_PASSWORD: root123
      MYSQL_DATABASE: cdc_test
    command: --server-id=1 --log-bin=mysql-bin --binlog-format=ROW --binlog-row-image=FULL

3.5.2 验证 binlog 是否开启

# 进入 MySQL 容器
docker exec -it mysql mysql -uroot -proot123

# 执行 SQL
SHOW VARIABLES LIKE 'log_bin';
SHOW VARIABLES LIKE 'binlog_format';

如果 log_bin 显示 ON，binlog_format 显示 ROW，那就对了。

3.5.3 创建 CDC 专用用户

Debezium 需要连接 MySQL 并读取 binlog。我建议创建一个专用用户，权限最小化。

CREATE USER 'cdc_user'@'%' IDENTIFIED BY 'cdc_pass';
GRANT SELECT, RELOAD, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'cdc_user'@'%';
FLUSH PRIVILEGES;

3.6 PostgreSQL 14

PostgreSQL 是目标端。它负责接收从 Kafka 消费过来的变更数据。PostgreSQL 本身不需要特殊配置，但要注意一点：目标表的 schema 必须和源端匹配，否则写入会失败。

3.6.1 用 Docker 部署 PostgreSQL

version: '3.8'
services:
  postgres:
    image: postgres:14
    ports:
      - "5432:5432"
    environment:
      POSTGRES_USER: postgres
      POSTGRES_PASSWORD: postgres123
      POSTGRES_DB: cdc_target

3.6.2 验证连接

# 进入 PostgreSQL 容器
docker exec -it postgres psql -U postgres -d cdc_target

# 查看数据库
\l

# 退出
\q

看到 cdc_target 数据库，说明 PostgreSQL 跑起来了。

3.7 一键启动所有服务

好了，现在所有组件都准备好了。我把它们整合到一个 docker-compose.yml 里，你直接启动就行。

version: '3.8'
services:
  zookeeper:
    image: confluentinc/cp-zookeeper:7.4.0
    environment:
      ZOOKEEPER_CLIENT_PORT: 2181
      ZOOKEEPER_TICK_TIME: 2000

  kafka:
    image: confluentinc/cp-kafka:7.4.0
    depends_on:
      - zookeeper
    ports:
      - "9092:9092"
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
      KAFKA_TRANSACTION_STATE_LOG_MIN_ISR: 1
      KAFKA_TRANSACTION_STATE_LOG_REPLICATION_FACTOR: 1

  mysql:
    image: mysql:8.0
    ports:
      - "3306:3306"
    environment:
      MYSQL_ROOT_PASSWORD: root123
      MYSQL_DATABASE: cdc_test
    command: --server-id=1 --log-bin=mysql-bin --binlog-format=ROW --binlog-row-image=FULL

  postgres:
    image: postgres:14
    ports:
      - "5432:5432"
    environment:
      POSTGRES_USER: postgres
      POSTGRES_PASSWORD: postgres123
      POSTGRES_DB: cdc_target

docker-compose up -d

3.8 环境验证清单

最后，我列一个验证清单。你对照着检查一遍，确保所有组件都正常工作。