2. Kafka 基础：核心概念与快速体验

在风控网关数据链路中，Kafka 扮演着“中枢神经”的角色——它负责承接前端埋点、业务系统上报的实时事件，并以高吞吐、低延迟的方式将数据分发给下游的风控引擎、规则计算节点和存储层。理解 Kafka 的核心概念是搭建风控数据链路的第一步。

2.1 核心概念

2.2 Topic、Partition 与 Consumer Group 的关系

下图展示了风控网关数据链路中，一个 Topic 被拆分为 3 个 Partition，由 2 个 Consumer 组成的组并行消费的典型结构：

2.3 安装与命令行快速体验

以下步骤基于 Kafka 3.6+ 版本，使用内置的 ZooKeeper 模式（生产环境建议使用 KRaft 模式或独立 ZooKeeper 集群）。

2.3.1 下载与启动

# 1. 下载 Kafka（以 3.6.0 为例）
wget https://downloads.apache.org/kafka/3.6.0/kafka_2.13-3.6.0.tgz
tar -xzf kafka_2.13-3.6.0.tgz
cd kafka_2.13-3.6.0

# 2. 启动 ZooKeeper（Kafka 依赖）
bin/zookeeper-server-start.sh config/zookeeper.properties &

# 3. 启动 Kafka Broker
bin/kafka-server-start.sh config/server.properties &

2.3.2 创建 Topic 与查看详情

# 创建一个名为 risk-events 的 Topic，3 个分区，1 个副本
bin/kafka-topics.sh --create \
  --topic risk-events \
  --bootstrap-server localhost:9092 \
  --partitions 3 \
  --replication-factor 1

# 查看 Topic 列表
bin/kafka-topics.sh --list --bootstrap-server localhost:9092

# 查看 Topic 的详细信息（分区、副本、Leader 等）
bin/kafka-topics.sh --describe \
  --topic risk-events \
  --bootstrap-server localhost:9092

2.3.3 生产与消费消息

# 启动生产者，手动输入消息（模拟风控事件）
bin/kafka-console-producer.sh \
  --topic risk-events \
  --bootstrap-server localhost:9092
> {"event_type":"login","user_id":"u1001","ip":"192.168.1.1","timestamp":1700000000}
> {"event_type":"payment","user_id":"u1002","amount":5000,"timestamp":1700000001}
> ^C  # Ctrl+C 退出

# 启动消费者，从最早的消息开始消费
bin/kafka-console-consumer.sh \
  --topic risk-events \
  --bootstrap-server localhost:9092 \
  --from-beginning

2.4 关键参数速查表

2.5 风控场景下的 Topic 命名规范

建议采用 层级命名法，便于权限管理和数据治理：

• risk.raw.login —— 原始登录事件
• risk.raw.payment —— 原始支付事件
• risk.raw.device —— 设备指纹事件
• risk.enriched.user —— 经过特征加工的富化用户事件
• risk.result.decision —— 风控决策结果输出