2. Kafka核心概念：Topic、Partition、Broker、Producer、Consumer、Consumer Group

Kafka 作为分布式流处理平台，其核心架构围绕六个关键概念构建。理解这些概念是掌握 Kafka 数据流与风控集成的基础。本节将逐一剖析每个概念的角色、交互方式及在风控场景中的典型应用。

2.1 核心概念总览

下表从定义、职责和风控场景映射三个维度，快速建立对六大概念的全局认知：

2.2 架构关系图

下图展示了 Producer、Broker 集群、Topic/Partition 以及 Consumer Group 之间的完整数据流转关系：

2.3 核心概念深度解析

2.3.1 Topic（主题）

Topic 是 Kafka 中消息的逻辑分类单元。在风控系统中，每个 Topic 对应一类业务事件：

• 命名规范：risk_login_events、risk_transaction_events、risk_credit_events
• 多订阅者：同一个 Topic 可被多个 Consumer Group 独立消费，互不影响
• 持久化：消息在 Topic 内按配置保留（如 7 天），支持回溯消费

2.3.2 Partition（分区）

Partition 是 Topic 的物理存储单元，每个 Partition 是一个有序、不可变的消息序列：

• 并行基础：Partition 数量决定了 Consumer 的最大并行度
• 有序保证：消息在 Partition 内严格有序，跨 Partition 不保证全局有序
• 副本机制：每个 Partition 有多个副本（Replica），分布在不同的 Broker 上

2.3.3 Broker（代理节点）

Broker 是 Kafka 集群中的单个服务器实例，负责消息存储和请求处理：

• 集群角色：每个 Broker 通过 ZooKeeper 或 KRaft 协调
• Leader/Follower：每个 Partition 有一个 Leader 和多个 Follower，Leader 负责读写，Follower 负责同步
• 风控高可用：建议至少 3 个 Broker，副本因子设为 2 或 3

2.3.4 Producer（生产者）

Producer 负责将消息发布到指定的 Topic。在风控架构中，Producer 通常是业务系统的埋点 SDK 或 API 网关：

• 异步发送：默认异步批量发送，提升吞吐量
• 确认机制：acks=0（不确认）、acks=1（Leader确认）、acks=all（所有副本确认）
• 重试与幂等：启用幂等性防止消息重复

// 风控事件生产者示例
Properties props = new Properties();
props.put("bootstrap.servers", "broker1:9092,broker2:9092,broker3:9092");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("acks", "all");           // 最强可靠性
props.put("enable.idempotence", "true"); // 启用幂等
props.put("retries", "3");

KafkaProducer<String, String> producer = new KafkaProducer<>(props);

// 按用户ID分区，保证同一用户事件有序
ProducerRecord<String, String> record = 
    new ProducerRecord<>("risk_login_events", userId, eventJson);
producer.send(record, (metadata, exception) -> {
    if (exception != null) {
        // 记录发送失败日志，触发告警
    }
});

2.3.5 Consumer（消费者）

Consumer 从 Topic 拉取消息进行消费。Flink CEP 作业作为 Consumer 时，需要关注以下配置：

• 消费位置：earliest（从头消费）、latest（从最新消费）、指定 offset
• 自动提交 vs 手动提交：风控场景推荐手动提交，确保 exactly-once 语义
• 反压处理：通过 max.poll.records 控制单次拉取数量

2.3.6 Consumer Group（消费者组）

Consumer Group 是 Kafka 实现消费负载均衡和容错的核心机制：

• 负载均衡：Group 内多个 Consumer 共同消费 Topic 的所有 Partition
• Rebalance：当 Consumer 加入或退出时，触发分区重新分配
• 位移管理：每个 Group 独立维护消费位移（offset），存储在 __consumer_offsets 主题中

下图展示 Consumer Group 内分区分配策略的两种模式：

2.4 风控场景中的概念协同

在实时风控系统中，六大概念协同工作，形成完整的数据流链路：

1. 事件采集：业务系统作为 Producer，将风控事件发送到对应 Topic
2. 数据分区：按用户ID哈希，事件进入指定 Partition，保证用户级有序
3. 集群存储：多个 Broker 组成集群，Partition 副本分布在不同 Broker 上
4. 并行消费：Flink CEP 作业作为 Consumer Group 成员，每个 Consumer 负责固定 Partition
5. 规则计算：Flink 在 Consumer 端执行 CEP 规则，输出风险决策结果