2. Kafka 核心架构回顾：Producer、Broker、Consumer、Topic、Partition、Replica 在压测中的角色
在进行实时流场景的压力测试之前，必须清晰理解 Kafka 核心组件在压测链路中的具体职责。压测不是盲目发消息，而是针对每个组件的瓶颈边界进行探测。下面从压测视角重新拆解 Kafka 六大核心概念。
2.1 组件角色速览
| 组件 | 压测中的核心角色 | 主要关注指标 |
|---|---|---|
| Producer | 压测施压端，模拟上游数据源持续写入 | 吞吐量 (msg/s)、发送延迟、批次大小、重试率 |
| Broker | 服务端核心，负责存储与转发，是压测瓶颈高发区 | 磁盘 I/O、网络吞吐、分区 Leader 均衡度、请求队列深度 |
| Consumer | 压测接收端，模拟下游消费能力 | 消费滞后 (Lag)、再均衡耗时、拉取轮次延迟 |
| Topic | 逻辑分类，决定数据路由与隔离策略 | 分区数、消息保留策略、日志段大小 |
| Partition | 并行度与顺序性的基本单元 | 分区数、Leader 分布、ISR 集合状态 |
| Replica | 高可用保障，影响写入确认与故障恢复 | 副本因子、ISR 延迟、UnderReplicated 分区数 |
压测原则： 压测 Producer 时，Broker 和 Consumer 必须预留充足余量，否则瓶颈定位会漂移。建议先单独压 Producer，再压 Consumer，最后做端到端混合压测。
2.2 压测数据流中的组件协作
下图展示了压测过程中一条消息从 Producer 到 Consumer 的完整路径，以及每个环节的关键压力点。
2.3 各组件压测要点详解
2.3.1 Producer — 压测的“发令枪”
- 吞吐量控制： 通过
max.in.flight.requests.per.connection和batch.size调节并发度与批次大小。 - 确认机制：
acks=1或acks=all直接影响延迟与可靠性，压测时需明确场景。 - 关键压测指标： 发送 TPS、平均延迟、99th 延迟、重试次数、请求超时率。
压测陷阱： Producer 端使用同步发送会大幅降低吞吐，压测脚本应优先采用异步回调模式，否则测出的上限会远低于真实生产水平。
2.3.2 Broker — 压测的“瓶颈探测仪”
- 磁盘 I/O： 顺序写 vs 随机读，关注
kafka-log-flush耗时和磁盘利用率。 - 网络吞吐： 网卡带宽上限、TCP 连接数、请求队列积压。
- 分区 Leader 均衡： 压测前检查分区 Leader 是否均匀分布，避免单节点过载。
2.3.3 Consumer — 压测的“泄洪闸”
- 消费滞后 (Lag)： 压测中 Lag 持续增长说明消费能力不足，需增加分区或 Consumer 实例。
- 再均衡 (Rebalance)： 频繁再均衡会导致消费停滞，压测时应固定 Consumer 组。
- 拉取模型：
fetch.min.bytes和max.poll.records影响拉取效率。
2.3.4 Topic & Partition — 压测的“并行度开关”
- 分区数： 分区数决定最大并行度，但过多分区会增加 Leader 选举和文件句柄开销。
- 分区分配： 压测前确认分区 Leader 分布，避免热点。
2.3.5 Replica — 压测的“高可用防线”
- 副本因子： 3 副本是常见配置，压测时可临时降为 1 排除副本干扰，但生产环境必须保留。
- ISR 延迟： 压测中观察
UnderReplicatedPartitions指标，若持续大于 0 说明副本同步跟不上写入。
2.4 压测前的组件健康检查清单
| 检查项 | 命令 / 工具 | 预期状态 |
|---|---|---|
| Broker 存活 | kafka-broker-api-versions.sh |
所有 Broker 返回版本信息 |
| 分区 Leader 均衡 | kafka-topics.sh --describe |
Leader 均匀分布在各 Broker |
| ISR 完整 | kafka-topics.sh --describe |
所有分区 ISR 数量 = 副本因子 |
| Consumer 组状态 | kafka-consumer-groups.sh --describe |
无长时间停滞或再均衡 |
| 磁盘空间 | df -h |
使用率 < 80% |
重要提醒： 压测前务必执行上述健康检查，否则压测结果可能被组件异常状态污染。例如，一个 Broker 宕机导致分区 Leader 切换，压测延迟会瞬间飙升，但这不是真实负载能力。
2.5 压测视角下的组件关系图
下面这张图从压测数据流向角度，展示 Producer、Broker、Consumer 与 Topic/Partition/Replica 之间的依赖关系，帮助你在设计压测方案时快速定位组件边界。
2.6 压测角色总结
- Producer 是压测的起点，控制写入压力的大小与模式。
- Broker 是压测的核心观测对象，所有瓶颈最终都会在 Broker 层面暴露。
- Consumer 是压测的终点，验证下游消费能力是否匹配上游写入。
- Topic / Partition / Replica 是压测的配置基础，决定了并行度、顺序性和可靠性边界。