3、消息投递语义：At-most-once、At-least-once、Exactly-once 的定义与适用场景

消息投递语义（Message Delivery Semantics）是分布式消息系统中最核心的契约之一。它定义了 Producer 向 Broker 发送消息，以及 Consumer 从 Broker 拉取消息时，系统在发生网络故障、节点崩溃、磁盘异常等场景下，对消息传递结果的保证程度。Kafka 在设计上提供了三种语义等级，分别对应不同的数据一致性要求与性能开销。

3.1 三种语义的定义与核心差异

下表从消息丢失、重复、精确性三个维度，对三种语义进行对比：

3.2 At-most-once（最多一次）

定义： Producer 发送消息后，不等待 Broker 的确认（acks=0），或 Consumer 拉取消息后立即提交位移，无论处理成功与否。消息最多被传递一次，允许丢失，但绝不重复。

适用场景：

• 日志采集与监控指标： 丢失几条日志或指标数据不影响整体趋势分析。
• 传感器数据上报： 高频、低价值密度的 IoT 数据，允许少量丢点。
• 实时推荐系统的点击流： 丢失少量点击事件不会导致推荐结果严重偏差。
• 性能压测与基准测试： 追求极致吞吐，容忍数据不完整。

3.3 At-least-once（至少一次）

定义： Producer 发送消息后，必须等待 Broker 确认（acks=1 或 acks=all），若超时或收到错误则重试；Consumer 在处理完消息后才提交位移。消息至少被传递一次，不会丢失，但可能重复。

适用场景：

• 订单与交易系统： 支付通知、订单状态变更，宁可重复处理也不可丢失。
• 通知推送服务： 短信、邮件、App Push，重复推送可接受，漏推不可接受。
• 数据同步管道： 从 Kafka 同步到 HDFS/数据库，下游通过主键或唯一索引去重。
• 缓存失效与刷新： 重复刷新缓存比缓存数据不一致更安全。

3.4 Exactly-once（精确一次）

定义： 消息在端到端传递中，无论发生何种故障，每条消息仅被成功处理一次，既不丢失也不重复。Kafka 通过幂等 Producer + 事务 API + 消费者事务隔离级别共同实现。

适用场景：

• 金融交易与计费系统： 扣费、转账、积分变动，重复或丢失都不可接受。
• 实时对账与风控： 每笔交易必须精确匹配，重复数据会导致误判。
• ETL 到数仓的精确同步： 从 Kafka 到 Hive/ClickHouse 的流式写入，要求数据行级精确。
• 跨数据中心复制： MirrorMaker 2 配合 Exactly-once 保证两地数据最终一致。

3.5 三种语义的投递流程对比（SVG）

下图从 Producer 发送到 Consumer 消费的完整链路，对比三种语义在故障恢复时的行为差异：

3.6 如何选择投递语义

在实际后端发布拓扑中，选择哪种语义取决于业务对数据一致性的容忍度与性能要求。以下决策流程可供参考：

1. 业务是否允许数据丢失？
   • 是 → 选择 At-most-once，获得最高吞吐。
   • 否 → 进入下一步。
2. 业务是否允许数据重复？
   • 是 → 选择 At-least-once，下游做好幂等或去重。
   • 否 → 进入下一步。
3. 端到端链路是否可控？
   • 是（Producer + Consumer 均为自研）→ 选择 Exactly-once，启用幂等 Producer 和事务 API。
   • 否（存在第三方系统）→ 优先 At-least-once + 下游幂等，避免事务协调带来的复杂度。

3.7 三种语义在故障恢复中的表现（SVG）

下图展示当 Broker 宕机或 Consumer 崩溃时，三种语义各自的重试与恢复路径：

3.8 代码示例：三种语义的 Producer 配置

以下代码展示在 Kafka Producer 中如何通过参数配置实现不同的投递语义：

// At-most-once 配置：不等待确认，不重试
Properties propsAtMostOnce = new Properties();
propsAtMostOnce.put("acks", "0");
propsAtMostOnce.put("retries", 0);
propsAtMostOnce.put("enable.idempotence", false);
KafkaProducer<String, String> producerAtMostOnce = new KafkaProducer<>(propsAtMostOnce);

// At-least-once 配置：等待所有副本确认，开启重试
Properties propsAtLeastOnce = new Properties();
propsAtLeastOnce.put("acks", "all");
propsAtLeastOnce.put("retries", Integer.MAX_VALUE);
propsAtLeastOnce.put("max.in.flight.requests.per.connection", 5);
propsAtLeastOnce.put("enable.idempotence", false);
KafkaProducer<String, String> producerAtLeastOnce = new KafkaProducer<>(propsAtLeastOnce);

// Exactly-once 配置：启用幂等 + 事务
Properties propsExactlyOnce = new Properties();
propsExactlyOnce.put("acks", "all");
propsExactlyOnce.put("retries", Integer.MAX_VALUE);
propsExactlyOnce.put("enable.idempotence", true);
propsExactlyOnce.put("transactional.id", "txn-prod-001");
KafkaProducer<String, String> producerExactlyOnce = new KafkaProducer<>(propsExactlyOnce);
producerExactlyOnce.initTransactions();