📚 课程目录第3章生产者-消费者模型

3、生产者-消费者模型：生产者角色与职责、消费者角色与职责、消息确认机制、消息幂等性设计

生产者-消费者模型是消息队列最核心的抽象，它将消息的产生与消费解耦，使双方无需直接交互。在读写分离架构中，生产者负责将任务写入主节点，消费者从从节点拉取消息并执行。理解各角色的职责边界、确认机制与幂等性设计，是构建可靠任务调度与工作流引擎的基础。

3.1 生产者角色与职责

生产者（Producer）是消息的发起方，其核心职责包括：

消息构建：封装业务数据、任务标识、路由键、优先级等元信息。
可靠发送：通过同步发送、异步回调或事务消息确保消息不丢失。
负载控制：根据队列积压情况调节发送速率，避免生产者压垮 Broker。
重试与补偿：发送失败时按策略重试，或记录失败消息供后续补偿。

设计要点：生产者在发送消息时应携带全局唯一 ID（如 UUID 或雪花算法 ID），该 ID 将作为后续幂等性判断的依据。

3.2 消费者角色与职责

消费者（Consumer）是消息的处理方，其核心职责包括：

消息拉取：从队列中主动拉取（Pull）或被动接收（Push）消息。
业务处理：执行任务逻辑，如状态变更、数据持久化、调用下游服务。
确认与反馈：处理完成后向 Broker 发送确认（ACK），告知消息可被删除。
异常处理：处理失败时根据重试策略决定是否重新入队或进入死信队列。

对比维度	生产者	消费者
触发方式	主动发送	主动拉取 / 被动推送
核心关注点	发送成功率、吞吐量	处理效率、幂等性、顺序性
失败处理	重试发送、记录失败	重试消费、死信队列
状态维护	无需维护消费状态	需维护偏移量或确认状态

3.3 消息确认机制

消息确认机制是保证至少一次投递（At-Least-Once）或恰好一次投递（Exactly-Once）的关键。主流消息队列提供以下确认模式：

自动确认：消费者收到消息后立即确认，适合可容忍少量丢失的场景。
手动确认：消费者处理完成后显式调用 ACK，Broker 收到 ACK 后才删除消息。
批量确认：消费者累积一定数量或时间后批量确认，提升吞吐量。
事务确认：将消息确认与业务事务绑定，确保两者原子性。

  工作流引擎中的确认策略：在任务调度场景中，建议使用手动确认 + 重试队列。消费者处理任务时先持久化状态，再发送 ACK；若处理失败则发送 NACK 并指定重试延迟，避免消息丢失或重复消费。

3.4 消息幂等性设计

幂等性（Idempotency）是指对同一消息的多次处理产生相同的业务结果。在分布式系统中，网络抖动、消费者重启、重试机制都可能导致消息重复投递，因此幂等性设计是生产级系统的必备能力。

3.4.1 幂等性实现方案

方案	原理	适用场景	注意事项
唯一键去重	使用消息 ID 或业务键作为唯一约束	数据库写入、订单创建	需保证唯一索引或分布式锁
状态机校验	检查当前状态是否允许执行该操作	工作流状态流转	状态变更需原子性
版本号乐观锁	更新时校验版本号，版本匹配才执行	数据更新、库存扣减	需在业务表中维护版本字段
去重表	维护已处理消息 ID 表，新消息先查重	通用幂等方案	去重表需定期清理

3.4.2 幂等性设计最佳实践

消息 ID 全局唯一：生产者在发送时生成唯一 ID，消费者以此作为去重依据。
业务键优先：优先使用业务主键（如订单号、任务 ID）作为幂等键，而非消息队列生成的内部 ID。
幂等检查前置：在业务处理前先执行幂等检查，避免重复执行耗时操作。
补偿机制：对于无法完全幂等的操作（如发送短信），设计补偿或回滚流程。

常见陷阱：不要依赖消息队列的“去重”功能作为唯一幂等保障。不同消息队列的去重机制（如 Kafka 的幂等生产者）仅保证分区内不重复，跨分区或跨集群场景仍需业务层幂等设计。

3.5 生产者-消费者模型在任务调度中的集成

在读写分离架构下，生产者-消费者模型与任务调度、工作流引擎的集成遵循以下原则：

生产者：工作流引擎作为生产者，将待执行的任务节点封装为消息，发送到主队列。
消费者：任务执行器作为消费者，从从队列拉取消息，执行具体任务逻辑。
确认机制：任务执行完成后，消费者发送 ACK，工作流引擎收到确认后推进流程到下一节点。
幂等性：每个任务节点携带全局唯一 ID，工作流引擎根据 ID 判断是否已执行，避免重复推进。

代码示例：基于唯一键的幂等消费者

// 消费者幂等处理示例（Java 伪代码）
public void consumeTask(TaskMessage message) {
    String taskId = message.getTaskId();
    
    // 1. 幂等检查：查询去重表
    if (idempotentService.isProcessed(taskId)) {
        log.info("Task {} already processed, skip", taskId);
        return;
    }
    
    try {
        // 2. 执行业务逻辑
        workflowEngine.executeTask(taskId);
        
        // 3. 记录已处理状态（与业务逻辑在同一事务中）
        idempotentService.markProcessed(taskId);
        
        // 4. 手动确认
        channel.basicAck(message.getDeliveryTag(), false);
    } catch (Exception e) {
        log.error("Task {} failed", taskId, e);
        // 5. 失败时 NACK，重新入队或进入死信队列
        channel.basicNack(message.getDeliveryTag(), false, true);
    }
}

通过上述设计，生产者-消费者模型能够在读写分离架构中实现高吞吐、可靠投递和精确处理，为上层的工作流引擎和任务调度系统提供坚实的消息基础设施。