3. 异步导出任务队列设计：基于内存队列 vs 基于消息队列的选型与实现

异步导出服务的核心在于任务队列的设计。队列的选型直接决定了系统的吞吐能力、可靠性、运维复杂度以及成本。本章将深入对比基于内存队列与基于消息队列（RabbitMQ / Kafka）的架构差异，并详细阐述队列容量控制、背压策略以及优先级队列的实现方案。

3.1 队列选型：内存队列 vs 消息队列

在异步导出场景中，任务队列是生产端（API 请求）与消费端（导出 Worker）之间的缓冲层。下表从多个关键维度对比了两种方案的特性：

3.2 队列容量与背压策略

无论选择哪种队列，都必须设计合理的容量上限和背压机制，防止系统过载导致雪崩。

3.2.1 队列容量控制

• 内存队列：使用有界队列（如 ArrayBlockingQueue），设置最大容量（例如 10,000 个任务）。当队列满时，生产者线程阻塞或抛出 RejectedExecutionException。
• 消息队列：在 Broker 端设置队列最大长度（如 RabbitMQ 的 x-max-length 参数），或通过消费者预取数量（prefetch count）控制积压。

3.2.2 背压策略实现

背压（Backpressure）是当消费速度远低于生产速度时，让生产者感知压力并主动降速的机制。常见的实现方式包括：

1. 拒绝策略：队列满时直接拒绝新任务，返回 HTTP 429（Too Many Requests）或 503（Service Unavailable）。
2. 阻塞式生产：生产者线程等待直到队列有空闲位置（适用于内存队列的 put() 方法）。
3. 动态降级：监控队列深度，当超过阈值（如 80% 容量）时，自动降低 API 的并发接受数或返回限流提示。
4. 丢弃最旧任务：对于时效性要求不高的导出任务，可丢弃队列头部的旧任务，优先处理新任务。

3.3 任务优先级队列实现

导出任务往往具有不同的紧急程度。例如，用户手动触发的“立即导出”应优先于定时批量导出。优先级队列确保高优任务被优先消费。

3.3.1 基于内存的优先级队列

Java 中可使用 PriorityBlockingQueue，任务对象实现 Comparable 接口，按优先级字段排序。示例代码如下：

public class ExportTask implements Comparable<ExportTask> {
    private int priority; // 数值越大优先级越高
    private String taskId;
    private String params;

    @Override
    public int compareTo(ExportTask other) {
        return Integer.compare(other.priority, this.priority); // 降序
    }
}

// 初始化优先级队列
BlockingQueue<ExportTask> queue = new PriorityBlockingQueue<>(1000);

3.3.2 基于 RabbitMQ 的优先级队列

RabbitMQ 原生支持优先级队列，通过设置队列的 x-max-priority 参数实现。生产者发送消息时指定 priority 属性，Broker 会自动排序。

// 声明优先级队列（最大优先级为 10）
Map<String, Object> args = new HashMap<>();
args.put("x-max-priority", 10);
channel.queueDeclare("export.queue", true, false, false, args);

// 发送高优先级消息
AMQP.BasicProperties props = new AMQP.BasicProperties.Builder()
    .priority(10) // 0-10，数值越大优先级越高
    .build();
channel.basicPublish("", "export.queue", props, taskBody.getBytes());

3.4 综合设计建议

在实际项目中，推荐采用以下组合方案：

• 队列选型：生产环境使用 RabbitMQ，利用其持久化、ACK 机制和优先级队列特性。
• 容量控制：设置队列最大长度（如 50,000 条），并配置死信队列（DLQ）处理过期或无法消费的任务。
• 背压策略：消费者采用 prefetch=1 + manual ACK；生产者端监控队列深度，超过阈值时返回 429 状态码。
• 优先级实现：定义 3~5 级优先级（如 HIGH、MEDIUM、LOW），在消息属性中携带，Broker 端启用 x-max-priority。