3. 异步导出架构：生产者-消费者模式

异步导出架构的核心是生产者-消费者模式。该模式将数据生产（业务系统触发导出请求）与数据消费（导出服务实际执行导出）解耦，中间通过 Kafka 消息队列作为缓冲层。这种设计能够有效应对业务高峰期的突发请求，避免导出服务被瞬时流量冲垮。

3.1 生产者-消费者模式在导出场景中的角色

3.2 导出服务（Exporter）的设计

导出服务是异步导出架构中的核心消费者组件。它从 Kafka 拉取导出任务消息，协调数据库查询与文件生成两个关键步骤。设计时需要重点关注消费并发度、任务状态管理和失败重试机制。

3.2.1 消费线程模型

导出服务通常采用多线程消费者组模型，每个消费者实例运行多个消费线程，每个线程绑定一个 Kafka 分区。这种模型能够最大化吞吐量，同时保证同一分区内的消息顺序消费。

3.2.2 任务状态机

每个导出任务在 Exporter 内部经历明确的状态流转，确保异常场景下可追溯、可恢复。

3.3 数据库写入与文件生成

导出服务的核心业务逻辑分为两个阶段：数据库查询与写入和文件生成与上传。这两个阶段对资源的需求不同，需要分别优化。

3.3.1 数据库写入阶段

导出服务首先根据任务参数查询数据库，获取需要导出的数据。对于大数据量导出，需要采用分页查询 + 流式写入策略，避免一次性加载过多数据导致 OOM。

// 伪代码：分页查询并写入临时文件
public void exportData(ExportTask task) {
    int pageSize = 5000;
    int pageNum = 0;
    boolean hasMore = true;

    try (BufferedWriter writer = new BufferedWriter(
            new FileWriter(task.getTempFilePath()))) {

        while (hasMore) {
            // 1. 分页查询数据库
            List<Record> records = database.queryPage(
                task.getQuerySql(), pageNum, pageSize);

            if (records.isEmpty()) {
                hasMore = false;
                break;
            }

            // 2. 将记录写入临时文件
            for (Record record : records) {
                writer.write(record.toCsvLine());
                writer.newLine();
            }

            // 3. 更新进度（可选）
            task.setProcessedCount(task.getProcessedCount() + records.size());
            pageNum++;
        }
    } catch (IOException e) {
        // 标记任务失败，触发重试
        task.markFailed(e);
    }
}

3.3.2 文件生成阶段

文件生成阶段将临时数据文件转换为最终导出文件（CSV、Excel、PDF 等），并上传到对象存储或提供下载链接。此阶段是 CPU 密集和 IO 密集的混合操作。

3.3.3 两阶段资源隔离

数据库写入和文件生成对系统资源的需求不同，建议在 Exporter 内部进行线程池隔离，避免文件生成阶段的 CPU 密集操作阻塞数据库查询线程。