3. 报表系统架构：典型报表系统的分层架构、数据流与事务边界的位置
在深入事务边界回放之前，必须理解报表系统的整体骨架。典型的报表系统采用分层架构，每一层承担不同的职责，而事务边界正是贯穿这些层的关键约束。本节从分层结构、数据流向和事务边界定位三个维度展开。
3.1 典型分层架构
现代报表系统通常划分为四层，各层之间通过明确的接口通信，避免职责耦合。
| 层次 | 核心职责 | 典型组件 | 事务关注点 |
|---|---|---|---|
| 数据源层 | 对接业务数据库、日志、消息队列 | MySQL / PostgreSQL / Kafka / HDFS | 原始事务的持久化与隔离级别 |
| ETL / 数据管道层 | 抽取、清洗、转换、加载 | Go ETL 服务 / Airflow / Flink | 批量或流式处理中的事务一致性 |
| 存储计算层 | 数据建模、预聚合、OLAP 查询 | ClickHouse / Doris / StarRocks | 快照隔离、多版本并发控制 |
| 展示层 | 可视化、交互式查询、导出 | Grafana / 自研 Web 前端 | 读一致性、会话事务边界 |
架构原则：每一层只依赖下一层的稳定接口，不跨层直接访问数据库。事务边界在层间传递时，必须携带上下文（如事务 ID、快照时间戳），否则会导致数据不一致。
3.2 数据流与事务边界位置
下图展示了从业务写入到报表展示的完整数据流，并标注了事务边界的关键锚点。
3.3 事务边界在每一层的具体形态
事务边界并非单一概念，它在不同层次有不同表现。理解这些差异是正确实现回放机制的前提。
- 数据源层：事务边界由底层数据库的
BEGIN/COMMIT/ROLLBACK定义。对于 MySQL，binlog 中的GTID和XID是追踪事务边界的核心标识。 - ETL 层：Go 服务在消费消息或读取增量数据时，需要记录已处理的事务边界（如 Kafka 偏移量、binlog 文件名+位置）。回放时从此边界恢复，避免重复或丢失。
- 存储计算层：OLAP 引擎通常使用批量导入事务或分区原子替换来保证一批数据要么全部可见，要么全部不可见。事务边界对应一批数据的提交版本。
- 展示层：用户查询时，需要绑定一个快照时间戳或事务 ID，确保同一报表内的多个图表看到一致的数据快照。
关键认知：事务边界在层间传递时，必须保持单调递增。如果 ETL 层处理了事务 ID=100 的数据，却回放到事务 ID=90 的状态，就会导致数据回退（rollback），这在报表系统中是不可接受的。
3.4 数据流中的事务边界传递示例
以下是一个典型的 Go 报表服务从 MySQL 抽取数据到 ClickHouse 的流程，展示了事务边界如何逐层传递。
// 数据源层：读取 binlog 事务边界
type BinlogPosition struct {
File string // mysql-bin.000123
Position uint32 // 45678
GTID string // 3E11FA47-71CA-11E1-9E33-C80AA9429562:1-5
}
// ETL 层：记录已处理的事务边界
type ProcessedBoundary struct {
SourcePos BinlogPosition
BatchID string // 用于幂等写入
Timestamp int64
}
// 存储层：ClickHouse 原子替换分区
// ALTER TABLE report_table REPLACE PARTITION '2025-03-01'
// FROM staging_table;
// 展示层：查询时绑定快照
// SELECT * FROM report_table
// WHERE _timestamp <= '2025-03-01 23:59:59'
// FINAL;
常见陷阱：不要将业务数据库的事务边界（如 MySQL 的 GTID）直接作为报表系统的唯一事务标识。ETL 层可能合并多个源的事务，需要生成全局单调递增的批次 ID，并建立与源事务边界的映射关系，才能支持精确回放。
3.5 事务边界位置总结
| 层次 | 事务边界载体 | 回放恢复点 | Go 实现关注点 |
|---|---|---|---|
| 数据源层 | binlog 位点 / Kafka 偏移量 | 文件 + 位置 / 分区 + 偏移 | 使用 go-mysql-org/go-mysql 解析 binlog |
| ETL 层 | 批次 ID / 两阶段提交 | 已提交的最大批次 ID | 实现幂等消费者 + 状态持久化 |
| 存储计算层 | 分区版本 / 导入事务 ID | 分区可见版本号 | 调用 OLAP 引擎的事务管理 API |
| 展示层 | 会话快照时间戳 | 用户选择的查询时间点 | 在 HTTP 请求中传递 X-Snapshot-Time 头 |
掌握分层架构中事务边界的位置，是后续实现环境回放的基础。回放的本质，就是让系统从某一层记录的边界状态开始，重新执行后续的事务序列，直到目标时间点。