3. MergeTree引擎建表与分区键设计

为什么日志表的分区键不能随便选

日志数据按天持续写入，如果分区键选得过细（例如按小时），分区数量会迅速膨胀；选得过粗（例如按月），单分区数据量过大，查询时无法有效裁剪。对“按日期增长的日志”这类场景，分区键通常取日期粒度（toYYYYMM 或 toDate），排序键则按“先过滤维度、后时间”的顺序排列，让高频查询条件落在主键前缀上。

建表语句与关键参数

下面针对日志表 app_log 给出完整建表语句。分区键使用 toYYYYMM(event_time) 按月分区，排序键使用 (service_name, event_time)，让按服务名过滤的查询能命中主键前缀。

CREATE TABLE app_log
(
    event_time   DateTime,
    service_name LowCardinality(String),
    level        LowCardinality(String),
    message      String,
    trace_id     String
)
ENGINE = MergeTree()
PARTITION BY toYYYYMM(event_time)
ORDER BY (service_name, event_time)
SETTINGS index_granularity = 8192;

导入样本数据并观察分区目录

插入跨两个月的样本数据，然后查看分区目录结构，验证分区键是否按预期切分。

INSERT INTO app_log VALUES
('2024-01-15 08:30:00', 'order-service', 'INFO',  'order created',   't-001'),
('2024-01-20 14:12:00', 'order-service', 'ERROR', 'payment timeout', 't-002'),
('2024-02-03 09:45:00', 'user-service',  'INFO',  'user login',      't-003'),
('2024-02-11 22:05:00', 'user-service',  'WARN',  'slow query',      't-004'),
('2024-02-28 16:30:00', 'order-service', 'INFO',  'order shipped',   't-005');

查询分区信息：

SELECT
    partition,
    name,
    rows,
    bytes_on_disk
FROM system.parts
WHERE table = 'app_log' AND active = 1
ORDER BY partition;

预期结果中会出现两个分区：202401 和 202402。每个分区对应一个独立目录，目录名格式为 202401_1_1_0（分区ID_最小块号_最大块号_层级）。

分区键与排序键的常见误用