📚 课程目录第1章课程导入

1. 课程导入

在金融业务中，行情、成交、委托、资金流水、风控指标等数据几乎都以时间为主键持续产生。它们具备典型的高写入、强时序、海量、多维度特征：每天新增数十亿行并不罕见，查询却常常要求秒级返回，还要支持按标的、账户、市场、时间窗口做多维聚合。传统关系型数据库在数据量达到十亿级后，写入与聚合查询往往同时遇到瓶颈；而通用大数据方案虽然能存储，却难以兼顾低延迟点查与高吞吐分析。ClickHouse 正是为这类场景而生的列式分析数据库，它把时序数据的写入、压缩、索引与聚合做到了极致，成为金融时序数据平台的主流选择。

本课程的核心命题：如何用 ClickHouse 构建一个既能承载海量金融时序数据写入，又能支撑低延迟多维分析的实战平台，并覆盖建模、写入、查询、运维与调优的完整闭环。

一、核心价值：为什么金融时序场景选择 ClickHouse

金融时序数据平台的本质，是把“时间”作为第一维度来组织存储与计算。ClickHouse 的价值可以从四个层面理解。

写入吞吐高：采用 MergeTree 系列引擎，批量写入可轻松达到每秒百万行级别，适合行情快照、逐笔成交等持续写入场景。
压缩比优秀：列式存储配合 Delta、DoubleDelta、Gorilla、ZSTD 等编码，时序数据压缩比常达 5～20 倍，显著降低存储成本。
聚合查询快：向量化执行与稀疏主键索引，使按时间范围加维度过滤的聚合查询在亿级数据上仍可保持亚秒到秒级响应。
生态与 SQL 友好：标准 SQL 加上物化视图、分布式表、Kafka 引擎，能快速对接现有数据管道与分析工具。

需要强调的是，ClickHouse 并不是“万能数据库”。它擅长高吞吐写入与大规模聚合分析，但不擅长高频单行更新与强事务。理解它的能力边界，比记住它的功能列表更重要。

二、整体架构：从数据源到分析服务的分层视图

一个典型的金融时序数据平台，通常分为数据接入、存储计算、查询服务与上层应用四层。下图展示了各层之间的数据流向与关键组件关系，帮助你在动手前建立全局认知。

理解这张架构图的关键，是抓住三条主线：数据从接入层流入存储层，存储层通过本地表与分布式表完成分片与副本，查询层再通过物化视图或直接查询对外提供服务。每一层都有明确的职责边界，后续章节会逐一展开。

三、学习目标与实战路线图

本课程不是 ClickHouse 语法手册，而是一条从零到可上线的实战路径。完成学习后，你应当能够独立完成以下任务。

建模能力：根据行情、逐笔、指标等不同数据特征，选择合适的表引擎、分区键、排序键与编码方式。
写入能力：设计批量写入与实时写入管道，处理乱序、重复与迟到数据。
查询能力：编写高效聚合 SQL，合理使用物化视图与投影，避免全表扫描。
运维能力：完成集群部署、副本管理、监控告警与容量规划。
调优能力：定位慢查询、写入放大、合并压力等典型问题并给出优化方案。

整体路线图按“基础认知 → 建模实战 → 写入与查询 → 运维调优 → 综合项目”五个阶段推进，每个阶段都配有可运行的示例与检查清单。

阶段	核心内容	关键产出
基础认知	ClickHouse 架构、MergeTree 原理、金融时序特征	环境搭建与基准测试
建模实战	表引擎选型、分区排序、编码压缩、物化视图	行情与逐笔表模型
写入与查询	Kafka 引擎、批量导入、聚合 SQL、查询优化	实时写入管道与查询模板
运维调优	集群部署、副本、监控、慢查询分析	监控看板与调优报告
综合项目	端到端金融时序平台搭建	可演示的完整平台

四、常见误区与复盘提示

误区一：把 ClickHouse 当 OLTP 用。频繁单行更新、删除、强事务场景并不适合，应通过 ReplacingMergeTree 或业务层去重来间接实现。

误区二：只关注查询，忽视写入建模。排序键与分区键设计不当，会导致写入放大和查询扫描量激增，后期修改成本极高。

误区三：过早引入分布式表。单机性能未压榨前就上集群，往往带来协调复杂度和资源浪费，建议先单机验证再横向扩展。

复盘建议：每完成一个阶段，回到本节架构图，确认自己清楚“数据从哪来、存到哪、怎么查、出问题看哪里”。这张图会贯穿整个课程，成为你排查问题的第一张地图。

下面是一段最小可运行的建表与写入示例，用于建立对 ClickHouse 时序表的第一印象。后续章节会在此基础上逐步扩展。

CREATE TABLE market.tick
(
    symbol   LowCardinality(String),
    ts       DateTime64(3),
    price    Decimal64(4),
    volume   UInt64
)
ENGINE = MergeTree
PARTITION BY toYYYYMMDD(ts)
ORDER BY (symbol, ts);

INSERT INTO market.tick VALUES
('600519', '2024-06-03 09:30:00.000', 1680.5000, 1200),
('600519', '2024-06-03 09:30:00.500', 1680.8000, 800);

SELECT symbol, count(), avg(price)
FROM market.tick
WHERE ts >= '2024-06-03 09:30:00'
GROUP BY symbol;

这段代码虽然简单，却已经包含了金融时序平台最核心的三个决策：按天分区、按标的与时间排序、用低基数类型优化维度列。理解每一个选择背后的原因，比记住语法本身更有价值。接下来，我们将从 ClickHouse 的存储原理开始，逐步把这些决策变成可复用的工程能力。