1. 课程导入
金融研究的数据环境正在发生结构性变化：行情快照、逐笔成交、财报附注、宏观时间序列、另类数据与内部风控日志，动辄以数十GB甚至TB计。过去我们习惯把数据上传到集群或数据仓库，再通过SQL或Spark完成任务；但在研究早期，数据探索、因子试算、回测验证往往需要快速迭代，频繁上传和等待调度反而成为瓶颈。DuckDB正是为这类“本地、单机、分析型”场景设计的嵌入式列式数据库，它把高性能OLAP能力装进一个进程内引擎，让研究者在一台笔记本上就能完成接近仓库级的数据分析。
核心原理：为什么DuckDB适合金融研究
DuckDB的核心定位是“分析型嵌入式数据库”。它不依赖独立服务进程，通常以库的形式嵌入Python、R、Java或命令行工具中，数据可以放在本地文件、Parquet、CSV，也可以直接查询Pandas DataFrame。其执行引擎采用向量化执行与列式存储，配合多版本并发控制和自动索引优化，在聚合、连接、窗口函数等分析型负载上表现突出。对金融研究而言，这意味着三件事：第一，数据不必离开本地，隐私与合规风险更低；第二，查询延迟从“分钟级调度”降到“秒级交互”；第三，SQL与Python生态无缝衔接，研究代码可以更短、更可复现。
与SQLite相比，DuckDB面向OLAP而非OLTP，更适合大宽表扫描和复杂聚合；与Pandas相比，它能在超出内存的数据集上借助溢出机制完成分组与连接；与Spark相比，它省去了集群与JVM开销，适合单机可承载的数据规模。金融研究中的因子计算、事件研究、组合归因、报表生成，大多属于“读多写少、聚合密集”的任务，恰好落在DuckDB的优势区间。
方法流程：从数据到结论的本地分析链路
在金融研究中引入DuckDB，通常遵循一条清晰的链路：数据接入、清洗建模、分析计算、结果导出。数据接入阶段，可以直接读取Parquet或CSV，也可以把Pandas DataFrame注册为视图；清洗建模阶段，用SQL完成去重、对齐、复权、缺失值处理；分析计算阶段，利用窗口函数计算滚动收益率、波动率、Beta，或用ASOF JOIN处理财报与行情的时点对齐；结果导出阶段，把结果写回Parquet或DataFrame，供后续回测与可视化使用。
-- 示例：读取本地Parquet行情，计算滚动波动率
CREATE TABLE prices AS
SELECT * FROM read_parquet('data/prices/*.parquet');
SELECT
symbol,
trade_date,
close,
STDDEV_SAMP(close) OVER (
PARTITION BY symbol
ORDER BY trade_date
ROWS BETWEEN 19 PRECEDING AND CURRENT ROW
) AS vol_20d
FROM prices
ORDER BY symbol, trade_date;这条链路的关键在于“就地分析”：数据不需要先导入远程仓库，SQL可以直接作用于本地文件。对于需要反复试算的因子研究，这种模式能显著缩短“想法—验证”的周期。
案例与场景：DuckDB在金融研究中的典型用法
场景一，事件研究。研究者需要把公司公告日期与前后若干交易日的收益率对齐，传统做法是用Pandas循环或merge_asof，代码冗长且容易出错。DuckDB的ASOF JOIN可以按时间最近原则连接两张表，几行SQL即可完成。场景二，多因子面板构建。把行情、财务、行业分类三张表按股票与日期连接，再用窗口函数做横截面标准化，DuckDB能在单机上处理数千万行面板数据。场景三，组合归因。把持仓、收益、基准数据放在本地Parquet中，用聚合与窗口函数计算行业暴露、风格暴露和超额收益，结果直接导出为报表。
| 研究任务 | 传统做法 | DuckDB做法 | 主要收益 |
|---|---|---|---|
| 事件研究 | Pandas循环对齐日期 | ASOF JOIN + 窗口函数 | 代码短、时点对齐准确 |
| 多因子面板 | Spark或数据库导入 | 本地Parquet + SQL聚合 | 无需集群、迭代快 |
| 组合归因 | Excel或Python脚本 | SQL窗口 + 导出DataFrame | 可复现、易审计 |
| 数据探索 | 抽样后上传仓库 | 直接查询本地文件 | 数据不出本机 |
误区与复盘：本地分析不是“小打小闹”
常见误区有三个。第一，认为本地分析只能处理小数据。DuckDB支持超出内存的数据集，借助溢出到磁盘的机制，单机处理数十GB数据是可行的，关键在于合理使用Parquet列式存储和分区裁剪。第二，把DuckDB当成SQLite替代品。SQLite面向事务处理，DuckDB面向分析处理，二者定位不同；用DuckDB做高频写入并非其强项。第三，忽视数据组织方式。把大量小CSV直接扫描，性能远不如先转成Parquet并建立分区；研究初期就应规划好目录结构与字段类型。
学习目标与整体课程框架
本课程的目标是让具备基础Python与SQL能力的研究人员，能够独立使用DuckDB完成金融数据的本地分析全流程。具体包括：理解DuckDB的架构与适用边界；掌握数据接入、清洗、连接、聚合、窗口函数等核心操作；能够用DuckDB处理行情、财报、宏观与另类数据；能够把分析结果与回测、归因、报表环节衔接；能够识别性能瓶颈并做基本优化。
整体课程分为六个模块：第一模块是导入与定位，建立对DuckDB的正确认知；第二模块是环境与数据接入，覆盖安装、配置、Parquet/CSV/DataFrame读取；第三模块是SQL核心能力，聚焦连接、聚合、窗口函数与ASOF JOIN；第四模块是金融场景实战，包括因子计算、事件研究、组合归因；第五模块是性能与工程化，涉及分区、索引、内存管理与可复现流程；第六模块是综合案例，把前述能力整合为一条完整的本地研究流水线。后续章节将按此框架逐步展开，每章都配有可运行的代码与真实数据结构示例。