1. 课程导论：对象存储与 PostgreSQL 集成的背景、应用场景与课程目标
1.1 为什么需要对象存储与 PostgreSQL 集成？
现代数据架构正面临“结构化数据”与“非结构化数据”之间的鸿沟。PostgreSQL 作为功能最强大的开源关系型数据库，擅长处理行、列、事务与复杂查询；而对象存储（如 MinIO、AWS S3、Ceph RGW）则以其高扩展性、低成本与扁平命名空间，成为海量文件、日志、备份与大数据湖的首选底座。
传统方案通常将文件路径或 URL 以 VARCHAR 形式存入 PostgreSQL，而实际数据留在对象存储中。这种“存外链”模式存在三个核心痛点：
- 查询断层：无法在 SQL 层直接过滤对象元数据或内容，必须通过应用层二次调用对象存储 API。
- 事务不一致：PostgreSQL 事务无法覆盖对象存储的写入/删除，易出现脏数据或孤儿对象。
- 性能瓶颈：大量小文件场景下，应用层反复建立 HTTP 连接，延迟高且连接池管理复杂。
本课程的核心思路是：将对象存储“挂载”为 PostgreSQL 的外部数据源，或通过扩展（如 pg_analytics、parquet_s3_fdw）让 SQL 引擎直接下推过滤条件到对象存储层，从而在保持 PostgreSQL 事务与查询能力的同时，获得对象存储的弹性与成本优势。
关键洞察： 2024 年 PostgreSQL 社区调查显示，超过 38% 的生产集群已通过 FDW（Foreign Data Wrapper）或扩展与对象存储交互，这一比例在数据湖仓一体场景中正以每年 15% 的速度增长。
1.2 典型应用场景
对象存储与 PostgreSQL 的集成已覆盖以下四大主流场景：
| 场景 | 描述 | 典型技术栈 |
|---|---|---|
| 日志与事件归档 | 将冷日志以 Parquet/ORC 格式存入对象存储，PostgreSQL 通过外部表直接查询归档数据，无需提前导入。 | parquet_s3_fdw + MinIO |
| AI 推理特征存储 | 模型特征向量（pgvector）与原始图片/文本文件分离存储，SQL 查询返回对象存储的预签名 URL。 |
pgvector + S3 预签名 |
| 多模态数据湖 | 同一张 PostgreSQL 分区表，热分区在本地 SSD，冷分区映射到对象存储，查询透明。 | 分区表 + s3_fdw |
| 备份与时间点恢复 | 利用对象存储的低成本存储 pg_basebackup 与 WAL 归档，实现跨区域灾备。 |
pgBackRest + S3 |
选型建议： 如果查询延迟要求 < 100ms，优先使用本地 SSD 热分区 + 对象存储冷分区；如果分析查询为主（延迟 > 1s），可直接使用 FDW 全量下推。
1.3 集成架构总览
下图展示了本课程所讨论的核心架构：PostgreSQL 通过 对象存储网关（如 pg_s3gw、minio_sql 代理）与对象存储层交互，网关负责协议转换、谓词下推与缓存加速。
1.4 课程目标与学习路径
完成本课程后，你将能够：
- 设计一套生产级的 PostgreSQL + 对象存储集成方案，包括网关选型、分区策略与缓存层。
- 实现 SQL 下推查询优化，使对象存储上的 Parquet/CSV 数据获得接近本地表的扫描性能。
- 调优 网关连接池、预签名 URL 过期策略与并行扫描参数，降低 P99 延迟。
- 运维 监控对象存储网关的缓存命中率、下推率与对象存储请求分布。
课程共分为 30 章，覆盖从基础概念到高级调优的完整知识体系：
| 模块 | 章节范围 | 核心产出 |
|---|---|---|
| 基础篇 | 第 1–6 章 | 理解对象存储 API、FDW 原理与网关架构 |
| 集成篇 | 第 7–15 章 | 搭建 MinIO + parquet_s3_fdw 生产环境 |
| 优化篇 | 第 16–24 章 | 谓词下推、列裁剪、并行扫描与缓存策略 |
| 实战篇 | 第 25–30 章 | 日志归档、AI 特征存储与灾备方案落地 |
前置要求： 建议读者具备 PostgreSQL 基础运维能力（创建表、索引、查看执行计划）以及基本的对象存储概念（桶、对象、预签名 URL）。每章末尾配有动手实验，请提前准备 Docker 环境与 MinIO 实例。