2. Snowflake数据管道基础对象

在Snowflake中搭建批流数据管道，第一步不是写SQL，而是把对象层级和职责边界理清楚。Snowflake采用三层命名空间：数据库（Database）→ 模式（Schema）→ 对象（表、视图、暂存区等），完整限定名形如 DB.SCHEMA.OBJECT。批处理管道通常按“落地层—清洗层—服务层”划分模式，流式管道则额外依赖流对象与任务来驱动增量消费。理解每个对象在管道中的角色，比记住语法更重要。

一、数据库与模式：管道的命名空间骨架

数据库是最高层容器，模式是数据库内的逻辑分组。一个常见的批流一体布局是：

CREATE DATABASE RETAIL_PIPE;
CREATE SCHEMA RETAIL_PIPE.RAW;      -- 原始落地层
CREATE SCHEMA RETAIL_PIPE.CURATED;  -- 清洗整合层
CREATE SCHEMA RETAIL_PIPE.SERVING;  -- 对外服务层
CREATE SCHEMA RETAIL_PIPE.STAGE;    -- 暂存与文件格式

RAW层存放从Kafka、S3或外部系统原样接入的数据，CURATED层做去重、类型转换和维度关联，SERVING层面向BI与API。模式划分让权限、克隆和保留策略可以按层独立管理，例如RAW层设置1天Time Travel，SERVING层设置7天。

二、表：批流数据的物理承载

Snowflake表分为永久表、临时表、瞬态表和外部表。批流管道中最关键的是表类型选择与微分区裁剪。对于流式接入，常使用带 CLUSTER BY 的永久表，按事件时间或业务主键聚簇，减少扫描量：

CREATE TABLE RETAIL_PIPE.RAW.ORDERS (
  order_id      NUMBER,
  customer_id   NUMBER,
  order_ts      TIMESTAMP_NTZ,
  amount        NUMBER(12,2),
  status        STRING,
  ingest_ts     TIMESTAMP_NTZ DEFAULT CURRENT_TIMESTAMP()
)
CLUSTER BY (DATE_TRUNC('day', order_ts));

这里 ingest_ts 默认值用于记录入库时间，便于排查延迟；CLUSTER BY 让同一天的数据落在相近微分区，批查询按天过滤时裁剪效果明显。瞬态表适合中间结果，不享受故障恢复，成本更低。

三、视图：逻辑转换与安全边界

视图不存储数据，只保存查询定义。管道中常用两类：标准视图用于封装清洗逻辑，安全视图用于行级/列级权限控制。例如在CURATED层创建视图，把RAW层的原始字段标准化：

CREATE VIEW RETAIL_PIPE.CURATED.V_ORDERS_CLEAN AS
SELECT order_id,
       customer_id,
       order_ts,
       amount,
       UPPER(status) AS status
FROM RETAIL_PIPE.RAW.ORDERS
WHERE order_id IS NOT NULL;

物化视图则适合对频繁查询的聚合结果做预计算，但会带来存储与刷新成本，需权衡使用。

四、暂存区与文件格式：批量接入的入口

暂存区（Stage）是文件进入Snowflake的着陆点，分为内部暂存区和外部暂存区。外部暂存区指向S3、Azure Blob或GCS，配合存储集成使用：

CREATE STORAGE INTEGRATION s3_int
  TYPE = EXTERNAL_STAGE
  STORAGE_PROVIDER = 'S3'
  ENABLED = TRUE
  STORAGE_ALLOWED_LOCATIONS = ('s3://retail-bucket/orders/');

CREATE STAGE RETAIL_PIPE.STAGE.ORDERS_STAGE
  URL = 's3://retail-bucket/orders/'
  STORAGE_INTEGRATION = s3_int
  FILE_FORMAT = RETAIL_PIPE.STAGE.FF_CSV;

文件格式对象定义解析规则，是暂存区加载的前提：

CREATE FILE FORMAT RETAIL_PIPE.STAGE.FF_CSV
  TYPE = CSV
  FIELD_DELIMITER = ','
  SKIP_HEADER = 1
  NULL_IF = ('NULL','');

加载时用 COPY INTO 把文件写入目标表，并用 VALIDATION_MODE 先做干跑校验，确认列数、类型和错误行后再正式加载。

五、序列与流对象：批流管道的驱动核心

序列（Sequence）用于生成单调递增的代理键，适合在插入时补充无业务含义的主键：

CREATE SEQUENCE RETAIL_PIPE.RAW.SEQ_ORDER_ID START = 1 INCREMENT = 1;
INSERT INTO RETAIL_PIPE.RAW.ORDERS (order_id, customer_id, order_ts, amount, status)
SELECT RETAIL_PIPE.RAW.SEQ_ORDER_ID.NEXTVAL, customer_id, order_ts, amount, status
FROM RETAIL_PIPE.STAGE.ORDERS_STAGE;

流对象（Stream）是变更数据捕获（CDC）的关键。它在表上记录插入、更新、删除的偏移量，任务消费流时只读取自上次消费以来的增量：

CREATE STREAM RETAIL_PIPE.RAW.ORDERS_STREAM ON TABLE RETAIL_PIPE.RAW.ORDERS;

流本身不存储数据，只保存元数据偏移。配合任务（Task）按分钟或小时调度，即可实现“表变更→流捕获→任务处理→写入下游”的准实时链路。需要注意：流必须在事务中消费，且消费后偏移前移，重复消费需依赖下游幂等设计。

六、对象协作的完整链路

把上述对象串起来，一条典型的批流管道是：外部文件经暂存区按文件格式解析，通过 COPY INTO 写入 RAW表；RAW表上的流对象捕获增量，任务按调度消费流，将数据写入 CURATED视图背后的目标表；序列在插入时生成代理键；最终结果落到 SERVING表供查询。数据库与模式为这一切提供命名空间和权限边界。