📚 课程目录第3章虚拟仓库与计算资源管理

3. 虚拟仓库与计算资源管理

Snowflake 的计算与存储彻底分离，存储层由云对象存储承载，而所有 SQL 执行、数据加载、函数计算都发生在虚拟仓库（Virtual Warehouse）上。虚拟仓库本质是一组按需启动的云算力节点（MPP 集群），它不保存数据，只负责计算。理解虚拟仓库的类型、规模、多集群策略以及挂起恢复机制，是控制查询性能与成本的核心。

一、虚拟仓库的规模与类型

虚拟仓库用 Size 描述算力规模，从 X-Small 到 6X-Large 共 9 档。规模每提升一档，计算节点数量大致翻倍，因此算力与费用也近似翻倍。需要特别注意的是：扩大仓库规模不会减少单条查询消耗的“计算信用点总量”，它主要缩短查询的墙钟时间。例如一个原本在 X-Small 上跑 8 分钟的查询，在 Large（8 倍算力）上可能 1 分多钟完成，两者消耗的 credit 大致相当，但后者占用资源的时间更短，对并发排队更友好。

按用途，虚拟仓库通常分为三类：

加载仓库（Loading WH）：专门执行 COPY INTO、Snowpipe 等数据摄入任务，规模中等即可，避免与查询争抢资源。
查询仓库（Query WH）：面向 BI、报表、即席分析，通常需要多集群以支撑并发。
ETL/转换仓库（Transform WH）：执行大批量 INSERT、MERGE、存储过程，往往需要较大规模。

把不同负载隔离到不同仓库，是 Snowflake 资源管理的第一原则。因为每个仓库独立计费、独立排队，一个仓库的慢查询不会拖垮另一个仓库。

二、多集群仓库与并发扩展

单集群仓库在并发查询超过其处理能力时，查询会进入排队。多集群仓库（Multi-Cluster Warehouse，MCW）通过自动增减集群来应对并发：当排队查询增多，Snowflake 自动拉起额外集群；并发下降后再自动关闭多余集群。它有两种模式：

Maximized（最大化）：只要有一个查询排队，就立即启动新集群，追求最低延迟，成本较高。
Economy（经济）：只有当系统判断排队会持续较长时间时才扩展，节省成本但延迟略高。

多集群仓库需要设置 Min Cluster 与 Max Cluster。Min 决定常驻集群数（保证基础并发），Max 决定扩展上限。例如 Min=1、Max=4，表示平时 1 个集群，高峰最多扩到 4 个。计费按“集群数 × 运行时间”累计，因此 Max 设置过大可能带来成本风险。

三、自动挂起与自动恢复

虚拟仓库在无查询时会保持运行并持续计费，因此必须配置 AUTO_SUSPEND（空闲多少秒后自动挂起）与 AUTO_RESUME（有查询时自动恢复）。典型配置是 AUTO_SUSPEND=60 秒、AUTO_RESUME=TRUE。挂起后仓库停止计费，恢复时会有几秒的启动延迟（冷启动），这是性能与成本的权衡点。

对于交互式 BI 场景，挂起时间可设为 300 秒以上，避免频繁冷启动影响体验；对于批处理 ETL，可设为 60 秒甚至更短，任务结束即释放算力。需要强调的是，挂起只停止计算计费，不删除仓库定义，恢复后配置、权限、集群策略都保持不变。

四、资源监控与成本控制

Snowflake 提供多层监控视图。仓库层面可用 SHOW WAREHOUSES 查看当前状态、规模、集群数；用 WAREHOUSE_LOAD_HISTORY 观察一段时间内的排队情况与利用率；用 WAREHOUSE_METERING_HISTORY 查看每个仓库消耗的 credit。账户层面则通过 ACCOUNT_USAGE 下的 WAREHOUSE_METERING_HISTORY、QUERY_HISTORY 做长期分析。

成本控制的关键动作包括：

设置 Resource Monitor：为账户或仓库设定 credit 配额，达到阈值时发出通知或直接挂起仓库，防止失控消耗。
合理设置 AUTO_SUSPEND：避免仓库长时间空转。一个 24 小时不挂起的 X-Small 仓库，每天约消耗 24 credit，而按需挂起可能只需几 credit。
用对规模：小查询不要用大仓库，大仓库适合短时高吞吐任务；对长时间运行的 ETL，可考虑用大仓库缩短时间以降低总 credit。
隔离负载：把 ETL、BI、即席查询分到不同仓库，避免互相排队，也便于分别核算成本。

判断仓库是否“过大”或“过小”，可观察 WAREHOUSE_LOAD_HISTORY 中的 AVG_QUEUED_LOAD 与 AVG_RUNNING_LOAD。若排队负载长期偏高，说明并发不足，可考虑加集群或扩规模；若运行负载长期很低，说明资源闲置，可考虑缩小规模或缩短挂起时间。

五、一个可参考的配置示例

假设某团队有三类负载：每日凌晨的批量 ETL、白天的 BI 报表、以及不定期的数据科学探索。可设计如下仓库：

仓库名	规模	Min/Max 集群	AUTO_SUSPEND	用途
WH_ETL	Large	1 / 1	60 秒	批量转换、MERGE
WH_BI	Medium	1 / 4	300 秒	BI 并发查询
WH_ADHOC	Small	1 / 2	120 秒	即席探索

对应 SQL 示例：

CREATE OR REPLACE WAREHOUSE WH_BI
  WAREHOUSE_SIZE = 'MEDIUM'
  MIN_CLUSTER_COUNT = 1
  MAX_CLUSTER_COUNT = 4
  SCALING_POLICY = 'ECONOMY'
  AUTO_SUSPEND = 300
  AUTO_RESUME = TRUE
  INITIALLY_SUSPENDED = TRUE;

-- 为账户设置资源监控，达到 80% 配额时通知
CREATE OR REPLACE RESOURCE MONITOR RM_MONTHLY
  WITH CREDIT_QUOTA = 2000
  TRIGGERS ON 80 PERCENT DO NOTIFY
           ON 100 PERCENT DO SUSPEND;

这套配置的核心思路是：ETL 用大仓库快速跑完并立即挂起；BI 用多集群应对白天并发高峰，挂起时间稍长以避免频繁冷启动；即席查询用中小仓库，控制探索成本。上线后应持续观察 WAREHOUSE_METERING_HISTORY 的 credit 曲线，若某仓库持续超预算，再回头调整规模、集群上限或挂起时间。虚拟仓库管理不是一次配置，而是随负载变化持续调优的过程。