3. 集群部署规划
ONTAP 集群不是“把几台机器连起来”那么简单。一次可运维、可扩展、可排障的部署,取决于五条设计主线是否在规划阶段就对齐:节点数量与 HA 对布局、集群互连(Cluster Interconnect)、管理网络、数据网络、带外管理(BMC/SP)。这五者互相约束——节点数量决定互连端口与交换机端口预算,数据网络决定 VLAN 与 MTU 规划,带外管理决定故障时能否远程恢复。本节按“先定规模、再定网络、最后定冗余与地址”的顺序展开。
一、节点数量:从 HA 对出发,而不是从“台数”出发
ONTAP 的高可用以 HA 对为最小单元:同一 HA 对内的两个节点通过 HA 互连(HA Interconnect)直连或经交换机互联,用于接管(Takeover)与交还(Giveback)。因此节点数量必须是偶数,2、4、6、8… 每增加 2 个节点,就新增 1 个 HA 对和 1 组 HA 互连链路。
规模估算应从三个输入出发:可用容量、性能上限、故障域。示例(假设值,仅用于说明方法):某项目需要 300 TB 可用容量,选用单节点可用容量约 80 TB 的型号,考虑 1 个 HA 对故障仍要保留业务能力,则至少需要 2 个 HA 对(4 节点),可用容量约 320 TB,满足容量与 N+1 故障域要求。若性能侧要求单集群聚合 IOPS 不低于 40 万、且单节点上限约 12 万 IOPS,则 4 节点理论聚合 48 万 IOPS,留有余量。
节点数量的常见判断依据:
- 2 节点:最小生产集群,适合中小规模,故障域为单 HA 对,扩容需成对增加。
- 4 节点:可跨两个 HA 对做故障域隔离,是较常见的均衡起点。
- 6 节点及以上:适合多租户、多协议混合负载,需重点评估集群互连带宽与交换机端口密度。
二、集群互连:集群的“内部总线”
集群互连承载节点间的集群心跳、配置同步、元数据交互以及跨节点数据访问。它的设计原则是:独立于数据网络、低延迟、高带宽、双路径冗余。生产环境通常使用专用交换机(或专用 VLAN),不与客户端数据流量混跑。
关键参数与做法:
- 端口速率:常见 10GbE/25GbE/40GbE/100GbE,按节点数量和跨节点访问强度选择;跨节点访问频繁的负载应优先更高带宽。
- 冗余:每节点至少 2 个集群互连端口,分别接入两台独立交换机,形成无单点路径。
- MTU:集群互连通常启用巨帧(如 9000),需在交换机端口、节点端口、VLAN 上一致配置,否则会出现分片或性能下降。
- 隔离:集群互连使用独立 VLAN 或物理隔离,禁止与数据网络共用广播域。
示例配置思路(假设值):4 节点集群,每节点 2×25GbE 集群互连端口,分别上联 SW-Cluster-A 与 SW-Cluster-B;两台交换机之间做 ISL 互联,集群互连 VLAN 为 200,MTU 9000。这样任一交换机或任一链路故障,集群互连仍保持连通。
三、管理网络与带外管理:两条不能合并的通道
管理网络用于集群管理 IP(Cluster Management LIF)、节点管理 IP(Node Management LIF)、SVM 管理 LIF,以及 ONTAP System Manager、CLI、API、AutoSupport 等。它应具备:独立 VLAN、可路由、受控访问(仅运维网段可达)、DNS 与 NTP 可达。
带外管理指 BMC(Baseboard Management Controller,ONTAP 中常称 SP/Service Processor)。它独立于 ONTAP 数据路径,即使节点宕机或 ONTAP 未启动,也能远程开机、关机、查看控制台、挂载 ISO。设计原则:
- BMC 使用独立 VLAN 与独立地址段,不与管理网络混用;
- 每节点一个 BMC 地址,配置静态 IP 或 DHCP 保留;
- BMC 交换机端口与节点电源、控制台一并纳入远程运维通道;
- BMC 访问需认证与审计,避免成为未受控入口。
四、数据网络:按协议与租户分层
数据网络承载客户端访问,包括 NFS、SMB/CIFS、iSCSI、NVMe/TCP、FC 等。设计原则是按协议与租户划分 VLAN、按带宽与冗余规划端口、按 MTU 一致性规划端到端。
典型做法:
- NFS/SMB:使用数据 LIF,分布在多个节点上,配合 DNS 轮询或 SVM 的 LIF 故障转移;VLAN 按业务或租户划分。
- iSCSI/NVMe/TCP:建议独立 VLAN 与独立物理端口或端口组,启用巨帧时需端到端一致;多路径(MPIO)要求至少两条独立路径。
- FC:使用独立 SAN 交换机与 zoning,不与以太网数据网络混用。
- 冗余:每节点至少 2 个数据端口,分别接入两台交换机;LACP 或 MPIO 按协议选择。
示例(假设值):4 节点集群,每节点 4×25GbE 数据端口,2 个用于 NFS/SMB VLAN 100,2 个用于 iSCSI VLAN 110;NFS 启用 MTU 9000,iSCSI 启用 MTU 9000 并配置 MPIO 双路径。管理 VLAN 10,集群互连 VLAN 200,BMC VLAN 300。
五、五条主线的协同关系
把上述内容放在一张图上,可以清楚看到:节点数量决定 HA 对与端口预算;集群互连、管理网络、数据网络、带外管理各自独立又互相约束。下图以 4 节点集群为例,展示五条主线的连接关系与隔离边界。
六、规划检查要点
在部署前,建议用一张规划表把五条主线的关键参数固定下来,避免实施阶段反复变更。以下为可直接参考的字段示例(数值为假设值):
| 规划项 | 示例值 | 判断依据 |
|---|---|---|
| 节点数量 | 4(2 个 HA 对) | 容量 300 TB、N+1 故障域、聚合 IOPS 余量 |
| 集群互连 | 2×25GbE/节点,VLAN 200,MTU 9000 | 双交换机冗余、低延迟、独立于数据网络 |
| 管理网络 | VLAN 10,集群/节点管理 LIF | DNS/NTP 可达、仅运维网段访问 |
| 数据网络 | VLAN 100(NFS/SMB)、VLAN 110(iSCSI) | 按协议隔离、MPIO 双路径、MTU 一致 |
| 带外管理 | VLAN 300,每节点 1 个 BMC 地址 | 独立交换机/VLAN,不依赖管理网络 |
最后强调三条容易踩坑的原则:第一,集群互连必须独立且冗余,不要与数据网络共用 VLAN 或交换机;第二,BMC 必须独立于管理网络,否则管理网络故障时远程恢复能力同时丧失;第三,MTU 必须端到端一致,集群互连、数据网络、交换机端口、VLAN 接口任何一处不一致,都会导致巨帧失效或性能异常。把这三条与节点数量、HA 对布局一起在规划阶段确认,后续扩容和排障都会顺畅得多。