3. 存储网络基础

在HPE存储数据迁移与基础设施升级工程中,存储网络是决定迁移窗口、业务中断时长和升级后性能上限的关键层。很多迁移项目失败并非因为阵列本身,而是因为协议选型与现有SAN/NAS环境不匹配,导致带宽不足、时延抖动或路径切换异常。本节从协议原理出发,落到HPE环境中的实际选型、配置要点与性能影响判断。

一、四种协议的定位与原理差异

FC(Fibre Channel)是专用存储网络协议,采用FC-0到FC-4五层结构,通过光纤或铜缆承载SCSI命令(FCP)。它依赖HBA、FC交换机与WWN寻址,天然具备无损、低时延、高可靠特性,典型链路速率为8/16/32/64 Gb。在HPE环境中,SN1100Q、SN1600E等FC HBA配合Brocade或Cisco MDS交换机是经典组合。

iSCSI把SCSI命令封装进TCP/IP,用普通以太网和标准网卡即可承载。它依赖IP路由与TCP重传,因此对丢包敏感,需要借助DCB/PFC或独立存储VLAN来降低拥塞。HPE的FlexFabric、Synergy和ProLiant网卡均可作为iSCSI initiator,配置重点是多路径(MPIO)与巨帧。

NVMe-oF把NVMe命令通过RDMA(RoCEv2、InfiniBand)或FC、TCP承载,绕开传统SCSI栈,队列深度可达数万,时延可降至百微秒级。HPE Alletra MP、Primera等阵列支持NVMe-oF,配合SN2200M等RoCE网卡使用。

FCoE将FC帧封装进以太网,用CNA(融合网络适配器)在10/25/40 GbE上同时承载LAN与SAN流量,依赖DCB保证无损。它适合希望收敛布线的场景,但配置复杂度高,在新建项目中已逐步被NVMe-oF取代。

四种存储协议栈与承载对比 FC SCSI / FCP FC-2 帧/流控 FC-1 编码 FC-0 光/铜 速率 8/16/32/64G 无损 · 低时延 WWN 寻址 HBA + FC 交换机 HPE: SN1100Q Brocade / MDS 时延 ≈ 100μs 级 iSCSI SCSI / iSCSI PDU TCP IP 以太网 10/25G 依赖 TCP 重传 对丢包敏感 IP 寻址 · 易扩展 标准网卡 + MPIO HPE FlexFabric DCB / 独立 VLAN 时延 ≈ 200~500μs NVMe-oF NVMe 命令 RDMA / FC / TCP RoCEv2 / IB 以太网 25/100G 绕开 SCSI 栈 队列深度数万 CPU 开销低 需无损以太网 HPE Alletra MP SN2200M RoCE 时延 ≈ 50~100μs FCoE FC 帧 FCoE 封装 DCB / PFC / ETS 以太网 10/25G LAN/SAN 收敛 依赖无损以太网 配置复杂度高 CNA 适配器 HPE CNA / FlexFabric Nexus / FlexFabric 时延 ≈ 150~300μs

二、HPE环境中的选型判断

选型不是比谁“先进”,而是看现有布线、交换机能力、阵列接口和迁移窗口。若现有核心是Brocade FC交换机且阵列提供32G FC端口,继续用FC最稳妥,迁移时可通过NPIV和分区(zoning)实现新旧阵列并存。若机房只有以太网且预算有限,iSCSI是可行选择,但必须为存储流量划分独立VLAN并启用DCB,否则备份或虚拟机迁移流量会与存储争抢带宽。

NVMe-oF适合对时延敏感的新建数据库或AI场景。HPE Alletra MP支持NVMe/TCP和NVMe/RoCE,若已有25G/100G无损以太网,可直接复用;若没有,则需评估PFC、ECN和DCQCN配置成本。FCoE在HPE BladeSystem和Synergy的FlexFabric模块中仍有部署,但新建项目建议直接考虑NVMe-oF,避免FCoE与DCB的运维负担。

选型速判:已有FC交换机且阵列有FC口 → FC;纯以太网、预算紧、时延要求一般 → iSCSI;新建、低时延、有25G以上无损以太网 → NVMe-oF;存量FCoE环境且布线收敛需求强 → 维持FCoE并逐步迁移。

三、配置要点与性能影响

以iSCSI为例,在HPE ProLiant上配置双口25G网卡做iSCSI多路径,关键动作包括:为两个存储口配置不同子网(如10.10.1.10/24与10.10.2.10/24),在阵列端配置对应目标门户,然后在主机端启用MPIO并设置Round Robin或Least Queue Depth策略。巨帧(MTU 9000)需端到端一致,否则会出现分片导致性能下降。

# HPE ESXi 主机 iSCSI 多路径示例(示意)
esxcli network ip interface add -i vmk2 -p "iSCSI-A"
esxcli network ip interface ipv4 set -i vmk2 -I 10.10.1.10 -N 255.255.255.0
esxcli iscsi networkportal add -n vmk2 -a vmhba64
esxcli storage nmp psp roundrobin deviceconfig set \
  --type=iops --iops=1000 -d naa.600508b1001c...

性能影响方面,FC的时延最稳定,适合Oracle RAC等对抖动敏感的业务;iSCSI在启用DCB和巨帧后,顺序吞吐可接近线速,但随机小IO时延受TCP栈影响明显;NVMe-oF在4K随机读场景下IOPS可达SCSI路径的3~5倍,时延降低约50%~70%(示例量级,实际取决于阵列与网络配置);FCoE在正确配置DCB后性能接近FC,但一旦PFC配置错误,容易出现丢包和路径震荡。

四、迁移场景下的协议共存与验证

实际迁移中常出现新旧协议并存:旧阵列走FC,新阵列走NVMe-oF,主机需同时识别两类设备。此时应确保多路径策略一致,避免同一LUN被两条路径以不同协议访问。验证时可用esxcli storage core path list或HPE SSMC查看路径状态,并用Iometer或fio做4K随机读写基线对比。若迁移后时延反而升高,优先检查交换机PFC/ECN计数、MTU一致性和多路径策略是否被重置。

协议选型与配置直接决定迁移窗口能否压缩、升级后性能能否达标。理解四种协议的栈结构、承载差异和HPE对应组件,才能在工程中做出可验证、可回退的决策。