4. 存储子系统架构

在 PowerEdge 服务器中,存储子系统决定了数据以多快的速度写入、以多高的可靠性保存,以及系统能否在磁盘故障后继续对外服务。理解存储子系统,不能只记住“SAS 快、SATA 便宜、NVMe 更快”,而要把驱动器接口、控制器、启动盘方案、RAID 实现层次、外部存储连接这五件事放在同一条数据路径上看。本节围绕这条路径展开,先讲清各层职责,再给出可落地的选型与配置判断。

一、驱动器接口:SAS、SATA 与 NVMe 的本质差异

SAS(Serial Attached SCSI)与 SATA(Serial ATA)都属于传统块设备接口,二者在物理层可部分兼容,但协议与能力不同。SAS 支持双端口、全双工、更长的背板走线、更高的队列深度和更完善的错误恢复,常见于 2.5 英寸 10K/15K 机械盘、SAS SSD 以及近线 SAS 大容量盘;SATA 成本低、容量大,适合冷数据、备份盘或对随机 IOPS 要求不高的场景。在 PowerEdge 中,同一背板通常可混插 SAS 与 SATA,但 RAID 控制器对两者的队列与缓存策略会区别对待。

NVMe 则不是“更快的 SAS”,它直接建立在 PCIe 之上,使用多队列、低深度依赖的提交/完成机制,单盘即可达到数十万 IOPS、微秒级延迟。PowerEdge 的 NVMe 有两种接入形态:一是通过 U.2/U.3 背板直连 CPU 的 PCIe 通道(直连 NVMe),二是通过支持 NVMe 的 PERC 或 PCIe Switch 背板接入。前者延迟最低,后者便于做硬件 RAID 与统一管理。判断时先问三个问题:是否需要硬件 RAID 保护?是否需要热插拔背板统一管理?单盘性能目标是否超过约 20 万 IOPS?答案决定选直连还是控制器接入。

二、PERC RAID 控制器:硬件 RAID 的核心

PERC(PowerEdge RAID Controller)是 Dell 的硬件 RAID 控制器家族,典型型号如 PERC H755、H965i 等。它承担三件事:管理物理盘与虚拟盘、提供带缓存的读写加速、在盘故障时执行重建。关键参数包括:缓存容量(如 8GB NV 缓存)、是否带电池/超级电容(用于断电时保护缓存数据)、支持的 RAID 级别(0/1/5/6/10/50/60)、以及是否支持 NVMe 直通或 RAID。

配置时通常先在 iDRAC 或 PERC 的 BIOS 配置界面(Ctrl+R 或 HII)中创建虚拟盘。一个典型教学示例:4 块 1.92TB SAS SSD 做 RAID 5,条带大小 128KB,写策略为 Write Back,读策略为 Read Ahead,并启用超级电容。此时可用容量约为 (4-1)×1.92TB ≈ 5.76TB,可容忍任意 1 块盘故障。若改为 RAID 6,则可用容量约 3.84TB,可容忍 2 块盘同时故障,但写放大更明显。判断 RAID 级别是否合适,核心看可容忍故障盘数与写性能损失之间的平衡。

三、BOSS 卡:把启动盘从数据盘中独立出来

BOSS(Boot Optimized Storage Solution)卡是一块专用的小型 RAID 控制器,通常插在服务器内部专用插槽,承载 2 块 M.2 NVMe SSD,默认做 RAID 1。它的价值在于:操作系统与引导分区放在 BOSS 卡上,数据盘全部留给业务,避免“用数据盘做系统盘”导致的容量浪费、RAID 重建时系统不可用、以及启动盘与数据盘争抢控制器队列。部署时建议将 BOSS 卡配置为 RAID 1,并在 BIOS 启动顺序中将其置于首位;若两块 M.2 中一块故障,系统仍可从另一块启动,更换后由控制器自动重建。

四、软件 RAID 与硬件 RAID 的对比

软件 RAID 由操作系统或固件实现,例如 Linux mdadm、Windows 存储空间、以及部分服务器中的 S140/S150 软 RAID。它不依赖独立缓存和电池,成本低、配置灵活,但会消耗 CPU 周期,且断电时缓存中的数据缺乏保护。硬件 RAID(PERC)把校验计算和缓存管理下沉到控制器,对操作系统透明,支持在线扩容、热备盘、缓存掉电保护,适合生产数据库与虚拟化场景。选择时可参考:若追求最低成本、非关键业务、或使用 ZFS 等自带校验的文件系统,软件 RAID 可接受;若要求稳定 IOPS、断电一致性和统一运维,优先 PERC。

PowerEdge 存储子系统数据路径与连接方式 主机与操作系统层 OS / 文件系统 卷管理器 / mdadm 多路径 MPIO / iSCSI 应用 / 数据库 控制器与启动盘层 PERC 硬件 RAID 缓存 + 超级电容 + 重建 BOSS 卡 RAID 1 2×M.2 NVMe 启动盘 软件 RAID(S140 / mdadm / 存储空间) 依赖 CPU,无独立缓存保护 物理介质与接口 SAS 驱动器 双端口 / 高队列 SATA 驱动器 低成本 / 大容量 NVMe SSD PCIe / 微秒延迟 背板 / U.2 / U.3 热插拔与直连通道 外部存储连接 DAS 直连(SAS HBA / 扩展柜) 低延迟,距离受限 SAN(FC / iSCSI) 块级,多路径,共享 NAS(NFS / SMB) 文件级,易共享,协议开销

五、直连与 SAN/NAS:把存储放到机箱之外

直连存储(DAS)指硬盘或扩展柜直接挂在服务器 HBA/RAID 卡上,例如通过 SAS HBA 连接 MD1400/MD2400 扩展柜。它延迟低、配置简单,适合单机数据库、备份目标或容量扩展,但无法被多台服务器同时以块方式共享。SAN(Storage Area Network)通过 FC 或 iSCSI 提供块级 LUN,配合多路径(MPIO)实现链路冗余和负载均衡,适合虚拟化集群、Oracle RAC 等需要共享块设备的场景。NAS 通过 NFS/SMB 提供文件级共享,部署快、权限管理直观,但协议栈开销高于块存储,不适合对延迟极敏感的事务型数据库。

在 PowerEdge 上接入 SAN 时,典型操作包括:在 iDRAC/BIOS 中启用对应网卡或 HBA 的 iSCSI/FC 功能;在操作系统侧安装多路径软件(如 Linux 的 device-mapper-multipath);用 iscsiadm 发现并登录目标;再用 multipath -ll 确认每条路径状态为 active。判断连接是否健康,看三个信号:LUN 是否可见、多路径是否出现多条 active 路径、以及读写时是否出现路径切换告警。

选型速记:启动盘用 BOSS RAID 1;生产数据优先 PERC 硬件 RAID 5/6/10;极致低延迟选直连 NVMe;多机共享块设备选 SAN;文件共享与快速交付选 NAS。

最后给出一个可执行的判断顺序:先确定“这块盘是启动盘还是数据盘”,再确定“是否需要硬件 RAID 保护”,然后确定“是机箱内还是机箱外”,最后确定“是块级共享还是文件级共享”。按这个顺序,SAS/SATA/NVMe、PERC、BOSS、软 RAID、DAS/SAN/NAS 的取舍就不会互相干扰,存储子系统的架构也就清晰了。