📚 课程目录第2章数据中心网络基础

2、数据中心网络基础：二层/三层网络架构、VLAN、子网、路由、交换机与网卡的基本角色

在部署RoCEv2（RDMA over Converged Ethernet version 2）与TCP/IP融合网络之前，必须首先厘清数据中心网络的基本构成。RoCEv2本质上是一种将RDMA（远程直接内存访问）语义封装在UDP/IP报文中的技术，这意味着它既依赖二层以太网的寻址与转发，又依赖三层IP路由的跨子网能力。如果对二层广播域、VLAN划分、子网掩码、路由策略以及交换机与网卡（NIC）的硬件角色理解不透彻，后续的PFC（优先级流控）、ECN（显式拥塞通知）、无损网络配置都将成为无源之水。本章将系统梳理这些基础概念，并重点剖析它们在RoCEv2部署中的特殊含义。

上图展示了数据中心典型的“接入-汇聚-核心”三层物理架构，以及RoCEv2流量在各层所依赖的关键机制。接入层负责物理服务器的接入，通常以二层VLAN隔离广播域；汇聚层承担VLAN间路由和网关功能，是三层流量的起点；核心层（或Spine层）负责大规模路由转发。对于RoCEv2而言，这张图的核心启示在于：二层解决“谁在同一个广播域”，三层解决“如何跨广播域寻址”，而交换机与网卡则共同决定了转发性能与无损特性。下面我们将逐一拆解这些基础模块。

2.1 二层网络架构：广播域、MAC地址与VLAN

核心原理：二层转发的本质

二层网络（数据链路层）的核心任务是在同一广播域内，基于MAC地址进行帧的转发。交换机维护一张MAC地址表（CAM表），记录每个端口所连接设备的MAC地址。当收到一个数据帧时，交换机查找目的MAC：若命中，则从对应端口转发；若未命中，则向所有端口泛洪（除接收端口外）。这种机制简单高效，但广播域越大，泛洪流量越多，网络性能越差。

在RoCEv2场景中，二层网络还承担着无损传输的使命。RoCEv2依赖PFC（Priority-based Flow Control，优先级流控）在二层链路上提供无丢包保障。PFC通过暂停帧（PAUSE Frame）控制对端发送速率，这要求二层网络必须支持802.1Qbb标准，并且所有交换机端口和网卡都要正确配置优先级队列。

VLAN：广播域的隔离与扩展

VLAN（Virtual Local Area Network）通过802.1Q标签（4字节，其中12位用于VLAN ID）将物理局域网划分为多个逻辑广播域。VLAN的核心价值在于：

隔离广播域：减少ARP广播、未知单播泛洪对的影响。
安全隔离：不同业务（如存储、计算、管理）分属不同VLAN，互不可达（除非经三层路由）。
灵活部署：同一VLAN的成员可以跨越物理位置，只要交换机端口配置了相同的VLAN ID。

对于RoCEv2，VLAN规划直接影响PFC和ECN的生效范围。通常建议：RoCEv2流量使用专用VLAN，并在此VLAN内启用无损队列（如优先级3或4）。如果RoCEv2与普通TCP流量混用VLAN，PFC的暂停机制可能会影响普通流量的转发，造成优先级反转。

特性	二层交换	三层路由	RoCEv2要求
寻址依据	MAC地址	IP地址	RoCEv2使用UDP端口4791，需IP路由
广播域	VLAN内	子网内	建议RoCEv2 VLAN与子网一一对应
转发延迟	低（硬件线速）	略高（路由查找）	要求低延迟，尽量二层直达
QoS机制	802.1p优先级	DSCP	PFC基于802.1p，ECN基于DSCP
故障域	STP阻塞冗余链路	ECMP负载均衡	建议使用Spine-Leaf消除STP

判断方法：如何确定二层边界

在实际网络中，判断一个报文是否需要经过三层路由，只需看源IP与目的IP是否在同一子网。若在同一子网（即网络号相同），则直接ARP解析目的MAC，二层转发；若在不同子网，则需将报文发送至默认网关（网关MAC），由网关进行三层路由。对于RoCEv2，这意味着：

若两台RoCEv2服务器在同一VLAN且同一子网，则RDMA流量走二层，延迟最低。
若跨VLAN或跨子网，则必须经过三层路由，此时RoCEv2报文中的UDP端口和DSCP值必须被路由器正确识别和转发。

经验提醒：在规划RoCEv2网络时，尽量将频繁通信的服务器（如计算节点与存储节点）划分在同一二层域内。跨子网的RoCEv2虽然技术上可行（RoCEv2本身支持路由），但会增加延迟和配置复杂度，且要求中间路由器支持ECN和PFC的透传或映射。

常见误区：VLAN数量越多越好？

不少工程师认为VLAN划分越细越安全，但过度划分会导致：

三层路由压力增大：每个VLAN都需要一个网关IP，路由表项膨胀。
PFC配置复杂化：每个VLAN的优先级队列需要单独调优，排障困难。
广播域过小反而引发ARP请求频繁跨网关，增加延迟。

建议：RoCEv2网络采用“大二层”设计（如VXLAN或Trill），或采用Spine-Leaf架构下的VLAN-per-Pod策略，每个Pod内一个VLAN，Pod间通过三层路由。这样既保证了二层直达的低延迟，又控制了广播域规模。

2.2 三层网络架构：子网、路由与网关

核心原理：IP子网与路由决策

三层网络（网络层）的核心是IP寻址与路由。IP地址由网络号和主机号组成，子网掩码（如255.255.255.0）用于区分两者。路由器的职责是：根据目的IP地址，查询路由表，选择最优下一跳。路由表可以是静态配置的，也可以通过OSPF、BGP等动态路由协议学习。

在RoCEv2中，三层路由的意义在于打破二层广播域的限制，实现跨子网的RDMA通信。RoCEv2的报文格式为：以太网头 + IP头 + UDP头（目的端口4791）+ RoCEv2头 + 数据。这意味着RoCEv2报文可以被普通IP路由器转发，但前提是路由器必须支持：

ECN（Explicit Congestion Notification）：在拥塞时标记报文（CE码点），而非丢弃。
DSCP（Differentiated Services Code Point）：识别RoCEv2流量的优先级，并映射到相应的队列。
PFC透传或映射：虽然PFC是二层机制，但三层设备需要确保无损队列的优先级映射一致。

网关与ARP：三层通信的起点

当主机需要访问其他子网时，它首先检查目的IP与自身IP是否在同一子网。若不在，则主机将帧的目的MAC设置为默认网关的MAC地址，IP头中的目的IP保持不变。网关路由器收到后，解封装二层头，根据目的IP查找路由表，再重新封装二层头转发。这个过程涉及两次ARP解析：主机到网关、网关到下一跳。

在RoCEv2环境中，ARP解析的延迟和失败率直接影响RDMA连接的建立。建议在网卡上启用ARP缓存优化，或使用静态ARP表项，避免因ARP超时导致RoCEv2连接中断。

案例拆解：跨子网RoCEv2通信的排障

背景：某数据中心部署RoCEv2，计算节点（IP: 10.0.1.10/24）与存储节点（IP: 10.0.2.20/24）分属不同VLAN和子网，中间经过一台汇聚交换机（三层网关）。用户反馈RDMA读写性能远低于预期，且偶发超时。

初始现象：使用ib_write_bw测试带宽，仅达到线速的60%，且伴随大量重传。

分析过程：

检查两端网卡RoCEv2配置：确认 rocev2模式已启用，UDP端口为4791。
在汇聚交换机上查看ACL和QoS配置：发现DSCP值未映射到正确的队列，导致RoCEv2流量被放入默认BE队列，未启用ECN。
检查PFC配置：交换机端口上PFC未开启，导致拥塞时丢包而非暂停。
使用tcpdump抓包：发现RoCEv2报文中的DSCP值为0，而交换机期望值为46（EF）。

操作步骤：

# 在网卡上设置RoCEv2流量优先级（DSCP 46）
cma_roce_tos 46
# 或使用rdma工具
rdma link set mlx5_0/1 roce enabled
# 在交换机上配置QoS映射
mlxsw_qos  // 以Mellanox交换机为例
  dscp-to-priority 46 5
  priority-to-queue 5 3
  pfc priority 3 on

结果对比：配置完成后，带宽恢复至线速的95%以上，重传计数归零。

复盘经验：跨子网RoCEv2排障的核心是检查三层路径上的QoS映射是否一致。DSCP值必须在网卡、接入交换机、汇聚交换机上逐跳保持一致，且PFC优先级队列必须对应到同一优先级。

风险提示：不要在所有交换机端口上全局启用PFC。PFC的暂停机制会影响同一端口上的所有流量（包括普通TCP），若RoCEv2与TCP混跑，可能导致TCP全局同步问题。建议为RoCEv2配置专用VLAN和专用优先级队列。

2.3 交换机与网卡：硬件角色与关键特性

核心原理：交换机的转发架构与网卡的卸载引擎

数据中心交换机（如Spine-Leaf架构中的Leaf交换机）通常采用ASIC芯片进行线速转发，支持VXLAN、RoCEv2等高级特性。其关键指标包括：

转发延迟：通常为几百纳秒到几微秒，直接影响RDMA延迟。
缓冲区大小：RoCEv2依赖交换机缓冲区吸收突发流量，建议每端口至少4MB。
PFC/ECN支持：必须支持802.1Qbb和RFC 3168/6040。

网卡（NIC）的角色更为关键。现代RoCEv2网卡（如Mellanox ConnectX-5/6、Broadcom NetXtreme-E）内置RDMA引擎，支持：

内核旁路（Kernel Bypass）：用户态直接访问网卡队列，避免系统调用开销。
多队列（QoS）：每个优先级队列独立调度，配合PFC实现无损传输。
ECN标记：网卡在拥塞时主动标记报文，而非依赖交换机。

判断方法：如何评估交换机是否适合RoCEv2

在选型时，可通过以下清单快速判断：

检查项	命令/方法	合格标准
PFC支持	查看端口能力：`ethtool -l eth0`	支持8个优先级队列
ECN支持	查看WRED配置：`show qos wred`	支持ECN标记（CE）
缓冲区	查看芯片规格	每端口≥4MB
RoCEv2路由	查看是否支持UDP端口4791转发	支持三层RoCEv2转发

案例拆解：网卡队列与PFC的协同配置

场景：某AI训练集群，使用RoCEv2进行梯度同步。服务器配置Mellanox ConnectX-6网卡，交换机为Arista 7050X。训练任务频繁出现“慢节点”现象，即某个GPU的梯度同步延迟过高。

分析：通过mlxlink检查网卡链路，发现优先级3（RoCEv2专用）的丢包计数持续增长。进一步查看交换机端口，发现PFC暂停帧计数频繁触发，说明存在拥塞。

优化操作：

在网卡上启用ECN：echo 1 > /sys/class/infiniband/mlx5_0/ecn_enable
调整交换机ECN阈值：将最小阈值设为缓冲区大小的60%，最大阈值设为80%。
将RoCEv2流量限制在专用VLAN，并启用PFC优先级3。

结果：慢节点现象消失，训练吞吐提升15%。

复盘：RoCEv2的性能瓶颈往往不在带宽，而在拥塞控制参数的精细调优。ECN阈值设置过低会导致频繁标记，过高则失去拥塞预警作用。建议结合流量模型（如All-to-All通信）进行仿真测试。

2.4 常见误区与总结复盘

误区一：二层网络不需要路由，所以RoCEv2不需要三层配置

这是最常见的误解。RoCEv2虽然可以在二层运行，但现代数据中心普遍采用Spine-Leaf架构，跨Pod通信不可避免。即使在同一数据中心内，VLAN间路由也是常态。正确的做法是：默认启用RoCEv2的三层模式，并确保所有三层设备支持ECN和DSCP映射。

误区二：VLAN划分越细越好

如前所述，过度VLAN划分会导致路由压力增大和PFC配置复杂化。建议遵循“一个业务一个VLAN，一个VLAN一个子网”的原则，并尽量将RoCEv2流量收敛到少数几个VLAN中。

误区三：交换机缓冲区越大越好

大缓冲区确实能吸收更多突发流量，但也会增加排队延迟（Bufferbloat）。对于RoCEv2，更关键的是动态缓冲区管理（如Dynamic Threshold），而非单纯增大容量。建议启用交换机的动态缓冲区分配功能。

总结复盘：基础架构决定上层体验

本章的核心结论可以归纳为：

二层是基础：VLAN隔离广播域，PFC保障无损，但需注意PFC的副作用。
三层是扩展：子网划分和路由让RoCEv2跨越更大范围，但必须保证QoS映射一致。
硬件是保障：交换机的缓冲区和网卡的RDMA引擎共同决定了端到端性能。