4. 网络接口卡与EPYC平台兼容性
在EPYC服务器上集成高速网络时，NIC并不是“插上就能跑满”的独立部件。它同时受三条链路约束：物理与电气链路（PCIe Gen4/Gen5、x16/x8、插槽来源）、固件与驱动链路（NIC固件、内核驱动、RDMA用户态库）、平台配置链路（BIOS中的PCIe拆分、ACS、IOMMU、Above 4G等）。任何一条不匹配，都可能表现为链路降速、设备不识别、性能腰斩或虚拟化直通失败。本节围绕主流NIC型号、PCIe代际匹配、固件驱动要求以及EPYC BIOS关键设置展开。
主流NIC厂商与型号定位
当前数据中心主流高速NIC大致分为三类。第一类是通用以太网NIC：Intel E810系列（E810-CQDA2双口100GbE、E810-XXVDA4四口25GbE）支持PCIe 4.0 x16，适合RoCEv2与存储前端；Broadcom NetXtreme E系列（如P2200G、P425G）覆盖10/25/100GbE，PCIe 4.0接口，在通用服务器中生态成熟。第二类是智能网卡/DPU：NVIDIA ConnectX-6 Dx（200GbE，PCIe 4.0 x16）、ConnectX-7（400GbE，PCIe 5.0 x16）、BlueField-2/3 DPU，除网络外还承担OVS卸载、存储虚拟化与安全功能。第三类是高性能RDMA与融合网卡：ConnectX系列与E810均支持RoCEv2，是AI训练、分布式存储和HPC的主力。
选型时不能只看端口速率，必须核对三个参数：PCIe代数与lane数、NIC的PCIe供电与散热规格、是否支持目标功能（SR-IOV、RoCEv2、PTP、DPU卸载）。例如400GbE单口在PCIe 4.0 x16下理论带宽约256GB/s，看似足够，但若插槽实际只跑x8 Gen4，带宽减半，400GbE端口无法满速，这是工程中最常见的隐性瓶颈。
PCIe Gen4/Gen5接口匹配
EPYC 7002/7003（Rome/Milan）提供PCIe 4.0，EPYC 9004（Genoa）与9005（Turin）提供PCIe 5.0。CPU直连的PCIe lane通常为128条（双路），分为多组x16插槽；芯片组下行lane（如Promontory）通常为Gen4或更低，且与CPU直连插槽在延迟和带宽上差异明显。因此高速NIC必须优先插在CPU直连的x16插槽，并确认该插槽在BIOS中未被拆分为x8+x8或x4+x4+x4+x4。
代际匹配遵循“向下兼容、按低者运行”原则：Gen5 NIC插在Gen4插槽会协商为Gen4；Gen4 NIC插在Gen5插槽通常也协商为Gen4（部分平台可强制Gen5但无收益）。关键判断依据是操作系统中的链路状态：
# 查看PCIe链路速率与宽度
lspci -vv -s 41:00.0 | grep -E "LnkCap|LnkSta"
# 期望输出示例（Gen4 x16）：
# LnkCap: Port #0, Speed 16GT/s, Width x16
# LnkSta: Speed 16GT/s, Width x16
若LnkSta显示Speed 8GT/s, Width x8，说明链路被降级，需检查插槽拆分、金手指接触、BIOS设置或NIC自身规格。对于双口200GbE NIC，Gen4 x16是满速底线；对于单口400GbE，建议Gen5 x16或Gen4 x16并接受一定折损。
NIC固件与驱动要求
固件与驱动必须成对匹配，且与内核版本、RDMA栈版本一致。以ConnectX-6 Dx为例，推荐使用MLNX_OFED或系统自带mlx5_core驱动，固件通过mlxfwmanager或mstflint升级。E810则依赖ice驱动与rdma-core，固件通过devlink或厂商工具更新。常见要求包括：
- NIC固件版本需满足厂商兼容性矩阵中对EPYC平台和内核版本的最低要求；
- 启用RoCEv2时，需安装
rdma-core、libibverbs、ibverbs-utils，并确认ibv_devinfo能识别设备； - SR-IOV场景需在BIOS开启IOMMU与ACS，并在驱动中设置
num_vfs； - DPU/BlueField需额外加载DOCA驱动与固件，且对PCIe Gen5插槽有明确要求。
升级固件前应记录当前版本，升级后重启并复核链路状态与ethtool -i输出，避免固件与驱动版本错配导致端口反复up/down。
EPYC BIOS中PCIe与IOMMU相关设置
EPYC平台的BIOS设置直接决定NIC能否被正确枚举和直通。关键项包括：
- PCIe Slot Configuration / Bifurcation：将目标x16插槽设为x16，或按NIC需求设为x8+x8；错误拆分会导致NIC只识别一半lane。
- Above 4G Decoding：必须Enabled，否则大BAR空间的NIC无法映射。
- SR-IOV：Enabled，配合IOMMU使用。
- IOMMU：Enabled（AMD-Vi），虚拟化直通和DPU隔离的前提。
- ACS (Access Control Services)：直通场景建议Enabled，保证PCIe拓扑隔离；但部分低延迟场景会关闭ACS以减少开销，需权衡。
- PCIe AER：建议Enabled以便捕获链路错误。
- Determinism / Power：部分平台可设置PCIe ASPM为Disabled，避免链路进入低功耗状态影响延迟。
lspci -vv的LnkSta、dmesg | grep -i iommu以及ibv_devinfo，确认链路、IOMMU分组和RDMA设备均符合预期。兼容性核对清单与判断依据
实际部署时，建议按以下顺序核对，避免反复插拔和重启：
| 检查项 | 期望值/命令 | 异常判断 |
|---|---|---|
| 插槽来源 | CPU直连x16，非芯片组下行 | 芯片组插槽带宽不足 |
| Bifurcation | x16（或按NIC需求） | LnkSta Width x8/x4 |
| 链路速率 | Gen4 16GT/s 或 Gen5 32GT/s | 8GT/s 说明降级 |
| Above 4G | Enabled | NIC BAR无法映射 |
| IOMMU | Enabled，dmesg无报错 | 直通失败或DMA错误 |
| 固件/驱动 | 厂商兼容矩阵内 | 端口up/down、性能异常 |
| RDMA | ibv_devinfo显示端口Active | RoCEv2不可用 |
以ConnectX-6 Dx双口200GbE为例，若插在Gen4 x16 CPU直连插槽，LnkSta应为16GT/s x16，两个端口均可接近200GbE线速；若误插芯片组x8 Gen4插槽，LnkSta为16GT/s x8，单口理论带宽约128GB/s，双口并发时会出现明显争用。此时应调整插槽或接受降级，而不是盲目更换NIC。
综上，NIC与EPYC平台的兼容性不是单一参数问题，而是“插槽—链路—固件—驱动—BIOS”五者的一致性校验。把LnkSta、IOMMU分组、固件版本和RDMA设备状态作为四个硬性验收点，就能在集成阶段快速定位绝大多数兼容性故障。