1. 课程导入与Marvell数据中心网络全景
数据中心网络正从“能连通”走向“高吞吐、低时延、可观测、可扩展”的工程化阶段。随着AI训练集群、分布式存储、云原生微服务和高速东西向流量的爆发,网络不再只是服务器之间的管道,而是决定算力利用率、存储一致性和业务SLA的关键基础设施。本课程围绕Marvell数据中心网络产品与技术展开,目标是帮助读者建立从芯片、网卡、交换芯片到系统级性能优化与容量设计的完整认知框架。
学习本课程后,读者应能够:理解Marvell在数据中心网络中的定位与产品边界;区分Teralynx交换芯片、OCTEON DPU/处理器、FastLinQ网卡、Alaska PHY/Retimer等产品线各自解决的问题;掌握性能优化与容量设计的核心指标,如吞吐、时延、PPS、缓存、ECN/PFC、SerDes速率、端口密度和功耗;并能针对典型场景做出初步的选型、参数配置与容量估算。
Marvell在数据中心网络中的定位
Marvell并非只做单一芯片,而是覆盖“计算—网络—存储—安全”的数据基础设施半导体平台。在数据中心网络中,它主要处于三个位置:第一,交换侧,Teralynx系列以太网交换芯片面向叶脊架构、AI后端网络和云数据中心,提供高radix、低时延、可编程遥测等能力;第二,端点侧,OCTEON系列DPU和处理器承担网络卸载、存储加速、安全隔离与虚拟交换;第三,物理层与网卡侧,Alaska PHY/Retimer、FastLinQ网卡和Prestera等产品解决信号完整性、端口扩展和服务器接入问题。
从数据流路径看,一个典型AI训练集群的流量会经过:GPU服务器 → 网卡/DPU → ToR交换机 → 脊交换机 → 对端ToR → 对端网卡/DPU → 对端GPU。Marvell的产品几乎覆盖这条路径上的每一个关键节点。理解这条路径,是后续做性能优化和容量设计的基础。
产品线概览与关键参数
Teralynx是Marvell面向数据中心交换的核心芯片系列,典型能力包括高radix交换、可编程流水线、带内遥测和低时延转发。以Teralynx 10为例,它面向25.6Tbps至51.2Tbps交换容量,支持100G/200G/400G/800G端口,常用于叶脊架构的ToR和脊交换机。做容量设计时,需要关注交换容量、端口配置、缓存大小、ECN阈值和PFC队列数。
OCTEON系列是DPU和嵌入式处理器,定位在服务器端点侧。它可以把OVS虚拟交换、IPsec/TLS加解密、NVMe-oF存储前端、RDMA连接管理等任务从CPU卸载到DPU,从而释放主机算力。OCTEON的选型关键在核数、加速引擎、PCIe通道、网络接口速率和内存带宽。FastLinQ网卡则更偏向传统服务器接入,支持25G/50G/100G以太网,具备iWARP/RoCEv2、SR-IOV和VXLAN卸载能力。
Alaska PHY/Retimer解决的是信号完整性问题。当SerDes速率从25G PAM4提升到112G PAM4时,通道损耗、串扰和反射会显著恶化。Retimer通过重定时和均衡恢复信号眼图,使交换机面板端口和背板链路能够稳定工作。容量设计时,如果忽略PHY/Retimer的功耗和时延,可能导致端口无法全速上线或散热超标。
性能优化与容量设计的核心挑战
第一个挑战是吞吐与PPS。交换机标称交换容量通常按大包线速计算,但真实AI流量中大量是64B~256B小包。此时PPS成为瓶颈,需要关注芯片的包处理引擎、表项查找和缓存带宽。例如,51.2Tbps交换容量在64B小包下理论PPS约为51.2T/(64+20+8)×8≈76.2亿PPS,实际还要扣除前导码、IFG和内部开销。
第二个挑战是时延与抖动。AI训练对尾时延敏感,一次AllReduce同步可能被最慢的一条流拖累。优化手段包括:启用ECN进行端到端拥塞标记、使用DCQCN或Swift类拥塞控制、合理设置PFC阈值避免反压扩散、以及通过遥测定位微突发。容量设计时,不能只看平均带宽,还要看突发吸收能力。
第三个挑战是缓存与无损网络。RoCEv2要求无损,PFC和ECN配置不当会导致死锁或吞吐骤降。典型做法是:为RoCE流量分配独立队列,设置ECN标记阈值(如Kmin=150KB,Kmax=1500KB,Pmax=10%),PFC触发阈值高于ECN阈值,形成“先ECN后PFC”的梯度。缓存总量、共享池和队列阈值需要根据端口数和流量模型计算。
第四个挑战是端口密度与功耗。800G端口普及后,单芯片功耗和面板密度成为机房供电与散热的硬约束。容量设计需要同时考虑:交换机U数、每U端口数、光模块功耗、风冷/液冷方案、以及Retimer带来的额外功耗。一个51.2Tbps交换机若配置64个800G端口,光模块功耗可能超过芯片本身,必须纳入总拥有成本。
一个简单的容量估算示例
假设要设计一个AI训练集群的叶脊网络,共256台GPU服务器,每台服务器2个400G网卡,采用叶脊架构,收敛比1:1。则接入总带宽为256×2×400G=204.8Tbps。若每台叶交换机配置32个400G下行端口和32个400G上行端口,则单台叶交换机交换容量需≥25.6Tbps。脊交换机数量按叶交换机上行端口总数除以脊交换机下行端口数计算。若脊交换机为64端口400G,则脊交换机数量=叶交换机数量×32/64。这个估算过程会在后续容量设计章节中进一步细化,包括收敛比、超订、故障冗余和升级余量。
本节建立了Marvell数据中心网络的全景认知:交换侧Teralynx、端点侧OCTEON/FastLinQ、物理层Alaska PHY/Retimer,以及贯穿始终的性能与容量挑战。接下来将从指标体系和测量方法开始,逐步进入可执行的优化与设计环节。