2. 数据中心业务流量与交换需求建模

要对数据中心光交换系统做容量规划,第一步不是选设备,而是把业务流量讲清楚。数据中心内部同时存在两类方向完全不同的流量:南北向流量(North-South)指数据中心与外部用户、互联网或其它数据中心之间的进出流量,典型路径是"客户端 → 边界路由器 → 负载均衡 → 服务器";东西向流量(East-West)指数据中心内部服务器之间、机架之间、Pod 之间的横向流量,典型来源是分布式存储副本同步、MapReduce/Spark 的 Shuffle、微服务调用链、AI 训练的参数同步(AllReduce)。在现代云和 AI 数据中心里,东西向流量通常占 70%~90%,这正是光交换最值得投入的方向。

两类流量的建模方式不同。南北向流量更接近"用户请求数 × 平均响应字节数"的聚合模型,具有明显的日周期(白天高、夜间低),峰值与均值比常在 2~4 之间;东西向流量则呈现重尾分布:少数"大象流"(Elephant Flow)贡献了大部分字节数,而大量"老鼠流"(Mice Flow)数量多但字节占比小。经验上,约 1%~10% 的流可能承载 80% 以上的字节量。大象流持续时间长、带宽需求大(如 10 Gbps~100 Gbps 量级),适合被调度到独立的大带宽光通道上;老鼠流数量巨大、时延敏感,更适合由电分组交换快速转发。

突发性是另一个必须建模的维度。业务流量在毫秒到秒级尺度上会出现尖峰,例如存储副本重建、模型 checkpoint 写入、批量任务同时启动。突发导致瞬时链路利用率远超平均值,如果按平均流量配置网络,突发时就会丢包或排队时延激增。因此容量规划通常使用峰值速率而非平均速率,并引入突发因子 B = 峰值速率 / 平均速率作为设计输入。

收敛比(Oversubscription Ratio,超订比)是描述"下行带宽之和 : 上行带宽"的核心参数。定义:若一个接入层交换机有 N 个 25 Gbps 下行端口接入服务器,上行只有 M 个 100 Gbps 端口,则收敛比 = (N×25) : (M×100)。例如 N=48、M=4,下行 1200 Gbps、上行 400 Gbps,收敛比 3:1。收敛比越大,越省钱,但突发时越容易拥塞。传统三层 CLOS 架构常用 3:1 到 6:1,AI 训练集群则趋向 1:1 甚至 1:0.8(上行大于下行),因为 AllReduce 需要全带宽对称通信。

核心判断:收敛比是"用统计复用换成本"的手段。它成立的前提是——并非所有下行端口同时满速。一旦业务模式变成"所有节点同时全速互传"(典型如分布式训练、大规模 Shuffle),收敛比就必须收紧,否则排队时延和丢包会直接拖垮作业完成时间。

把上述特征放到光交换的适配场景里,可以形成清晰的判断逻辑。光交换(OXC/光电路交换)的优势是大带宽、低时延、低功耗、协议透明,劣势是切换慢(毫秒到秒级)、粒度粗(波长或光纤级)、无包级缓存。因此它天然适合承载"大、稳、长"的流量,而不适合"小、碎、突发"的流量。具体来说:

  • 适合光交换:跨 Pod 的大象流、存储副本同步、AI 训练集合通信、备份/迁移等可预测的大批量传输。这些流量持续时间长(秒级以上),带宽需求大,允许毫秒级建立时间。
  • 不适合纯光交换:微服务 RPC、数据库短查询、DNS、心跳等老鼠流。它们时延敏感、包级突发,需要电交换的统计复用和缓存。
  • 混合架构:电分组交换承载老鼠流和突发,光电路交换承载大象流,两者通过统一的流量调度器协同。这也是当前光电混合数据中心的主流思路。

下面这张图把"流量特征 → 收敛比约束 → 交换方式选择"的映射关系整理成一张判断图,便于在规划时快速定位某类流量应该走电交换还是光交换。

数据中心流量特征 → 收敛比约束 → 交换方式适配 南北向流量 用户 ↔ 数据中心 日周期明显 峰值/均值 ≈ 2~4 聚合模型可预测 占比约 10%~30% 东西向流量 服务器 ↔ 服务器 重尾分布 大象流 + 老鼠流 突发因子高 占比约 70%~90% 光交换主战场 收敛比 (Oversubscription) = 下行带宽总和 : 上行带宽总和 示例:48×25G ↓ / 4×100G ↑ = 1200 : 400 = 3 : 1 传统 CLOS:3:1 ~ 6:1 AI 训练集群:1:1 ~ 1:0.8 收敛比越大 → 越省钱 → 越易拥塞 电分组交换 包级转发 · 统计复用 缓存吸收突发 适合:老鼠流 / 短查询 微服务 RPC / 心跳 时延敏感 · 粒度细 光电路交换 (OCS) 波长/光纤级 · 大带宽 低时延 · 低功耗 适合:大象流 / 存储同步 AI AllReduce / 备份迁移 切换 ms~s 级 · 无包缓存 需与电交换混合组网 混合组网原则 电交换兜底突发与老鼠流 光交换卸载大象流与长连接

把这张图落到具体规划动作上,可以按以下顺序推进。第一步,采集流量数据:在 ToR 上行、Spine 下行、边界出口分别做 NetFlow/sFlow 采样,统计流的字节数分布、持续时间分布、峰值速率和日周期曲线。第二步,区分流量类型:按"字节数 / 流数"的累积分布曲线(CDF)划分大象流阈值,例如取字节数前 5% 的流定义为大象流,统计其总字节占比和平均持续时间。第三步,计算收敛比需求:对东西向流量,若大象流占比高且持续时间长,收敛比应取 1:1 或更小;若以老鼠流为主,可放宽到 3:1。第四步,做光交换适配判断:对满足"持续时间 > 100 ms、带宽需求 > 1 Gbps、可容忍建立时延"的流,标记为光交换候选;其余走电交换。第五步,验证:用仿真或小规模试点,观察光通道建立成功率、大象流完成时间、电交换队列深度是否在可接受范围。

一个实用的经验判据:如果某类流量的"平均持续时间 × 平均带宽"远大于光交换切换时间(例如持续 10 s、带宽 10 Gbps,而切换仅 10 ms),那么光交换的切换开销可以忽略,适配性就很好。反之,若流量持续仅几毫秒,光交换还没来得及建立连接就已经结束,就不适合。

需要强调的是,收敛比不是越低越好。1:1 收敛比意味着上行带宽等于下行带宽,成本会显著上升。合理的做法是:对时延不敏感、可容忍排队的业务(如离线备份、日志归档)保留较高收敛比;对时延敏感、同步性强的业务(如分布式训练、在线交易)采用低收敛比甚至光直连。光交换的价值恰恰在于——它可以用较低的成本,为少数关键大象流提供接近 1:1 的带宽体验,而不必让整个网络都按 1:1 建设。

最后给出一个可参考的建模参数表,用于把上述定性判断转成可计算的输入。表中数值为示例假设,实际项目应以采集数据为准。

流量类型 典型占比 峰值/均值 建议收敛比 交换方式
南北向 Web/API 10%~20% 2~4 3:1 ~ 6:1 电分组交换
东西向微服务 RPC 20%~40% 3~5 3:1 电分组交换
存储副本同步 10%~20% 1.5~2 1:1 ~ 2:1 光电路交换
AI 训练 AllReduce 10%~30% 1.2~2 1:1 ~ 1:0.8 光电路交换
备份/迁移 5%~15% 1~1.5 2:1 ~ 4:1 光电路交换(可调度)

总结本节的核心逻辑:先分清南北向与东西向,再识别大象流与老鼠流,用突发因子和收敛比量化需求,最后按"大、稳、长走光,小、碎、急走电"的原则做交换方式适配。这套建模方法不依赖具体厂商设备,是后续光交换网络设计、波长规划和调度算法的基础输入。