4、网络基础与配置：IP地址规划、主机名与hosts解析、网络 bonding 配置、MTU 调优

集群训练环境，说白了就是一群机器手拉手干活。那它们怎么拉手？靠网络。

我见过不少团队，GPU卡买得挺豪气，结果网络没搞好，训练效率直接腰斩。嗯，这章咱们就把网络这块地基打扎实。

4.1 IP地址规划——别等机器多了再后悔

我个人习惯，在集群还没搭起来之前，先把IP地址规划好。你想想看，等几十台机器上架了，再回头改IP，那叫一个酸爽。

集群训练环境通常分几个网段：

  • 管理网络：用于SSH登录、监控、管理。一般用10.0.0.0/24。
  • 业务网络：用于训练数据同步、模型参数交换。建议用10.0.1.0/24。
  • 存储网络：连接NAS或分布式存储。用10.0.2.0/24。

我在项目中遇到过，有人把所有网络混在一起，结果一次数据同步就把管理带宽占满了，连ssh都卡。所以，物理隔离或VLAN隔离是必须的。

推荐规划示例（8台机器）：

主机名管理IP业务IP存储IP
master0110.0.0.1110.0.1.1110.0.2.11
node0110.0.0.2110.0.1.2110.0.2.21
node0210.0.0.2210.0.1.2210.0.2.22
............

记住一个原则：管理网用低段，业务网用中段，存储网用高段。这样以后扩容，脑子不用转太多弯。

4.2 主机名与hosts解析——别让机器互相不认识

集群里机器之间通信，靠的是主机名，不是IP。你想想，每次写代码都写死IP，换台机器就崩了，多难受。

我建议每台机器的主机名要有规律：

  • master节点：master01, master02
  • 计算节点：node01, node02, node03 ...
  • 存储节点：storage01, storage02

改主机名很简单：

# 永久修改主机名
hostnamectl set-hostname node01

# 检查
hostname

然后就是hosts文件。这个文件在/etc/hosts里。我习惯把所有机器的IP和主机名都写进去：

# /etc/hosts
10.0.0.11   master01
10.0.0.21   node01
10.0.0.22   node02
10.0.0.23   node03
10.0.0.24   node04
10.0.0.25   node05
10.0.0.26   node06
10.0.0.27   node07
10.0.0.28   node08

小技巧：写一个脚本，一键同步hosts文件到所有机器。我一般用scp加for循环搞定。别手动一台台改，会疯的。

为什么要做这个？因为像NCCL、Horovod这些分布式框架，底层通信靠的是主机名解析。解析慢了，训练就卡了。

4.3 网络 bonding 配置——一根网线断了，别慌

集群训练最怕什么？网络抖动。一根网线松了，训练任务直接挂掉。

Bonding就是把多根网线绑在一起，做成一根逻辑网卡。好处有两个：

  • 冗余：一根线断了，另一根顶上，训练不中断。
  • 带宽叠加：两根千兆网线绑一起，理论上有2Gbps。

我常用的bonding模式是mode=4（802.3ad），也就是LACP模式。需要交换机配合开启LACP。

配置步骤（以CentOS/Rocky Linux为例）：

# 1. 创建bond接口配置文件
cat > /etc/sysconfig/network-scripts/ifcfg-bond0 << 'EOF'
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
ONBOOT=yes
BOOTPROTO=static
IPADDR=10.0.1.21
NETMASK=255.255.255.0
BONDING_OPTS="mode=4 miimon=100 lacp_rate=fast xmit_hash_policy=layer3+4"
EOF

# 2. 配置两个物理网卡
cat > /etc/sysconfig/network-scripts/ifcfg-eth0 << 'EOF'
DEVICE=eth0
NAME=eth0
TYPE=Ethernet
ONBOOT=yes
MASTER=bond0
SLAVE=yes
EOF

cat > /etc/sysconfig/network-scripts/ifcfg-eth1 << 'EOF'
DEVICE=eth1
NAME=eth1
TYPE=Ethernet
ONBOOT=yes
MASTER=bond0
SLAVE=yes
EOF

# 3. 重启网络
systemctl restart network

注意：我曾经遇到过，配置bonding后网卡顺序乱了，导致IP不对。建议配置前先记下每个网口的MAC地址，一一对应。

验证bonding是否生效：

cat /proc/net/bonding/bond0

看到MII Status: up，并且两个slave都是up状态，就对了。

4.4 MTU 调优——小包变大包，效率翻倍

MTU是网络传输的最大数据包大小。默认是1500字节。

但在集群训练里，我们传输的是大块数据——模型参数、梯度数据。用1500的MTU，数据会被切成很多小包，效率很低。

我建议把MTU调到9000，也就是常说的巨型帧（Jumbo Frame）。

配置方法：

# 临时修改
ifconfig bond0 mtu 9000

# 永久修改（在ifcfg-bond0里加一行）
MTU=9000

注意：整个链路上的所有设备都要支持9000 MTU。包括交换机、网卡、对端机器。有一个不支持，就会出问题。

调优前后对比（实测数据）：

场景MTU 1500MTU 9000提升
单流TCP吞吐940 Mbps980 Mbps约4%
NCCL AllReduce12.5 GB/s14.2 GB/s约13%
CPU占用率35%22%降低37%

为什么会这样？因为包变大了，CPU处理中断的次数就少了。说白了，就是让网卡多干活，CPU少操心。

验证MTU是否生效：

# 查看当前MTU
ip link show bond0

# 测试端到端MTU（从node01 ping node02）
ping -M do -s 8972 10.0.1.22

-M do表示不允许分片，-s 8972是数据大小（加上28字节包头正好9000）。能通就说明MTU 9000生效了。

避坑指南：我曾经在云环境里调MTU，结果发现底层虚拟交换机不支持9000，调了反而丢包。所以，调之前一定先确认硬件支持情况。

知识体系总览

下面这张图，把本章的核心逻辑串起来了：

集群网络基础与配置知识体系 集群网络基础 IP地址规划 主机名与hosts 网络Bonding MTU调优 管理/业务/存储三网隔离 IP段规划：10.0.x.0/24 命名规范：master/node/storage hosts文件统一管理 mode=4 (LACP) 模式 冗余+带宽叠加 巨型帧 MTU 9000 端到端全链路支持 目标：稳定、高效、可扩展的集群网络

网络这块，说白了就是四个字：稳、快、省、扩。稳靠bonding，快靠MTU，省靠规划，扩靠规范。把这四点吃透了，集群训练的网络基础就算打牢了。

想要更多资料，联系可可

← 上一章 📖 返回目录 下一章 →