VIP20
本课程属于：031-英伟达Mellanox高速网络 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买
知脉学社
把知识变为收入

《服务器25G SFP28高速内网搭建教程》

从网卡选型到25G SFP28内网全链路搭建，涵盖Mellanox/Chelsio网卡配置、RoCEv2与iSCSI部署、线缆兼容性排查及iperf/rdma性能调优，实现工业

课程规模
图文体系
30个系统小节
总字数约 9.5 万字，配套3张动态热点交互图表、12张矢量图、23个表格
适宜人群
人群定位
有项目经验的工程师
调试优化人员
架构与性能提升需求人群
资料特色
内容特色
调试现场、性能瓶颈、架构边界和稳定性交付分层处理
包含排障链路、参数取舍、验证表格和工程复盘
强调定位问题、优化方案和提升交付稳定性
学习收获
落地结果
形成调试排障和架构优化思路
看懂性能、稳定性和边界问题的判断方法
提升复杂项目定位、复盘和交付能力
阶段 01 · 第 01-05 节

基础认知篇

基础认知篇：从网卡固件到驱动编译，扫清硬件选型与兼容性盲区

01
课程导论：25G SFP28内网场景、硬件选型与工程边界
  • 模块边界收敛
  • 25G内网适用场景
  • 课程导论
执行清单
02
Mellanox ConnectX-4 Lx网卡固件刷新与FW模式切换
  • mlxup工具刷新固
  • 切换Eth
  • 确保网卡处于25G就
执行清单
03
SFP28光模块与DAC线缆兼容性排查及固件锁定
  • 关键对象
  • 使用ethtool
  • 锁定兼容固件版本避免
执行清单
04
PCIe Gen3 x8链路协商与带宽瓶颈定位
  • 通过lspci
  • 排查主板插槽
  • PCIe
执行清单
05
Linux内核核心驱动编译与参数调优
  • 编译适配内核的核心驱
  • 参数配置项
  • 关键对象
参数
阶段 02 · 第 06-10 节

核心机制篇

核心机制篇：链路协商、巨型帧、多队列与RoCEv2协议栈，吃透25G底层原理

06
G链路协商状态检查与FEC模式配置
  • mode
  • 参数配置项
  • 执行步骤链
配置
07
MTU 9000巨型帧端到端配置与路径MTU发现
  • 统一交换机
  • 端到端巨型帧无分片传
  • 参数配置项
配置
08
iperf3 TCP / UDP吞吐测试与单流瓶颈分析
  • 关键对象
  • 分析CPU中断亲
  • iperf3
执行清单
09
多队列RSS与XPS / TXQUEUE绑定提升并发性能
  • 参数配置项
  • 队列水位
  • 操作清单
配置
10
RDMA over Converged Ethernet (RoCEv2) 协议栈部署
  • DMA缓冲队列
  • 参数配置项
  • RDMA
配置
阶段 03 · 第 11-15 节

工程实现篇

工程实现篇：PFC流控、NVMe-oF、iSCSI MPIO、SMB Direct

11
RoCEv2 PFC优先级流控与DCQCN拥塞控制调优
  • 参数配置项
  • 降低RoCE丢包
  • RoCEv2
配置
12
perftest (ib_send_bw / ib_write_bw) 带宽与延迟基准测试
  • 运行perftest
  • 下的带宽与延迟基线
  • perftest
执行清单
13
NVMe over Fabrics (NVMe-oF) 目标端与发起端配置
  • 参数配置项
  • 发起端连接并识别远程
  • NVMe
配置
14
iSCSI over 25G 多路径 (MPIO) 与会话绑定
  • 参数配置项
  • 负载均衡
  • 执行步骤链
配置
15
SMB Direct (SMB3 over RDMA) 在Samba上的启用
  • DMA缓冲队列
  • 性能取舍表
  • Direct
执行清单
阶段 04 · 第 16-20 节

调试验证篇

调试验证篇：Bonding、MLAG、DPDK、OVS-DPDK、容器网卡直通，覆盖

16
Linux Bonding (802.3ad) 与25G双网卡链路聚合
  • 参数配置项
  • 错误码定位
  • Linux
配置
17
交换机MLAG / VPC配置与25G端口成员端口调优
  • 参数配置项
  • 确保双归服务器无环路
  • 执行步骤链
配置
18
DPDK 20.11 环境搭建与testpmd转发性能验证
  • 编译DPDK并绑定m
  • 运行testpmd测
  • DPDK
执行清单
19
OVS-DPDK 集成与25G vSwitch数据面加速
  • 编译OVS并启用DP
  • 虚拟机间25G线速转
  • OVS-DPDK
执行清单
20
容器网络 (Macvlan / IPVLAN) 直通25G网卡性能对比
  • 对比Macvlan
  • 容器网络
  • 关键对象
执行清单
阶段 05 · 第 21-25 节

高级专题篇

高级专题篇：SR-IOV、丢包定位、TCP重传、CNP风暴、混合组网，专治各种疑难杂

21
SR-IOV VF分配与VF流控 (QoS) 配置
  • 启用SR-IOV创建
  • 分配VF给虚拟机并设
  • 参数配置项
配置
22
G链路丢包定位：CRC错误、链路抖动与FCS统计
  • CRC错误
  • 使用ethtool
  • 关键对象
日志
23
TCP重传与零窗口故障排查 (tcpdump + wireshark)
  • 重传模式与窗口关闭
  • DMA缓冲队列
  • 错误码定位
执行清单
24
RoCEv2 CNP (Congestion Notification Packet) 风暴处理
  • 监控CNP包速率
  • 参数配置项
  • RoCEv2
参数
25
G内网与10G / 1G混合组网速率协商与降速规避
  • 参数配置项
  • 避免混合组网降速
  • 25G内网
配置
阶段 06 · 第 26-30 节

项目收束篇

项目收束篇：K8s集成、Prometheus监控、Ansible自动化、成本选型、综

26
Mellanox NEO (NVIDIA Ethernet Operator) 在K8s上的部署
  • 在Kubernete
  • 参数配置项
  • Mellanox
配置
27
G内网监控：Prometheus + 节点 网卡指标采集
  • 指标判断
  • 参数配置项
  • Grafana展示吞
配置
28
Ansible自动化批量部署25G网卡配置与固件升级
  • 编写Ansible
  • 参数配置项
  • 执行步骤链
配置
29
G内网成本优化：DAC vs AOC vs LR4光模块选型对比
  • 关键对象
  • 根据距离
  • 给出工程选型建议
执行清单
30
综合实战：搭建25G RoCEv2存储集群并完成NVMe-oF性能验收
  • 搭建25G
  • 从零搭建三节点25G
  • 复盘清单
素材清单