📚 课程目录第2章网络接口驱动基础

Linux TCP通信性能优化与网络瓶颈诊断 - 第2节

2.1 网卡（NIC）工作原理

网络接口卡（Network Interface Card, NIC）是主机与物理网络之间的硬件桥梁。在TCP通信性能调优中，理解NIC的内部工作方式是优化驱动和协议栈的基础。

2.1.1 NIC核心功能模型

下图展示了现代千兆/万兆网卡在接收路径上的核心功能模块与数据流向：

2.1.2 关键性能指标

指标	千兆网卡典型值	万兆网卡典型值	调优关注点
线速（Line Rate）	1 Gbps	10 Gbps	驱动与硬件是否支持线速转发
RX/TX 队列数	4 ~ 8	16 ~ 64	队列数与 CPU 核数的匹配
最大 MTU	1500 字节（标准）	9000 字节（巨型帧）	巨型帧可降低 CPU 开销
中断合并超时	125 μs（典型）	10 ~ 50 μs	延迟与吞吐量的平衡

调优提示： 在万兆及以上速率场景中，网卡硬件卸载能力（如 TSO/GRO/LRO）对 CPU 占用率影响极大。建议在驱动加载时通过 ethtool -K 确认卸载特性是否开启。

2.2 DMA 与中断机制

2.2.1 DMA（直接内存访问）

DMA 允许网卡绕过 CPU，直接将数据写入主机内存。在传统 PIO（Programmed I/O）模式下，每个数据包都需要 CPU 参与搬运，而 DMA 将 CPU 从数据拷贝中解放出来。

DMA 传输流程

描述符准备： 驱动在内存中分配 DMA 缓冲区，并将物理地址写入网卡描述符环。
硬件写入： 网卡收到数据包后，通过总线主控 DMA 将数据写入预先指定的内存地址。
完成通知： 网卡更新描述符状态位，触发中断或更新 NAPI 轮询标志。
驱动处理： 驱动读取描述符，获取数据包长度和状态，将缓冲区上送至协议栈。

  性能关键点： DMA 缓冲区的大小和数量直接影响吞吐量。缓冲区过小会导致频繁的 DMA 描述符耗尽；缓冲区过大则浪费内存并增加 cache miss。建议每个队列配置 256 ~ 1024 个描述符。

2.2.2 中断机制与 MSI-X

传统网卡使用共享 IRQ（中断请求线），所有队列共用一条中断线。现代网卡支持 MSI-X（Message Signaled Interrupts eXtended），每个 RX/TX 队列可以绑定独立的中断向量，从而实现中断的 CPU 亲和性。

中断类型	特点	适用场景
传统 IRQ 共享	所有队列共用一条中断线，CPU 负载不均衡	低吞吐、单核环境
MSI	每个设备可分配多个中断向量，但数量有限	中等负载，4~8 队列
MSI-X	每个队列独立中断向量，支持 CPU 亲和性绑定	高吞吐、多队列、多核调优

2.2.3 中断合并（Interrupt Coalescing）

中断合并通过延迟中断触发，将多个数据包合并为一次中断，降低中断频率。但过度合并会增加延迟。

2.3 Ring Buffer（环形缓冲区）结构

Ring Buffer 是网卡驱动与硬件之间交换数据包描述符的核心数据结构。它本质上是一个固定大小的循环队列，由驱动和硬件共同维护。

2.3.1 环形缓冲区工作原理

2.3.2 描述符结构

每个 Ring Buffer 槽位包含一个描述符（Descriptor），描述符中记录了数据包缓冲区的物理地址、长度、状态标志等信息。以下是典型的 RX 描述符结构：

struct rx_desc {
    __le64 addr;        // 数据缓冲区物理地址（DMA 地址）
    __le16 length;      // 数据包实际长度（由硬件写入）
    __le16 csum;        // 硬件校验和状态
    __le16 vlan_tag;    // VLAN 标签（可选）
    __le8  status;      // 状态标志：完成、错误等
    __le8  errors;      // 错误类型
    __le16 reserved;    // 保留字段
} __attribute__((packed));

常见陷阱： 描述符的 addr 字段必须指向 DMA 可访问的物理地址，不能使用虚拟地址。驱动在分配缓冲区时需使用 dma_alloc_coherent() 或 dma_map_single() 确保地址正确。

2.4 NAPI（New API）轮询机制

2.4.1 从纯中断到 NAPI

传统中断驱动模式下，每个数据包都触发中断，在高吞吐场景下会导致 中断风暴（Interrupt Storm），CPU 被中断处理完全占据，无法处理其他任务。NAPI 通过混合中断+轮询的方式解决了这一问题。

特性	纯中断模式	NAPI 模式
中断频率	每个数据包一次中断	仅在开始轮询时触发一次中断
CPU 占用率	高（中断上下文开销大）	低（轮询阶段在软中断上下文）
吞吐量上限	受限于中断处理能力	可线速处理（万兆及以上）
延迟抖动	低（立即响应）	略高（轮询间隔引入微抖动）
适用场景	低吞吐、延迟敏感	高吞吐、批量处理

2.4.2 NAPI 工作流程

2.4.3 NAPI 关键参数

参数	含义	调优建议
`weight`	每次 poll() 最多处理的数据包数量	默认 64；万兆场景可增至 128~256
`budget`	每个 CPU 软中断周期内所有 NAPI 实例的总处理上限	默认 300；高吞吐场景可增至 600~1000
`gro_flush_timeout`	GRO（通用接收卸载）刷新超时	默认 1ms；延迟敏感场景设为 0

  性能调优案例： 在某 10Gbps 转发场景中，将 NAPI weight 从 64 提升至 128，同时将 budget 从 300 提升至 600，吞吐量从 7.2 Gbps 提升至 9.5 Gbps，CPU 占用率从 85% 降至 62%。核心原因是减少了中断重新开启的次数，提高了批量处理效率。

2.4.4 NAPI 与 GRO 的协同

GRO（Generic Receive Offload）在 NAPI 的 poll() 函数中工作，将多个连续的小包合并为一个大的 sk_buff，减少协议栈处理次数。GRO 的合并策略基于以下条件：

IP 源/目的地址相同
TCP/UDP 源/目的端口相同
IP 标识连续（IP ID 递增）
时间戳在允许的合并窗口内

注意： GRO 合并后的数据包在协议栈中表现为一个大包，但实际网络传输仍然是多个小包。如果应用层依赖精确的包边界（如某些深度包检测 DPI 系统），需要谨慎启用 GRO。

2.5 本章小结

本章涵盖了网卡驱动性能调优的四个基础模块：

NIC 工作原理： 物理层→MAC→DMA→中断的完整数据路径
DMA 与中断： DMA 解放 CPU，MSI-X 实现队列亲和性，中断合并平衡延迟与吞吐
Ring Buffer： 描述符环是驱动与硬件的通信契约，其大小直接影响丢包率
NAPI 轮询： 混合中断+轮询机制，是高吞吐场景的必备技术