2. Linux内核协议栈概览：从socket到网卡的数据流路径

网络数据在Linux内核中的旅程，是一条从用户态Socket抽象层出发，穿越传输层、网络层、数据链路层，最终抵达物理网卡(NIC)的精密流水线。理解这条路径上的每一层职责、关键数据结构以及钩子点，是使用ftrace与perf进行性能定位的基石。

2.1 总体架构与分层模型

Linux网络协议栈严格遵循OSI模型的简化分层，但在实现上更贴近TCP/IP四层模型。数据在发送(Tx)路径上从上往下逐层封装头部，在接收(Rx)路径上从下往上逐层解析头部。

2.2 关键数据结构：sk_buff 与 sock

协议栈的运转围绕两个核心数据结构展开：struct sk_buff（报文缓冲区）和 struct sock（套接字控制块）。它们是ftrace追踪和perf分析中最常关注的“数据载体”。

2.3 发送路径（Tx）逐层详解

发送路径是性能优化的重点，因为它通常处于进程上下文，直接受应用程序行为影响。以下是标准发送路径的步骤分解：

1. 系统调用入口： 应用程序调用 sendmsg()，进入内核 sys_sendmsg()，将用户态数据拷贝到内核态 sk_buff 中。
2. Socket层： sock_sendmsg() 根据 socket 类型分发到 tcp_sendmsg() 或 udp_sendmsg()。
3. TCP处理（面向连接）： 将数据追加到 sk_write_queue，执行拥塞控制（如BBR/CUBIC），构造TCP头，计算校验和。如果启用了TSO，则在此层进行延迟分段。
4. IP层： ip_local_out() 调用 __ip_local_out()，执行路由查找（FIB表），填充IP头。经过 NF_INET_LOCAL_OUT Netfilter钩子。
5. 邻居子系统： 通过路由结果获取下一跳MAC地址，触发ARP/ND解析（如果缓存未命中）。
6. 流量控制层： dev_queue_xmit() 将 sk_buff 入队到对应网卡的 Qdisc。默认pfifo_fast队列，或自定义HTB/TBF等。
7. 驱动层： 出队后调用 ndo_start_xmit()，将 sk_buff 映射到DMA区域，触发网卡硬件发送。

2.4 接收路径（Rx）逐层详解

接收路径通常由硬件中断驱动，涉及中断上下文和软中断(SoftIRQ)的切换，是性能问题的多发区。

• 硬件中断： 网卡收到数据包，通过DMA写入内存环形缓冲区(Ring Buffer)，触发硬件中断（IRQ）。
• NAPI轮询： 中断处理函数调度NAPI，关闭中断并进入轮询模式，调用 poll() 方法从Ring Buffer批量收取数据包。
• 链路层处理： netif_receive_skb() 或 __netif_receive_skb_core()，处理VLAN标签、RPS/RFS分发、抓包点（tcpdump）。
• IP层： ip_rcv() 校验IP头，经过 NF_INET_PRE_ROUTING Netfilter钩子，进行路由查找，决定是本地交付还是转发。
• 传输层： 本地交付的包进入 tcp_v4_rcv() 或 udp_rcv()，查找对应的 sock，将数据放入 sk_receive_queue。
• 唤醒用户进程： 数据入队后，唤醒等待在socket上的用户进程（epoll/poll/select），完成一次数据交付。

2.5 协议栈卸载技术（Offload）

现代网卡支持将部分协议栈处理卸载到硬件，以降低CPU占用。这些卸载特性直接影响ftrace追踪到的函数调用模式。

2.6 性能定位切入点总结

基于上述数据流路径，我们可以将性能问题定位到具体层次：

• 应用层/系统调用层： 关注 sys_sendmsg 和 sys_recvmsg 的耗时，通常与 copy_from_user 或 futex 锁有关。
• 传输层： 关注 tcp_sendmsg 中的 sk_stream_wait_memory（发送缓冲区满）或 tcp_rcv_established 中的处理逻辑。
• 网络层： 关注 ip_route_output_key 路由查找耗时，以及Netfilter规则匹配开销。
• 链路层： 关注 __dev_queue_xmit 中的 qdisc_run 和 pfifo_fast_dequeue，队列锁竞争是常见瓶颈。
• 驱动层： 关注 ndo_start_xmit 和NAPI poll 函数的执行时间，以及DMA映射开销。