3、SO_REUSEPORT 原理：从单点争抢到多核并行

各位好，我是老赵。今天咱们聊聊 SO_REUSEPORT 这个选项。说实话，我第一次接触它是在一个高并发网关项目里，当时线上服务一到晚高峰就出现连接抖动，排查下来发现是单进程 accept 成了瓶颈。后来引入 SO_REUSEPORT，问题迎刃而解。嗯，今天就把这个“神器”的原理掰开揉碎讲清楚。

3.1 SO_REUSEPORT 到底解决了什么问题？

先看一个经典场景。传统 TCP 服务端，多个子进程或线程共享一个监听 socket，通过 accept 竞争获取新连接。你想想看，内核里有一个全局的 accept 队列，所有 worker 线程都去抢这个队列的锁。高并发下，锁争抢非常严重，CPU 大量浪费在自旋上。

SO_REUSEPORT 的出现，就是为了打破这个局面。它允许同一主机上的多个进程或线程，各自绑定同一个 IP 和端口。每个进程拥有独立的监听 socket，内核在收到新连接时，直接根据负载均衡策略分发给其中一个进程。说白了，就是把一个全局队列拆成多个独立队列，每个进程管自己的，互不干扰。

3.2 多进程/多线程负载均衡机制

内核是怎么做负载均衡的？我简单画个图你就明白了。

内核分发策略其实很简单。Linux 3.9 之后，默认使用源 IP + 源端口做哈希，然后对进程数取模。这样同一个客户端的所有连接，大概率落到同一个进程上。好处很明显——CPU 缓存亲和性更好，连接上下文不用跨核迁移。

3.3 SO_REUSEPORT 与 SO_REUSEADDR 的区别

这两个名字很像，但用途天差地别。很多新手容易搞混，我专门列个表对比一下。

对比维度	SO_REUSEADDR	SO_REUSEPORT
核心目的	允许重用 TIME_WAIT 状态的地址	允许多个进程绑定同一端口
适用场景	快速重启服务、避免 bind 失败	多进程/多线程负载均衡
内核版本	所有版本支持	Linux 3.9+
安全限制	无特殊限制	需相同 UID 或 CAP_NET_BIND_SERVICE
负载均衡	不支持	内核自动分发

简单总结一下：

• SO_REUSEADDR 解决的是“地址被占用”的问题。比如服务挂了，端口还在 TIME_WAIT 状态，设置这个选项就能立刻重启绑定。
• SO_REUSEPORT 解决的是“多进程共享端口”的问题。每个进程独立监听，内核帮你做负载均衡。

3.4 代码示例：快速上手 SO_REUSEPORT

光说不练假把式。我写个简单的 C 代码片段，展示如何设置 SO_REUSEPORT。

#include <sys/socket.h>
#include <netinet/in.h>

int main() {
    int sock = socket(AF_INET, SOCK_STREAM, 0);
    int optval = 1;

    // 设置 SO_REUSEPORT
    if (setsockopt(sock, SOL_SOCKET, SO_REUSEPORT, 
                   &optval, sizeof(optval)) < 0) {
        perror("setsockopt SO_REUSEPORT");
        return -1;
    }

    struct sockaddr_in addr;
    addr.sin_family = AF_INET;
    addr.sin_port = htons(8080);
    addr.sin_addr.s_addr = INADDR_ANY;

    if (bind(sock, (struct sockaddr*)&addr, sizeof(addr)) < 0) {
        perror("bind");
        return -1;
    }

    listen(sock, 128);
    // 每个进程独立 accept
    while (1) {
        int client = accept(sock, NULL, NULL);
        // 处理连接...
    }
}

你想想看，多个进程跑同样的代码，每个进程都 bind 同一个 IP:端口。内核收到新连接后，根据哈希选择一个进程的 socket 放入其 accept 队列。每个进程只处理自己的队列，完全不需要加锁。

3.5 避坑指南

最后分享几个我踩过的坑：

• 惊群效应：虽然 SO_REUSEPORT 减少了锁竞争，但如果进程数超过 CPU 核数，内核分发反而可能导致上下文切换增加。我建议进程数不超过 CPU 物理核数。
• 连接倾斜：哈希分发不是绝对均匀的。如果某个客户端产生大量短连接，可能集中到同一个进程。可以配合 SO_ATTACH_REUSEPORT_CBPF 自定义分发策略。
• 旧内核兼容：如果部署环境有 Linux 3.9 以下的机器，SO_REUSEPORT 会返回 ENOPROTOOPT。记得做 fallback 处理。