📚 课程目录第3章 CDN边缘节点架构设计

3. CDN边缘节点架构设计

CDN边缘节点是离用户最近的一跳，它同时承担TLS握手、HTTP解析、缓存命中判断、回源代理和内容分发等职责。一个设计良好的边缘节点，目标不是“单机性能最强”，而是在给定成本下，让每瓦特、每GB内存、每Gbps带宽能服务尽可能多的并发连接，并保持稳定的尾延迟。本节从硬件、操作系统、网络栈、存储、进程模型五个层面，说明边缘节点的架构设计方法。

一、硬件选型：按角色而非按峰值配置

边缘节点通常分为两类角色：缓存型节点（以静态内容、大文件、视频分片为主）和动态加速型节点（以API、小对象、TLS终结为主）。缓存型节点更依赖磁盘IOPS、内存容量和网卡吞吐；动态型节点更依赖CPU单核性能、内存带宽和连接建立速率。

以一台典型缓存型边缘节点为例，可参考如下配置：2U机架服务器，双路16核CPU（共32核64线程），256GB DDR4内存，2块480GB NVMe SSD做系统盘与日志盘，4块3.84TB SATA SSD做缓存盘，双口25GbE网卡。动态型节点则可降低磁盘容量，提升CPU主频，例如单路24核高主频CPU、128GB内存、2块NVMe、双口25GbE。关键判断依据是：缓存命中率高的节点，磁盘随机读能力决定回源比例；TLS握手密集的节点，CPU单核性能决定握手队列长度。

网卡选型上，25GbE已逐步替代10GbE成为边缘标配，原因不是带宽不够，而是25GbE网卡普遍支持更多的硬件队列和RSS（Receive Side Scaling）通道，能更好地把软中断分散到多核。若节点需要承载大量小包请求，还应关注网卡的PPS（每秒包数）能力，而非仅看带宽。

二、操作系统调优：减少内核路径上的抖动

边缘节点操作系统通常选择精简的Linux发行版，关闭无关服务，使用固定内核版本以减少升级带来的行为变化。调优重点集中在文件描述符、内存回收、网络参数和中断亲和性四方面。

文件描述符方面，单节点承载数十万并发连接时，需调整：

fs.file-max = 2097152
fs.nr_open = 2097152
net.core.somaxconn = 65535
net.ipv4.tcp_max_syn_backlog = 65535

内存回收方面，边缘节点大量使用页缓存存放热点对象，应降低交换倾向并控制脏页回写：

vm.swappiness = 1
vm.dirty_ratio = 10
vm.dirty_background_ratio = 5
vm.overcommit_memory = 1

网络参数方面，需扩大端口范围、启用TIME_WAIT复用、调整本地端口分配：

net.ipv4.ip_local_port_range = 10240 65000
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_fin_timeout = 15
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 65536 16777216

中断亲和性方面，应把网卡队列中断绑定到与业务进程不同的CPU核，避免软中断与用户态进程争抢同一核心。可通过/proc/interrupts查看队列分布，再用smp_affinity逐队列绑定。

三、网络栈优化：从内核转发到用户态加速

传统内核网络栈在10Gbps以上、小包密集场景下会成为瓶颈，主要开销来自系统调用、数据拷贝和协议栈处理。边缘节点常见的优化路径有三条：

内核旁路与零拷贝：使用sendfile()、splice()减少用户态与内核态之间的数据拷贝，静态文件分发优先走零拷贝路径。
多队列与RSS/RPS：让不同连接分散到不同CPU队列，配合SO_REUSEPORT使多个工作进程各自持有独立监听队列，减少锁竞争。
用户态协议栈：在需要极致PPS的场景，可采用DPDK或XDP在驱动层提前过滤、分流，把部分请求直接交给用户态处理。

需要强调的是，用户态加速并非默认选择。它带来运维复杂度、调试困难和生态兼容问题。多数边缘节点通过内核参数调优加SO_REUSEPORT即可满足需求，只有在单机PPS超过数百万时才考虑DPDK类方案。

四、存储分层：内存、SSD与回源的协同

边缘节点的存储不是单一层次，而是“内存—本地SSD—上级节点/源站”的三级结构。热点对象放在内存页缓存或专用内存缓存中，温对象放在本地SSD，冷对象回源或向上级节点请求。

设计要点在于命中率与回源成本的平衡。若把过多对象放入内存，会挤占连接跟踪和TLS会话缓存所需内存；若全部依赖SSD，则随机读延迟和IOPS会成为瓶颈。实践中可按对象大小分层：小于64KB的小对象优先内存缓存，64KB至4MB的对象走SSD，大于4MB的大文件采用分片缓存并配合预取。

缓存淘汰策略上，边缘节点常用LRU与LFU的混合变体，并引入TTL和热度衰减。判断分层是否合理，可观察三个指标：内存命中率、SSD命中率、回源带宽占比。若回源带宽占比持续高于预期，说明缓存容量或淘汰策略需要调整。

五、服务进程模型与高并发处理

边缘节点的服务进程模型直接决定并发能力。常见模型有三种：多进程单线程（如Nginx默认模式）、多进程多线程、单进程事件循环。边缘节点推荐多进程单线程加SO_REUSEPORT，原因是每个进程独立处理连接，避免线程间锁竞争，同时利用多核并行。

以Nginx为例，典型配置为：

worker_processes auto;
worker_rlimit_nofile 1048576;
events {
    worker_connections 65535;
    use epoll;
    multi_accept on;
}
http {
    access_log off;
    sendfile on;
    tcp_nopush on;
    tcp_nodelay on;
    keepalive_timeout 65;
    keepalive_requests 10000;
}

其中worker_connections与worker_rlimit_nofile需匹配，否则会出现“too many open files”。multi_accept on让单次事件循环接受多个新连接，适合突发流量。keepalive_requests提高单连接复用次数，减少TLS握手开销。

高并发处理还需关注连接生命周期管理。边缘节点应设置合理的keepalive_timeout，过长会占用内存，过短会增加握手。对于TLS，应启用会话票据（session ticket）和OCSP stapling，减少完整握手比例。若使用HTTP/2或HTTP/3，还需调整并发流数量和初始窗口，避免头部阻塞。

判断边缘节点是否达到设计目标，可观察：单核QPS是否稳定、P99延迟是否随并发上升而急剧恶化、回源带宽占比是否在预期范围内、内存与SSD命中率是否达到分层设计目标。若P99延迟在并发上升时明显抬升，通常说明进程模型或中断绑定需要调整。

综合来看，边缘节点架构设计不是单点优化，而是硬件、内核、网络、存储、进程五层协同。硬件决定上限，操作系统和网络栈决定路径效率，存储分层决定回源成本，进程模型决定并发上限。设计时应先明确节点角色，再按角色分配资源，最后用命中率、延迟和回源占比三个指标持续验证。