4. 内存优化：大页内存、内存池化、缺页中断与缓存一致性

在金融模型Serving场景中，内存访问延迟是仅次于CPU计算的核心瓶颈。毫秒级的缺页中断、TLB未命中或缓存行颠簸，都可能导致交易信号错过窗口。本章从四个维度构建低延迟内存体系：大页内存（HugePages）减少TLB缺失，内存池化消除动态分配抖动，避免缺页中断保证确定性访问，内存屏障与缓存一致性确保多核数据可见性。

4.1 大页内存（HugePages）配置

标准4KB页表项在TB级内存场景下会导致TLB覆盖范围极小，频繁触发页表遍历。大页内存将页表粒度提升至2MB或1GB，显著降低TLB缺失率。

# 检查当前大页配置
cat /proc/meminfo | grep HugePages
# 输出示例：
# HugePages_Total:    2048
# HugePages_Free:     1987
# HugePages_Rsvd:     0
# HugePages_Surp:     0

# 应用层mmap示例（C语言）
#include <sys/mman.h>
void *ptr = mmap(NULL, 2 * 1024 * 1024, PROT_READ | PROT_WRITE,
                 MAP_PRIVATE | MAP_ANONYMOUS | MAP_HUGETLB, -1, 0);

4.2 内存池化技术

动态内存分配（malloc/free）存在不可预测的锁竞争、碎片化和系统调用开销。内存池化通过预分配固定大小的内存块，实现O(1)分配与释放，消除抖动。

// 简化版内存池分配接口
typedef struct {
    void *block;          // 预分配内存起始地址
    size_t block_size;    // 每个块大小
    atomic_int head;      // 空闲链表头索引
} MemoryPool;

void *pool_alloc(MemoryPool *pool) {
    int idx = atomic_fetch_sub(&pool->head, 1) - 1;
    if (idx < 0) return NULL; // 池耗尽
    return (char *)pool->block + idx * pool->block_size;
}

void pool_free(MemoryPool *pool, void *ptr) {
    // 将释放的块索引写回头部（简化实现）
    int idx = ((char *)ptr - (char *)pool->block) / pool->block_size;
    atomic_store(&pool->head, idx);
}

4.3 避免缺页中断

缺页中断（Page Fault）是低延迟系统的隐形杀手。一次主缺页中断耗时可达10ms，远超模型推理本身。在金融交易中，这意味着错过行情快照或报单超时。

// 预触达所有已分配内存
void prefault_memory(void *addr, size_t size) {
    volatile char *p = (volatile char *)addr;
    size_t page_size = sysconf(_SC_PAGESIZE);
    for (size_t offset = 0; offset < size; offset += page_size) {
        p[offset] = 0;  // 触发页表建立
    }
}

// 在初始化阶段调用
void *model_weights = mmap(NULL, WEIGHTS_SIZE, PROT_READ | PROT_WRITE,
                           MAP_PRIVATE | MAP_ANONYMOUS | MAP_HUGETLB, -1, 0);
mlockall(MCL_CURRENT | MCL_FUTURE);
prefault_memory(model_weights, WEIGHTS_SIZE);

4.4 内存屏障与缓存一致性

多核CPU中，每个核心拥有独立的L1/L2缓存。当多个核心同时访问同一内存地址时，必须通过缓存一致性协议（如MESI）保证数据正确。但协议带来的缓存行失效和内存重排序，会引入不可预测的延迟。

// 无锁队列中的内存屏障使用示例
typedef struct {
    volatile int head;
    volatile int tail;
    int buffer[QUEUE_SIZE];
} LockFreeQueue;

int enqueue(LockFreeQueue *q, int value) {
    int t = q->tail;
    int h = q->head;
    if (t - h >= QUEUE_SIZE) return -1; // 队列满

    q->buffer[t % QUEUE_SIZE] = value;
    __sync_synchronize();  // 全屏障：保证数据写入在tail更新前可见
    q->tail = t + 1;
    return 0;
}

int dequeue(LockFreeQueue *q, int *value) {
    int h = q->head;
    int t = q->tail;
    if (h >= t) return -1; // 队列空

    *value = q->buffer[h % QUEUE_SIZE];
    __sync_synchronize();  // 全屏障：保证数据读取在head更新前完成
    q->head = h + 1;
    return 0;
}

// 伪共享示例与修复
// 错误写法：两个计数器在同一缓存行
struct BadCounters {
    long counter_a;
    long counter_b;
};

// 正确写法：填充至缓存行边界
struct GoodCounters {
    long counter_a;
    char padding1[56];  // 64 - 8
    long counter_b;
    char padding2[56];
} __attribute__((aligned(64)));

4.5 综合优化策略

将上述技术组合使用，形成完整的低延迟内存体系：

1. 初始化阶段：使用大页内存分配模型参数，mlockall锁定，预触达全部内存
2. 运行阶段：通过内存池管理临时张量/特征数据，避免动态分配
3. 多核通信：使用无锁数据结构配合精确的内存屏障，避免锁和伪共享
4. 监控验证：通过perf stat -e page-faults, cache-misses持续观测