2、硬件感知的向量化编程：利用CPU指令集（SSE/AVX）进行数据并行处理

各位好，我是老张。今天咱们聊聊向量化编程。说白了，就是让CPU一次处理多个数据，而不是一个一个来。

我记得刚入行那会儿，写了个向量距离计算的循环，跑起来慢得离谱。后来一查，CPU明明有AVX指令集，我愣是没用上。从那以后，我就养成了一个习惯：写数值计算代码前，先看看目标CPU支持什么指令集。

2.1 为什么需要向量化？

先看一个简单的场景：计算两个浮点数组的逐元素和。

// 标量版本
for (int i = 0; i < N; i++) {
    C[i] = A[i] + B[i];
}

这个循环，每次迭代只处理一对float。CPU的加法单元其实可以一次处理4对甚至8对。你想想看，这不是浪费吗？

向量化的核心思想，就是利用CPU的SIMD（单指令多数据）单元，一条指令同时操作多个数据。SSE可以一次处理4个float，AVX可以处理8个，AVX-512更是能处理16个。

2.2 SSE/AVX指令集概览

我个人习惯把指令集分成三代：

指令集	寄存器宽度	单次处理float数	典型CPU
SSE (Streaming SIMD Extensions)	128位	4	Intel Core 2, AMD K8
AVX (Advanced Vector Extensions)	256位	8	Intel Sandy Bridge, AMD Bulldozer
AVX-512	512位	16	Intel Skylake-X, AMD Zen 4

嗯，这里要注意：AVX-512虽然吞吐量最高，但频率降得也厉害。我在项目中遇到过，用了AVX-512后，CPU温度直接飙到90度，性能反而下降了。所以不是越新越好，得看场景。

2.3 编写平台无关的向量化代码

直接写SSE/AVX内联汇编，移植性太差。换台ARM服务器，代码就得重写。我建议用以下三种方式：

2.3.1 编译器自动向量化

这是最省力的方式。编译器会分析循环，自动生成SIMD指令。但前提是代码要写得“友好”。

// 编译器友好的写法
void add_arrays(const float* a, const float* b, float* c, int n) {
    #pragma omp simd
    for (int i = 0; i < n; i++) {
        c[i] = a[i] + b[i];
    }
}

加上#pragma omp simd，就是告诉编译器：“这个循环可以向量化，你看着办。”GCC和Clang都支持。

2.3.2 使用intrinsic函数

intrinsic函数是编译器内置的SIMD函数，写法像普通函数，但编译后直接映射成SIMD指令。不同平台有不同头文件：

• x86: <xmmintrin.h> (SSE), <immintrin.h> (AVX)
• ARM: <arm_neon.h> (NEON)

举个例子，用AVX实现向量加法：

#include <immintrin.h>

void add_arrays_avx(const float* a, const float* b, float* c, int n) {
    int i = 0;
    // 处理8的倍数部分
    for (; i + 8 <= n; i += 8) {
        __m256 va = _mm256_loadu_ps(&a[i]);
        __m256 vb = _mm256_loadu_ps(&b[i]);
        __m256 vc = _mm256_add_ps(va, vb);
        _mm256_storeu_ps(&c[i], vc);
    }
    // 处理剩余元素
    for (; i < n; i++) {
        c[i] = a[i] + b[i];
    }
}

你看，代码结构很清晰：加载、计算、存储。剩余部分用标量循环兜底。

2.3.3 使用跨平台库

如果不想碰平台相关的头文件，可以用Eigen、Google Highway或Intel IPP。这些库在底层帮你做了指令集选择。

// 使用Eigen
#include <Eigen/Dense>

Eigen::VectorXf a = Eigen::VectorXf::Random(1024);
Eigen::VectorXf b = Eigen::VectorXf::Random(1024);
Eigen::VectorXf c = a + b;  // 自动向量化

Eigen在编译时检测CPU，自动选择SSE、AVX或NEON。你只需要写数学表达式，剩下的交给它。

2.4 向量化在向量数据库中的应用

向量数据库的核心操作是计算向量距离。以余弦相似度为例：

float cosine_similarity(const float* a, const float* b, int dim) {
    float dot = 0.0f, norm_a = 0.0f, norm_b = 0.0f;
    for (int i = 0; i < dim; i++) {
        dot += a[i] * b[i];
        norm_a += a[i] * a[i];
        norm_b += b[i] * b[i];
    }
    return dot / (sqrt(norm_a) * sqrt(norm_b));
}

这个循环，用AVX可以一次处理8个维度。如果dim=128，只需要16次迭代。我实测过，向量化后速度提升5-7倍。

下面这张图展示了向量化前后的数据流对比：

2.5 性能调优实战要点

光写向量化代码还不够，还得调。我总结了几条经验：

1. 内存对齐是关键：用aligned_alloc或posix_memalign分配对齐内存。不对齐的加载会跨缓存行，性能下降20-30%。
2. 减少数据依赖：循环内不要有前后依赖的累加操作。用_mm256_hadd_ps做水平加法，或者用多路累加。
3. 避免频繁的SIMD与标量切换：每次切换都有几十个周期的开销。尽量把向量化部分做大块。
4. 利用prefetch：对于大数组，提前加载下一批数据到缓存。用_mm_prefetch或编译器内置的__builtin_prefetch。

2.6 运行时指令集检测

你不能假设用户的CPU都支持AVX。所以运行时检测是必须的。x86平台用cpuid指令，但更简单的是用__builtin_cpu_supports：

#include <stdint.h>

void add_arrays_dispatch(const float* a, const float* b, float* c, int n) {
    if (__builtin_cpu_supports("avx2")) {
        add_arrays_avx2(a, b, c, n);
    } else if (__builtin_cpu_supports("avx")) {
        add_arrays_avx(a, b, c, n);
    } else if (__builtin_cpu_supports("sse4.2")) {
        add_arrays_sse42(a, b, c, n);
    } else {
        add_arrays_scalar(a, b, c, n);
    }
}

这样，同一份二进制文件可以在不同CPU上运行，自动选择最优路径。我在项目中就用这个方案，兼容了从老至强到新EPYC的各种服务器。

好了，这一章的内容就到这里。向量化是性能优化的基本功，掌握了它，你就能在向量数据库的底层计算中榨干CPU的每一分潜力。