4. Arrow内存格式深入

Apache Arrow 的核心价值不在于“另一种文件格式”，而在于它定义了一套跨语言、跨进程、跨系统的内存中列式数据标准。理解 Arrow 的内存格式，是掌握 Parquet 高效读写、DataFrame 零拷贝转换以及多语言服务间数据交换的关键。本节从内存布局出发，逐层拆解缓冲区、类型系统、字典编码与嵌套类型，并落到跨语言互操作的工程实践。

一、核心原理：列式内存布局与缓冲区模型

Arrow 将一张表按列存储，每一列由若干缓冲区（Buffer）组成。最基本的定长列包含两个缓冲区：有效性位图（validity bitmap）和数据缓冲区（data buffer）。有效性位图用 1 个 bit 表示某个位置是否为 null，数据缓冲区则连续存放定长值。变长列（如字符串）额外增加 offsets 缓冲区，用整数偏移量切分数据缓冲区中的字节序列。

这种设计带来两个直接收益：一是扫描时只读取需要的列，减少内存带宽浪费；二是同一列内数据连续，利于 SIMD 向量化与 CPU 缓存命中。Arrow 还规定所有缓冲区按 64 字节对齐，避免跨缓存行访问带来的性能损耗。

二、方法流程：零拷贝与跨语言互操作

零拷贝的本质是只传递元数据与指针，不搬运实际数据。在 Python 中，pyarrow.Table 转 Pandas 时，若类型兼容且无 null 语义冲突，底层缓冲区直接共享；在 C++ 与 Java 之间，则通过 Arrow C Data Interface 或 IPC 格式交换。C Data Interface 定义了两个结构体 ArrowArray 与 ArrowSchema，任何语言只要实现这两个结构体，就能零拷贝接入 Arrow 生态。

# Python 侧导出 C Data Interface 指针
import pyarrow as pa
arr = pa.array([1, 2, 3], type=pa.int32())
c_array = arr.__arrow_c_array__()   # 返回 (schema_ptr, array_ptr)

# C++ 侧通过 ArrowArray* 直接读取，无需反序列化
# ArrowArray* array = reinterpret_cast<ArrowArray*>(array_ptr);
# 访问 array->buffers[1] 即数据缓冲区首地址

跨语言互操作的典型流程为：生产者导出 ArrowArray 与 ArrowSchema，消费者用本语言的 Arrow 实现导入，双方约定好生命周期管理（谁负责释放）。若跨进程，则改用 IPC 流格式，将缓冲区按 8 字节对齐写入，接收端映射后同样零拷贝解析。

三、数据类型系统、字典编码与嵌套类型

Arrow 的类型系统是强类型且自描述的。基础类型包括 int8/16/32/64、float16/32/64、utf8、binary、bool、decimal128、date32、timestamp 等。每个字段都携带 nullable 标记，决定是否需要有效性位图。

字典编码（Dictionary Encoding）是 Arrow 的重要优化：当某列重复值多时，用 dictionary<int32, utf8> 表示，数据缓冲区只存整数索引，字典缓冲区存唯一值。这在金融场景中极为常见，例如股票代码、交易所、币种等低基数列。

嵌套类型包括 List、Struct、Map 和 Union。以 List<int32> 为例，它由 offsets 缓冲区和子数组组成；Struct 则是多个子字段的并行缓冲区集合。嵌套类型让 Arrow 能表达 JSON 般的半结构化数据，同时保持列式访问效率。

四、案例与误区复盘