4. HAL层虚化数据流：从Sensor到虚化输出的完整数据流、Stream配置、Buffer管理

4.1 双摄虚化数据流全景

双摄虚化在HAL层的数据流涉及两条独立的Sensor输入流、ISP预处理、深度计算引擎以及最终虚化合成输出。整个流程必须保证主摄与副摄帧同步、Buffer生命周期对齐，并在Stream配置阶段明确各路流的格式、分辨率和使用场景。

4.2 Stream配置策略

双摄虚化场景下，HAL层需要为每个物理Camera配置多个Stream，包括预览流、拍照流、深度专用流等。Stream配置的核心是保证主副摄的Stream参数匹配，同时为深度引擎预留专用Buffer通道。

4.3 Buffer管理与生命周期

Buffer管理是双摄虚化HAL层适配中最容易出问题的环节。每个Stream都需要独立的Buffer队列，且主副摄的Buffer必须在帧同步点完成配对。Buffer生命周期包括分配、填充、排队、消费和回收五个阶段。

4.4 帧同步机制

帧同步是双摄虚化数据流中最关键的环节。主副摄的帧到达时间可能因硬件差异、驱动延迟或ISP处理时间不同而产生偏移。HAL层必须实现帧同步逻辑，确保送入深度引擎的两帧属于同一时刻。

帧同步的典型实现步骤：

1. 时间戳采集： 在Sensor驱动层记录每帧的SOF（Start of Frame）时间戳。
2. 队列缓冲： 主副摄各自维护一个环形Buffer队列，缓存最近N帧。
3. 配对算法： 遍历主摄队列，在副摄队列中查找时间戳差值最小的帧，若差值小于阈值则配对成功。
4. 丢弃策略： 若某一摄出现丢帧，则丢弃另一摄的对应帧，保持配对完整性。

4.5 深度引擎Buffer交互

深度计算引擎通常以专用硬件或DSP形式存在，HAL层需要将配对后的主副摄Buffer通过ION/DMA-BUF机制传递给深度引擎。Buffer的格式、对齐方式和缓存一致性是交互的关键。

// 深度引擎Buffer交互伪代码示例
// 主摄Buffer与副摄Buffer配对后送入深度引擎

struct depth_input {
    int buffer_fd_main;   // 主摄Buffer的DMA-BUF fd
    int buffer_fd_sub;    // 副摄Buffer的DMA-BUF fd
    uint64_t timestamp;   // 配对帧的时间戳
    int width;
    int height;
};

// 同步cache，确保CPU写入对DSP可见
struct dma_buf_sync sync_start = {
    .flags = DMA_BUF_SYNC_START | DMA_BUF_SYNC_WRITE
};
ioctl(buffer_fd_main, DMA_BUF_IOCTL_SYNC, &sync_start);

// 将配对Buffer提交给深度引擎
struct depth_input input = {
    .buffer_fd_main = main_fd,
    .buffer_fd_sub  = sub_fd,
    .timestamp      = matched_ts,
    .width          = 640,
    .height         = 480
};
ioctl(depth_engine_fd, DEPTH_IOCTL_SUBMIT, &input);

// 等待深度图完成
struct depth_output output;
ioctl(depth_engine_fd, DEPTH_IOCTL_GET_RESULT, &output);

// 同步cache，确保DSP写入对CPU可见
struct dma_buf_sync sync_end = {
    .flags = DMA_BUF_SYNC_END | DMA_BUF_SYNC_READ
};
ioctl(output.depth_buffer_fd, DMA_BUF_IOCTL_SYNC, &sync_end);

4.6 虚化合成输出流

深度图生成后，虚化合成模块将主摄全分辨率图像与深度图进行融合。合成过程需要额外的Buffer作为输出通道，通常使用GPU或专用ISP管线完成。输出流的配置必须与拍照流分辨率一致，且支持YUV420和JPEG两种格式。

虚化合成输出流的Buffer管理要点：

• 输出Buffer池： 预分配至少3个输出Buffer，避免合成模块等待分配。
• 格式转换： 若深度引擎输出为RAW深度图，需先转换为浮点或8位深度图，再送入合成管线。
• JPEG编码： 虚化结果通常需要编码为JPEG保存，编码过程可复用拍照流的JPEG硬件编码器。
• 预览回显： 虚化结果可降采样后送入预览流，实现“所见即所得”的虚化预览效果。

4.7 常见数据流问题与调优