📚 课程目录第4章 Pipeline架构

4. Pipeline架构：Camera HAL内部pipeline设计、request与result流转机制

Camera HAL的Pipeline架构是整个相机系统的核心骨架。它负责将上层Framework下发的Capture Request转换为硬件可执行的指令序列，并将Sensor采集的原始数据经过ISP、算法模块处理后，封装为Capture Result返回给Framework。理解Pipeline的设计与流转机制，是实现自定义美颜与滤镜算法的基础。

4.1 Pipeline核心概念与分层设计

在Android Camera HAL3中，Pipeline是一个抽象的逻辑处理单元，它管理着从Request到Result的完整生命周期。一个典型的Pipeline由以下三层构成：

层级	组件	职责
应用层	CameraService / Framework	下发Capture Request，接收Capture Result，管理CameraDevice会话
HAL层	Camera HAL Module	实现ICameraDeviceSession接口，管理Pipeline状态机，协调Stream与Request
硬件层	Sensor / ISP / 算法IP	执行曝光、RAW采集、图像处理、美颜/滤镜算法

  关键设计原则：Pipeline采用生产者-消费者模型。Framework是Request的生产者，HAL是Request的消费者与Result的生产者。每个Request在Pipeline中独立流转，互不阻塞。

4.2 Request与Result的数据结构

Request和Result是Pipeline中流转的核心数据载体。它们通过camera_metadata_t结构体传递控制参数与状态信息。

4.2.1 Capture Request结构

// 核心字段示意
typedef struct camera_capture_request {
    uint32_t            frame_number;       // 帧序号，唯一标识一次捕获
    camera_metadata_t*  settings;           // 控制参数（AE/AWB/AF、3A、美颜强度等）
    const camera_stream_buffer_t* input_buffers;  // 输入Buffer（如复用YUV）
    uint32_t            num_output_buffers; // 输出Buffer数量
    const camera_stream_buffer_t* output_buffers; // 输出Buffer（YUV/JPEG/RAW）
    int64_t             sensor_timestamp;   // Sensor时间戳（可选）
} camera_capture_request_t;

4.2.2 Capture Result结构

// 核心字段示意
typedef struct camera_capture_result {
    uint32_t            frame_number;       // 对应Request的帧序号
    camera_metadata_t*  result;             // 结果元数据（AE状态、face detect结果等）
    uint32_t            num_output_buffers; // 输出Buffer数量
    const camera_stream_buffer_t* output_buffers; // 处理完成的图像Buffer
    uint32_t            num_input_buffers;  // 输入Buffer数量（用于复用）
    const camera_stream_buffer_t* input_buffers;
    uint32_t            partial_result;     // 部分结果序号（用于流式结果）
} camera_capture_result_t;

实战要点：自定义美颜参数（如磨皮强度、肤色调整值）应作为自定义Tag写入settings元数据中。在HAL的process_capture_request中解析这些Tag，传递给算法模块。

4.3 Pipeline内部流转机制

从Framework下发Request到HAL返回Result，Pipeline内部经历以下关键阶段：

Request入队：CameraService调用process_capture_request将Request送入HAL的待处理队列。
参数解析与校验：HAL解析settings中的控制参数，校验Stream配置是否匹配。
硬件触发：HAL驱动Sensor开始曝光，同时配置ISP参数（增益、曝光时间、白平衡等）。
RAW采集与预处理：Sensor输出RAW数据，ISP进行Bayer去马赛克、降噪、色彩校正等基础处理。
算法处理：在YUV域或RAW域执行自定义美颜与滤镜算法（本课程核心）。
Buffer填充与Result构建：将处理后的图像数据写入output_buffers，同时填充result元数据。
Result回调：HAL调用notify和process_capture_result将结果返回Framework。

4.4 多Pipeline与Stream复用

现代Camera HAL支持多个Pipeline并行运行，以支持预览、拍照、视频录制等不同Stream的同时工作。每个Pipeline对应一个独立的Stream组合。

场景	Pipeline数量	Stream配置	美颜/滤镜应用
预览+拍照	2	YUV(预览) + JPEG(拍照)	预览Pipeline实时美颜，拍照Pipeline高分辨率滤镜
视频录制	1	YUV(编码输入)	实时美颜+滤镜，需保证30fps性能
高帧率连拍	1	RAW(连拍)	RAW域算法处理，后处理阶段应用

性能陷阱：在多Pipeline场景下，美颜/滤镜算法必须考虑Buffer复用与内存带宽。避免在算法处理中产生额外的Buffer拷贝，尽量使用in-place处理或GPU加速。

4.5 Request与Result的同步与异步模型

HAL3要求process_capture_request是同步调用，但Pipeline内部的硬件操作和算法处理可以是异步的。这种设计允许HAL在等待硬件完成时继续处理后续Request，提高吞吐量。

// 伪代码：HAL中process_capture_request的典型实现
status_t MyCameraDeviceSession::process_capture_request(
    const camera_capture_request_t* request) {
    // 1. 解析Request参数
    uint32_t frame_number = request->frame_number;
    camera_metadata_t* settings = request->settings;

    // 2. 提取自定义美颜参数
    int beauty_level = 0;
    camera_metadata_ro_entry entry;
    if (find_camera_metadata_ro_entry(settings,
            MY_CUSTOM_BEAUTY_LEVEL, &entry) == 0) {
        beauty_level = entry.data.i32[0];
    }

    // 3. 将Request加入内部工作队列（异步处理）
    std::unique_lock<std::mutex> lock(m_request_lock);
    m_pending_requests.push({
        .frame_number = frame_number,
        .settings = settings,
        .output_buffers = request->output_buffers,
        .beauty_level = beauty_level
    });
    lock.unlock();

    // 4. 触发硬件（同步部分）
    m_sensor->trigger_exposure(frame_number, settings);

    // 5. 唤醒后台处理线程
    m_worker_thread->notify();

    return OK;
}

4.6 自定义美颜算法在Pipeline中的集成点

在Pipeline中集成自定义美颜算法，通常选择在ISP处理完成后的YUV域进行。以下是推荐的集成点：

YUV域后处理：在ISP输出YUV420格式后，应用磨皮、美白、瘦脸等算法。这是最灵活的方式，不依赖硬件ISP。
RAW域预处理：在Bayer数据阶段进行降噪和色彩校正，适合对画质要求极高的场景。
GPU加速管线：使用OpenCL或Vulkan将美颜算法部署在GPU上，适合高分辨率实时处理。

实战建议：对于初学者，推荐在YUV域集成美颜算法。YUV格式将亮度(Y)和色度(UV)分离，磨皮算法只需处理Y通道，计算量小且效果明显。后续章节将详细讲解YUV域磨皮算法的实现。

4.7 本章小结

Pipeline架构是Camera HAL的“高速公路”，Request和Result是这条路上的“车辆”。掌握Pipeline的设计与流转机制，意味着你能够：

正确解析Framework下发的控制参数，并注入自定义美颜/滤镜参数。
在合适的阶段（YUV域）插入算法处理，不破坏原有Pipeline的稳定性。
利用异步模型提高帧率，避免阻塞预览或拍照流程。
在多Stream场景下合理分配算法资源，保证实时性。