1. 课程导论：AI场景识别在Camera HAL层的重要性
1.1 为什么要在HAL层做AI场景识别？
传统Android相机架构中，场景识别（如人像、夜景、文档、运动）通常由上层应用或Framework层的算法库完成。这种方案存在三个根本性瓶颈：延迟高（数据需从驱动→HAL→Framework→App，再回调算法）、功耗大（频繁跨进程唤醒AP主控）、实时性差（无法与ISP管线深度耦合）。
将AI场景识别下沉到Camera HAL层，本质上是将推理引擎与ISP硬件调度在同一个实时线程中完成。HAL层直接操作Sensor、ISP、GPU/NPU等硬件抽象接口，可以在每一帧的垂直消隐期（VBlank）内完成场景分类，并动态调整3A算法参数、Tone Mapping曲线和降噪强度。
核心收益：端到端场景识别延迟从50~100ms降低至3~8ms；拍照场景下功耗降低约40%；支持逐帧自适应参数切换，实现“所见即所得”的实时预览效果。
1.2 课程目标与学习路径
本课程面向具备Camera HAL基础开发经验的工程师，目标是在完成学习后能够独立设计并实现一套轻量级AI场景识别调度框架，嵌入到Android HAL3.4+的CameraProvider或HIDL服务中。
| 模块 | 核心能力 | 实践产出 |
|---|---|---|
| 基础篇（第1~5章） | 理解HAL层Pipeline、AI推理引擎选型、TFLite/NNAPI集成 | 在HAL层加载并运行一个场景分类模型 |
| 调度篇（第6~12章） | 帧同步调度、多线程安全、场景置信度滤波、参数映射 | 实现场景驱动的ISP参数动态切换 |
| 优化篇（第13~20章） | 模型量化、NPU/GPU异构计算、延迟预算控制、功耗调优 | 在目标平台上达到30fps实时推理 |
| 工程篇（第21~25章） | 单元测试、稳定性设计、兼容性适配、CTS/VTS验证 | 产出可商用的HAL AI模块 |
| 进阶篇（第26~30章） | 多摄像头协同、场景预测、在线学习、端云协同 | 设计下一代自适应成像系统 |
学习建议：每章都配有可编译的代码示例和性能基准测试脚本。建议在QEMU模拟器或真实开发板上同步验证，重点关注帧边界（Frame Boundary）处的调度时序。
1.3 HAL层在Android相机架构中的位置
Android相机软件栈自底向上分为四层：Kernel驱动层 → Camera HAL层 → Camera Framework层 → 应用层。HAL层是硬件抽象的关键分界线，向上提供统一的ICameraDevice、ICameraDeviceSession接口，向下直接操作V4L2、CSI、ISP固件。
在HAL层内部，AI场景识别模块通常挂载在RequestStream或ProcessCaptureRequest的帧处理流水线中。具体来说，当HAL收到来自Framework的CaptureRequest后，在ISP处理之前插入一个推理节点：
// HAL层伪代码：AI场景识别调度点
status_t processCaptureRequest(const CaptureRequest& request,
const std::vector<HalStream>& halStreams) {
// 1. 解析请求中的场景偏好（可选）
// 2. 从Sensor获取RAW帧缩略图（或YUV downscale）
// 3. 调用AI推理引擎进行场景分类
SceneResult result = mSceneInferencer->infer(thumbnailBuffer);
// 4. 根据场景结果调整ISP参数
adjustISPParams(request, result);
// 5. 继续标准HAL处理流程
return processCaptureRequestImpl(request, halStreams);
}
关键约束：HAL层AI推理必须在严格的帧时间预算内完成（通常<8ms@30fps）。任何超时都会导致预览掉帧或ANR。因此，模型必须经过量化（INT8/FP16）并尽可能卸载到NPU或DSP上执行。
1.4 课程前置知识检查清单
- Android HAL3 架构：理解ICameraDevice、ICameraDeviceSession、CaptureRequest/Result的生命周期
- ISP Pipeline 基础：知道Bayer域、YUV域、Tone Mapping、3A（AE/AWB/AF）的基本概念
- AI推理框架：至少使用过TFLite或NNAPI，了解模型加载、输入输出张量操作
- C++17 / RTOS 编程：熟悉多线程同步、锁、无锁队列、内存池等实时编程技巧
- 性能分析工具：会使用perf、simpleperf、systrace进行延迟和功耗分析