4. 图像对齐技术：让多帧画面“严丝合缝”
HDR合成最头疼的问题是什么？我个人觉得，不是曝光不准，也不是色调映射，而是运动伪影。你想想看，三帧图像拍摄的时间点不同，场景里但凡有个行人、车辆，甚至树叶晃动，合成出来就会出现鬼影、模糊或者边缘断裂。
要解决这个问题，核心就是图像对齐。说白了，就是把长帧、中帧、短帧里的像素点，按照同一个参考帧（通常是中帧）的位置重新映射一遍。今天咱们就聊聊瑞芯微平台上三种主流的对齐方式：特征点对齐、光流对齐，还有硬件Warp引擎。
核心观点： 没有对齐，就没有高质量的HDR。对齐精度直接决定了运动伪影的严重程度。
4.1 基于特征点的对齐：经典但有限
这种方法在计算机视觉里很成熟。先提取图像里的角点、边缘、纹理块等特征，然后做特征匹配，算出一个全局的单应性矩阵（Homography）或者仿射变换矩阵。
优点很明显：
- 计算量相对小，适合静态场景。
- 对旋转、缩放有不错的鲁棒性。
但坑也不少：
- 遇到纹理稀疏的区域（比如白墙、天空），特征点数量不够，匹配容易失败。
- 只能处理全局运动，比如相机抖动。对于局部运动（行人挥手、汽车移动），它无能为力。
我曾经踩过的坑： 在RK3588上做夜景HDR，用了ORB特征点对齐。白天效果还行，一到晚上，特征点全集中在路灯和招牌上，背景几乎没点。结果合成出来的天空区域全是错位鬼影。后来我不得不加了一个光流做局部补偿。
所以，特征点对齐在瑞芯微平台上，我一般只用来做粗对齐，或者作为光流对齐的初始化。它扛不住复杂的运动场景。
4.2 基于光流的对齐：精细但昂贵
光流法就聪明多了。它假设像素点在时间域上是连续运动的，通过计算每个像素的运动矢量（光流场），来实现逐像素的对齐。
光流法能处理局部运动，精度非常高。但代价也大：
- 计算量爆炸： 全图稠密光流，在CPU上跑一帧1080P图像，可能要几百毫秒。
- 边缘和遮挡区域容易出错： 运动边界处，光流矢量不连续，容易产生“空洞”或“撕裂”。
在瑞芯微平台上，我通常这样搭配：
| 方法 | 适用场景 | 瑞芯微平台建议 |
|---|---|---|
| 稀疏光流（Lucas-Kanade） | 特征点跟踪、运动估计 | 用NPU加速特征点提取，CPU做LK跟踪 |
| 稠密光流（Farneback/DeepFlow） | 逐像素对齐、HDR合成 | 建议用硬件Warp引擎替代，或者用NPU推理轻量级光流网络 |
我的个人习惯： 在RK3566/RK3588上，如果场景运动不大，我会用Farneback光流做下采样（比如1/4分辨率）的粗光流，然后上采样后结合硬件Warp做精细对齐。这样既保证了精度，又控制了延时。
4.3 瑞芯微硬件Warp引擎：真正的“杀手锏”
好了，前面说的都是软件方案。但瑞芯微平台真正的优势，在于它集成了硬件Warp引擎。这个模块专门用来做图像几何变换，说白了，就是硬件加速版的“图像重映射”。
Warp引擎能做什么？
- 支持双线性、双三次插值。
- 支持任意网格（Mesh）变形，不限于仿射或透视变换。
- 支持多通道并行处理（YUV420、RGB等）。
- 延迟极低，处理一帧1080P图像只需要几毫秒。
在HDR合成中的典型用法：
- 先用软件（光流或特征点）计算出运动矢量场（Motion Vector Field）。
- 将运动矢量场转换成Warp引擎需要的网格坐标（Mesh Grid）。
- 调用Warp引擎，将长帧和短帧按照网格坐标重新采样，对齐到中帧。
- 将对齐后的三帧图像送入HDR融合模块。
关键点： Warp引擎只负责“怎么变”，不负责“变多少”。运动矢量的计算仍然需要软件或NPU来完成。但有了Warp引擎，你就不需要在CPU/GPU上做逐像素的插值重采样了，性能提升非常明显。
下面这张图展示了整个对齐流程的架构：
4.4 实战中的选择策略
在实际项目中，我不会只用一种方法。通常我会根据场景复杂度和性能预算来动态选择：
| 场景类型 | 对齐策略 | 瑞芯微平台实现 |
|---|---|---|
| 静态场景（三脚架、风景） | 特征点粗对齐 + 硬件Warp | CPU提取ORB特征，计算单应性矩阵，Warp引擎重采样 |
| 轻微运动（手持、微风） | 稀疏光流 + 硬件Warp | NPU加速LK光流，Warp引擎做局部变形 |
| 剧烈运动（行人、车辆） | 稠密光流 + 运动掩膜 + 硬件Warp | NPU推理轻量级光流网络，生成运动掩膜，Warp引擎选择性对齐 |
注意： 硬件Warp引擎虽然快，但它对网格坐标的精度很敏感。如果运动矢量算错了，Warp出来的图像反而会更差。我建议在运动估计阶段加入置信度检测，对低置信度的区域（比如遮挡、纹理缺失）做平滑或保持原样，避免引入新的伪影。
4.5 代码示例：调用瑞芯微Warp引擎
下面是一个简化的示例，展示如何在RK3588上通过RGA（Rockchip Graphics Acceleration）接口调用硬件Warp引擎。实际项目中，你需要根据具体的SDK版本调整参数。
// 伪代码示例：调用瑞芯微硬件Warp引擎进行图像对齐
// 假设已经通过光流计算出了运动矢量场 motion_field
// 1. 将运动矢量场转换为网格坐标
// 网格坐标 = 原始坐标 + 运动矢量
for (int y = 0; y < height; y++) {
for (int x = 0; x < width; x++) {
mesh_grid[y * width + x].x = x + motion_field[y * width + x].vx;
mesh_grid[y * width + x].y = y + motion_field[y * width + x].vy;
}
}
// 2. 初始化RGA warp参数
rga_info src_info, dst_info;
rga_info_init(&src_info);
rga_info_init(&dst_info);
src_info.fd = long_frame_fd; // 长帧的dma-buf fd
dst_info.fd = aligned_frame_fd; // 对齐后输出帧的dma-buf fd
// 3. 设置warp模式为网格变形
src_info.warp_mode = IM_WARP_MESH;
src_info.mesh_pointer = (void *)mesh_grid;
src_info.mesh_grid_size = width * height * sizeof(mesh_point_t);
// 4. 执行硬件warp
int ret = rga_compose(&src_info, &dst_info, NULL);
if (ret != 0) {
printf("Warp failed: %d\n", ret);
// 回退到软件插值
}
// 5. 重复上述步骤处理短帧
// 最终得到三帧对齐图像：middle_frame, aligned_long, aligned_short避坑指南： 我曾经在RK3566上遇到Warp引擎输出图像有“条纹”的问题。排查了半天，发现是网格坐标的精度不够——我用了int16，但Warp引擎内部需要float精度。后来改成float32网格，问题就解决了。所以，网格坐标的数据类型一定要和硬件要求匹配。
好了，图像对齐这块就聊到这儿。记住，没有万能的方案，只有最适合场景的方案。特征点对齐做粗调，光流做精细运动估计，硬件Warp引擎做高效重采样——这三者配合好了，HDR合成的运动伪影就能压到最低。