📚 课程目录第2章图像金字塔基础

2. 图像金字塔基础

图像金字塔是机器视觉与图像处理中一种极为重要的多尺度表达结构。它的核心思想是：将同一幅图像按照分辨率从高到低（或从低到高）逐层排列，形成一组分辨率连续变化的图像序列。由于这种结构从侧面看形似埃及金字塔——底层最宽（分辨率最高），顶层最窄（分辨率最低），因此得名“图像金字塔”。在Halcon中，图像金字塔被广泛应用于模板匹配、缺陷检测、图像分割和特征提取等场景，其核心价值在于以较小的计算代价实现大范围搜索与多尺度分析。

一、图像金字塔的定义与数学表达

设原始图像为 \( I_0(x, y) \)，其尺寸为 \( W \times H \)。经过一次下采样后得到 \( I_1 \)，尺寸为 \( \frac{W}{2} \times \frac{H}{2} \)。依此类推，第 \( k \) 层图像 \( I_k \) 的尺寸为 \( \frac{W}{2^k} \times \frac{H}{2^k} \)。整个金字塔由 \( I_0, I_1, I_2, \dots, I_n \) 组成，其中 \( n \) 为金字塔层数，通常由图像尺寸和实际需求决定。

从信号处理的角度看，下采样本质上是一个低通滤波 + 抽取的过程。直接丢弃像素会导致严重的混叠（Aliasing）效应，因此必须先对图像进行低通滤波，再每隔一个像素采样一次。这一过程可以用以下公式描述：

I_k(x, y) = I_{k-1}(2x, 2y)   （未经滤波的简单抽取，不推荐）
I_k(x, y) = (I_{k-1} * G)(2x, 2y)  （先卷积高斯核，再抽取，标准做法）

其中 \( G \) 为高斯低通滤波器核。Halcon中的 zoom_image_factor 和 gen_gauss_pyramid 算子正是基于这一原理实现的。

二、高斯金字塔：多尺度平滑与降采样

高斯金字塔是最基础、最常用的金字塔类型。它的构建过程分为两步：高斯模糊和隔行隔列采样。具体步骤如下：

对当前层图像 \( I_k \) 应用高斯核 \( G \) 进行卷积，消除高频细节，防止混叠。
从滤波后的图像中每隔一行一列抽取一个像素，得到下一层图像 \( I_{k+1} \)，尺寸减半。
重复上述过程，直到达到预设层数或图像尺寸小于某个阈值。

在Halcon中，常用的高斯金字塔生成算子为 gen_gauss_pyramid，其调用方式如下：

gen_gauss_pyramid(Image, PyramidImage, Mode, MaxLevel)
* 参数说明：
* Image       ：输入原图
* PyramidImage：输出的金字塔图像（多通道图像，每个通道为一层）
* Mode        ：'gauss' 表示高斯金字塔，'min'/'max' 表示灰度形态学金字塔
* MaxLevel    ：最大金字塔层数

高斯金字塔的每一层都保留了图像的主要结构信息，但分辨率逐层降低。在模板匹配中，我们通常先在顶层（低分辨率）进行粗匹配，快速定位候选区域，再逐层向下细化，最终在底层（原图）获得精确匹配结果。这种“由粗到精”的策略可以大幅减少计算量。

三、拉普拉斯金字塔：细节保留与图像重建

高斯金字塔在降采样过程中不可避免地丢失了高频细节信息。为了能够从低分辨率图像重建出原始图像，我们需要记录每一层降采样过程中丢失的细节。拉普拉斯金字塔正是为此而设计的。

拉普拉斯金字塔的构建过程如下：

先生成高斯金字塔 \( G_0, G_1, \dots, G_n \)。
对高斯金字塔的每一层 \( G_{k+1} \) 进行上采样（放大到与 \( G_k \) 相同尺寸），得到 \( G_{k+1}' \)。
计算拉普拉斯层 \( L_k = G_k - G_{k+1}' \)，即原始层与上采样层之差，该差值即为该尺度下的高频细节。
最顶层 \( L_n = G_n \)，即高斯金字塔最顶层本身。

拉普拉斯金字塔的每一层 \( L_k \) 实际上是一个带通滤波结果，它保留了图像在不同尺度上的边缘和纹理信息。利用拉普拉斯金字塔，我们可以实现无损图像重建：从顶层开始，逐层加上上采样后的细节层，即可恢复出原始图像。

// 重建过程伪代码
reconstructed = L_n
for k = n-1 down to 0:
    reconstructed = upsample(reconstructed) + L_k

在Halcon中，拉普拉斯金字塔通常通过 gen_laplace 或结合 gen_gauss_pyramid 与 sub_image 算子实现。拉普拉斯金字塔在图像融合、纹理合成和压缩编码中有着广泛应用。

四、下采样与上采样原理详解

下采样（Downsampling）和上采样（Upsampling）是图像金字塔的两个基本操作，理解其数学本质对正确使用Halcon算子至关重要。

4.1 下采样（降采样）

下采样的目的是减少图像分辨率。理想的下采样过程应满足奈奎斯特采样定理：在抽取像素之前，必须滤除高于新采样频率一半的频率分量，否则会产生混叠，导致图像中出现虚假的波纹或锯齿。高斯核是常用的低通滤波器，其标准差 \( \sigma \) 通常取 0.8～1.0 像素，以保证在抑制混叠的同时不过度平滑图像。

Halcon中常用的下采样算子包括：

zoom_image_factor：按指定因子缩放图像，支持多种插值方式。
reduce_domain：仅缩小图像的定义域，不改变像素值。
gen_gauss_pyramid：直接生成多层高斯金字塔。

4.2 上采样（升采样）

上采样的目的是增加图像分辨率。最简单的上采样方法是像素复制（最近邻插值），但这种方法会产生明显的块状效应。更常用的方法是双线性插值或双三次插值，它们通过周围像素的加权平均来估计新插入像素的值，使图像过渡更加平滑。

在金字塔重建中，上采样通常与高斯核卷积结合使用，即先插值再平滑，以保证重建图像的质量。Halcon中的 zoom_image_factor 算子支持多种插值模式，其中 'bilinear' 和 'bicubic' 是常用选择。

zoom_image_factor(Image, ZoomImage, FactorWidth, FactorHeight, Interpolation)
* Interpolation 可选值：
* 'nearest_neighbor'：最近邻，速度快但质量低
* 'bilinear'        ：双线性，速度与质量均衡
* 'bicubic'         ：双三次，质量高但速度慢

五、图像金字塔在Halcon中的典型应用场景

图像金字塔在Halcon的多个核心模块中发挥着关键作用，以下是三个最典型的应用场景：

应用场景	金字塔的作用	典型算子
模板匹配	先在低分辨率层粗匹配，再逐层精确定位，大幅减少搜索时间	`find_scaled_shape_model`
缺陷检测	在不同尺度下分析图像，同时检测大尺度轮廓缺陷和小尺度纹理缺陷	`gauss_filter` + `sub_image`
图像融合	利用拉普拉斯金字塔分解，在不同频带上分别融合，避免接缝伪影	`gen_laplace` + `add_image`

以模板匹配为例，假设原图尺寸为 \( 4096 \times 4096 \)，模板尺寸为 \( 256 \times 256 \)。若直接在全分辨率图像上逐像素搜索，计算量约为 \( 3840 \times 3840 \) 次相似度计算。而使用4层金字塔后，顶层图像尺寸仅为 \( 256 \times 256 \)，模板缩小为 \( 16 \times 16 \)，搜索次数骤降至约 \( 240 \times 240 \) 次，计算量减少到原来的约 1/256，同时匹配精度几乎不受影响。

六、常见误区与复盘

误区一：直接抽取像素而不进行低通滤波。许多初学者为了省事，直接使用 zoom_image_factor 且不设置滤波，导致金字塔顶层出现严重的混叠伪影（如摩尔纹、锯齿）。正确的做法是使用 gen_gauss_pyramid 或先执行高斯滤波再降采样。

误区二：金字塔层数设置过多。当金字塔层数过多时，顶层图像尺寸过小（例如小于 \( 8 \times 8 \)），图像信息几乎完全丢失，匹配或检测结果失去意义。一般建议金字塔层数不超过 5～6 层，且顶层图像的最小边长不应小于 16 像素。

复盘建议：在Halcon中调试金字塔参数时，建议使用 disp_image 配合 select_obj 逐层显示金字塔图像，直观检查每一层的清晰度和信息保留情况。同时，可以通过 get_image_pointer1 获取每层图像的尺寸和灰度范围，辅助判断是否出现混叠或过度平滑。

另一个常见误区是混淆高斯金字塔与拉普拉斯金字塔的用途。高斯金字塔用于多尺度分析和快速搜索，而拉普拉斯金字塔用于细节提取和图像重建。在缺陷检测中，如果希望同时检测大尺寸的划痕和小尺寸的砂眼，应使用拉普拉斯金字塔在不同频带上分别处理，而不是简单地对高斯金字塔各层做阈值分割。

最后需要强调的是，图像金字塔并非“层数越多越好”。层数越多，虽然搜索范围越大，但每层的有效信息量也在减少，且内存占用和计算开销随之增加。在实际工程中，应根据图像尺寸、目标大小和精度要求，通过实验确定最优层数。通常，对于 \( 2048 \times 2048 \) 的工业图像，3～4层金字塔即可获得良好的性能与精度平衡。