0 概述

图像拼接技术是将部分重叠的多幅图像合成为一幅无缝高分辨率图像，广泛应用于广域场景获取以及遥感图像^[1]、视频监控图像、医学图像分析等领域。图像配准作为图像拼接的关键环节，其结果对图像拼接效果影响较大。图像配准方法主要包括基于图像灰度的配准方法、基于图像特征的配准方法和基于图像域变换的配准方法^[2]。

近年来，基于图像特征的配准算法因具有鲁棒性好、配准速度快和计算量少等优点，成为学者们研究的热点。基于图像特征的配准算法主要包括SIFT、SURF、ORB、KAZE和AKAZE等算法。其中，SIFT算法和SURF算法的实现原理相似，两者不同之处在于SURF算法是使用不同尺度的滤波窗口与原图进行卷积来加速构建线性的尺度空间，其为SIFT算法的加速版。虽然SIFT算法和SURF算法的鲁棒性均较强，但这两种算法构建的线性尺度空间会导致图像细节信息丢失^[3]。ORB算法^[4]改进了FAST特征点检测算法，使其具有方向性，并使用二进制的二元鲁棒独立基本特征（Binary Robust Independent Elementary Features，BRIEF）对特征点进行描述，虽然计算速度较快，但不具备尺度不变性^[5]。KAZE算法^[6]和加速AKAZE算法^[7]构建的尺度空间均为非线性尺度空间，可较好保留图像细节部分，但由于所用的特征点描述符不稳定，导致AKAZE算法鲁棒性不高^[8]。针对AKAZE算法所用描述符稳定性低的问题，文献[9]提出在特征点描述时，将M-LDB描述符替换为BRISK描述符来描述特征点，使其具有较好的旋转不变性和尺度不变性，从而提高描述子稳定性。文献[10]提出一种三元组描述符与AKAZE算法相结合的方法，有效提高图像配准精度。文献[11]利用SIFT描述符描述特征向量并获取特征点主方向，提高了AKAZE算法的描述能力。文献[12]利用特征点周围灰度梯度相似性，通过剔除部分匹配点来提高RANSAC算法剔除错误单应性矩阵的速度。上述研究虽然在一定条件下提升了AKAZE算法匹配精度，但出现图像拍摄视角和亮度等较复杂的变化时，仍无法解决图像配准精度低的问题。此外，传统RANSAC算法计算图像变换矩阵时冗余时间多且稳定性较差。

针对现有算法在图像对变化复杂时配准精度低的问题，本文提出一种利用改进AKAZE特征与RANSAC算法的图像拼接算法。采用AKAZE算法建立图像的非线性尺度空间，使用非极大值抑制法计算得到图像特征点，利用卷积神经网络（Convolutional Neural Network，CNN）^[13]描述符生成特征点描述向量，分区块精简特征点并设定嵌套阈值改进RANSAC算法以提升变化矩阵模型计算速度，并避免特征点对太集中造成图像配准精度下降的问题。

1 AKAZE算法 1.1 特征点检测

不同尺度空间下图像亮度的变化可采用非线性偏微分方程来描述，表达式如下：

$ \frac{{\partial L}}{{\partial t}} = {\rm{div}}\left( {c\left( {x, y, t} \right) \cdot \nabla L} \right) $

(1)

其中，div和▽分别为散度和梯度，c(x, y, t)为传导函数，t为进化时间，也是图像尺度参数。

1.1.1 构造非线性尺度空间

AKAZE算法构造非线性尺度空间的方法与SIFT算法类似，两者都设置O组和S层。图像尺σ_i度参数的计算公式为：

$ {\sigma _i} = \left( {o, s} \right) = {\sigma _0}{2^{o + s/S}} $

(2)

其中：i∈[0, N-1]为图像总数；图像组o∈[0, O-1]；子层级s∈[0, S-1]；σ₀为图像初始尺度参数。

图像尺度参数σ_i与进化时间t_i的关系式如下：

$ {t_i} = \frac{1}{2}\sigma _i^2 $

(3)

由式（2）和式（3）得到输入图像和对比度因子之后，使用FED算法^[14]和式（1）计算得到图像的非线性尺度空间，表达式为：

$ {L^{i + 1}} = \left( {\mathit{\boldsymbol{I}} + \tau \mathit{\boldsymbol{A}}\left( {{L^i}} \right)} \right){L^i} $

(4)

其中，，i∈[0, N-1], I为单位矩阵，τ为时间步长，A(Lⁱ)为维度i上的影像矩阵。

1.1.2 特征点位置确定

构造图像的非线性尺度空间后，采用非极大值抑制法计算图像金字塔中各层图像像素点对应的Hessian矩阵值，并对Hessian矩阵进行归一化。然后将Hessian矩阵值与同层8个像素点以及上下邻层18个像素点对比，得到的极值点即为该尺度下的图像特征点。

1.2 特征点主方向

通过特征点附近区域内的一阶微分导数计算图像中该特征点的响应值，再随机选取一个以该像素点为原点的60°扇形区域，并计算绕该点不同方向扇形区域内特征点梯度向量之和，向量和最大的向量方向为特征点主方向。

1.3 特征点描述

将特征点附近区域分成若干子网格，以尺度σ为间隔在子网格中进行重采样获得离散点，再计算其对应像素值以及垂直和水平方向倒数的均值，最终生成一个长度为3 bit的特征点描述向量。

2 CNN描述符

与BoW模型^[15]的描述方法不同，基于卷积神经网络的图像描述方法主要依赖全局信息，而且从深度卷积神经网络模型中提取的通用深度描述符在视觉任务中具有良好的图像描述能力，因此，本文利用CNN模型提取的通用深度描述符对特征点区域图像块进行描述生成特征点描述向量。

2.1 网络结构

本文采用的L2-Net网络^[16]结构如图 1所示，其中，图 1（a）为基本网络，图 1（b）为中央环绕（Central-Surround，CS）网络，其包含两个相同的基本网络。在该网络中，特征塔由池化层和步长为2的卷积操作共同构建，除最后一个卷积层之外，每个卷积层后均有一个归一化层使卷积层的权值和偏置参数保持在0~1之间，最后的卷积操作是利用L2归一化层生成128维特征向量。

2.2 数据预处理

本文采用GL3D数据集^[17-18]进行训练，其中包含90 590张高分辨率图像，涉及378个不同城市和农村场景。该数据集图像由无人机从不同视角并采用多个尺度拍摄，几何重叠面较大。利用几何相似性方法^[18]计算GL3D数据集中不同视角下图像的相似性S_image，去除相似度大于0.85的图像对，剔除GL3D数据集中30%的训练样本。同时，对感兴趣区域提取尺寸为32像素×32像素的图像块，并利用几何相似性方法^[18]得到图像块之间相似度S_patch用于计算损失函数。在CNN描述符的学习中，使用32像素×32像素感兴趣区域图像块对（匹配/不匹配）作为输入。

2.3 损失函数

为拉大非匹配对和匹配对的距离，本文对结构损失函数E₁和几何损失函数E₂进行定义。

2.3.1 结构损失函数

对图像块对进行卷积操作得到两个特征向量${\mathit{\boldsymbol{F}}_1}, {\mathit{\boldsymbol{F}}_2} \in {\mathbb{R}^{{N_1} \times 128}}$，推导图像块对的余弦相似矩阵S=F₁F₂^T，计算出向量L=S-α diag(S)，所得结构损失函数E₁的计算公式为：

$ {E_1} = \frac{{\sum\limits_{i, j} {\left( {\max \left( {0, {l_{i, j}} - {l_{i, i}}} \right) + \max \left( {0, {l_{i, j}} - {l_{j, j}}} \right)} \right)} }}{{{N_1}\left( {{N_{1 - 1}}} \right)}} $

(5)

其中，l_{i, j}为向量L中的元素。α∈(0, 1)为距离比，用来增大非匹配对和匹配对之间的距离。取每批训练样本的损失平均值作为每批训练样本损失值。

2.3.2 几何损失函数

虽然结构损失函数E₁可增大匹配对和非匹配对之间的距离，但无法保证匹配对之间距离接近。为此，本文将几何损失函数定义为：

$ {E_2} = \mathop \sum \limits_i \max \left( {0, \beta - {s_{i, i}}} \right) $

(6)

$ \beta = \left\{ \begin{array}{l} 0.7, {S_{{\rm{patch}}}} \ge 0.5\\ 0.5, 0.2 \le {S_{{\rm{patch}}}} ＜ 0.5\\ 0.2, {\rm{其他}} \end{array} \right. $

(7)

其中，β为自适应参数，s_{i, i}为图像块对的余弦相似矩阵S中的元素，即每对图像块的余弦相似度。以E₁+λE₂作为损失函数，α和λ分别设置为0.4和0.2。

2.4 训练过程

使用梯度下降法更新网络结构参数进行训练，学习率为0.001，权重为0.000 1，学习率衰减率为0.9，采用随机翻转、缩放、90°旋转、亮度和对比度调整等操作进行数据增强。匹配集大小和批量大小分别为64和512，输出的特征向量被归一化为均值是0的单位范数，训练后模型大小为5.3 MB。

3 改进的RANSAC算法

传统RANSAC算法^[19]在一定程度上可以去除错误匹配点对并估算图像变换矩阵模型，但当模型参数不合理时，每次要计算所有错误匹配点对后才能去掉该模型参数造成耗时较多，且当图像中随机特征点对较集中时，易计算出参数局部性过高的图像变换矩阵模型导致图像融合精度低^[20]。

为解决上述问题，本文通过精简图像特征点对和在迭代过程中设定嵌套阈值的方式改进传统RANSAC算法，从而加速变换模型参数计算并提高图像拼接精度。

1）采用具有最大和最小x、y值的4个边缘特征点确定特征点分布范围，将其划分为A×B个网格，网格的长度a、宽度b根据特征点对分布范围矩阵中宽度W、高度H的较小值以及网格数目确定，单位为像素。文中实验将特征点对分布范围矩阵的宽度和高度中较小值的1/40作为网格边长，即a=b=min（H，W）/40。特征点分布如图 2所示，将边缘处小于设定边长的网格作为一个独立网格进行处理。

2）去掉没有特征点的图像块，对于特征点个数大于1的图像块，只保留1个特征点对匹配分数最高的特征点对，特征点个数从1 234个减少至415个，优化后的特征点分布如图 3所示。对比图 2和图 3发现：图 2中特征点分布过于集中，造成计算的变换模型参数具有很高局部性；图 3中特征点分布均匀，计算出的变换模型具有更好的稳定性和准确性，减少特征点数可缩短错误变换模型去除时间。

3）在优化后的特征点对集S中随机选取4对匹配特征点对计算图像变换矩阵模型参数。

4）统计特征点对集S中除了已选取的4对特征点对之外的其他特征点对，并由步骤3计算出变换矩阵模型数目记为局内特征点数目。

5）重复步骤3和步骤4。将迭代次数上限设置为10 000，若计算出的变换矩阵模型H局内特征点对数目大于10，则记录局内特征点对数目及其对应的变换矩阵模型H，否则不记录并继续迭代。设定满足条件的变换矩阵模型数量上限为200，即最终记录的变换矩阵模型H及其对应的局内特征点对数目不超过200。迭代次数上限的设置原则是其应尽可能大，但本文在迭代过程中嵌套了阈值，当满足条件的变换矩阵模型H数量达到200时则停止迭代。通过实验统计不同阈值下最优变换矩阵模型所对应的局内特征点对数目得到阈值设置范围，如图 4所示。可以看出，当阈值设置为150~250时，计算得到的最优变换矩阵模型局内特征点对数目最多且拟合曲线趋于平稳。

6）提取局内特征点对数目最多的变换矩阵模型H，该模型为最优变换矩阵模型。

4 图像拼接 4.1 最佳缝合线

配准变换后的两张图像由于可能存在色差或配准误差等问题，因此直接进行拼接会有明显拼接缝或鬼影现象。为确保图像的拼接精度，采用最佳缝合线算法结合多频段融合算法^[21]对变换后的图像进行拼接。最佳缝合线算法的基本原理是计算重叠区域图像的强度值，选取强度值最小的路径作为最佳缝合线，可有效消除鬼影。

4.2 多频段融合

找到最佳缝合线后，若直接在拼接缝左、右两侧区域取参考图像和变换后的配准图像则会产生明显的拼接缝。多频段融合算法的基本原理是将图像分解为多个不同频率的图像，以不同权重来进行相加融合，可保留图像高频信息，并达到良好的拼接效果。因此，本文使用多频段融合算法来对拼接缝左、右两侧图像进行融合以消除图像拼接缝。

4.3 图像拼接算法流程

本文所用的图像拼接算法流程如图 5所示。特征点区域图像块是通过对原图像构建非线性尺度空间金字塔所提取，利用训练好的模型对每个32像素×32像素的特征点区域图像块进行卷积操作，生成128维的特征点描述向量。

5 实验与结果分析

为验证本文采用的CNN描述符实际配准效果和改进的RANSAC算法实际拼接结果，分别进行图像配准实验和RANSAC算法图像拼接实验。实验的编程环境为PyCharm2019，实验平台为Ubuntu18.04，电脑配置为Intel Core i5 9400，主频为2.9 GHz，内存为16 GB。

5.1 图像配准实验

本文所用的配准图像来源于Hpatches数据库和实际拍摄图像，在Hpatches数据库中，每序列共有6张不同变化的图像。选取6组不同场景下的图像对进行配准实验，先对视角差异与光照差异较大的图像对进行图像配准，再模拟常见的图像变化进行描述子性能对比，通过RANSAC算法去除局外特征点对来计算和统计配准的准确率，配准结果示例如图 6所示。图 6（a）为传统AKAZE算法配准结果，图 6（b）为本文图像拼接算法（以下称为本文算法）配准结果。可以看出：利用传统AKAZE算法对特征点进行描述生成的描述子，对具有较大视角差异的图像对描述能力较差，难以实现特征点的正确匹配；本文算法所用的CNN模型对特征点进行描述生成的描述子具有更好和更稳定的描述能力，图像特征点匹配准确率更高，图像配准的鲁棒性更好。

5.1.1 视角差异图像对配准对比

本文选取Hpatches数据库中具有视角差异的graffiti、fest、home、man、dogman和boat 6对图像（见图 7），分别计算AKAZE算法、SIFT算法和本文算法对上述图像的配准精度，结果如表 1所示。可以看出，本文算法的配准精度平均值较传统AKAZE算法高12.60个百分点，表明本文算法对视角差异图像对配准的准确性更高。

5.1.2 光照差异图像对配准对比

本文选取Hpatches数据库中具有光照差异的londonbridge、crownday、leuven、ajuntament、partyfood和salon 6对图像（见图 8），将AKAZE算法、SIFT算法和本文算法对上述图像的配准精度进行对比，结果如表 2所示。可以看出，SIFT算法在光照差异较大情况下的配准精度平均值较低，传统AKAZE配准精度平均值较SIFT算法要高，但对salon图像对配准精度较低，仅为65.12%；本文算法的配准精度平均值高于其他两种算法，较传统AKAZE算法高6.99个百分点。由此可见，本文算法在光照差异较大情况下对图像对配准的精度更高。

5.1.3 描述子性能对比

保证图像匹配算法有效的前提是局部不变特征能适应常见的图像变换。本文采用召回率（Recall）评价和对比算法在不同变化条件下的匹配性能，召回率即正确匹配的特征点对数占图像中所有匹配点对数的比率，计算公式为：

$ {\rm{Recall}} = \frac{{{\rm{correct}}\;{\rm{matches}}}}{{{\rm{correspondences}}}} \times 100\% $

(8)

实验采用实际拍摄图像并对其进行降采样处理，压缩后图像尺寸为1 280像素×720像素，如图 9所示。

分别对原实验图像进行亮度变化、旋转变化、高斯模糊、尺度变化和翻转变化（绕图像y轴旋转）来模拟图像变化，分别采用AKAZE算法、SIFT算法和本文算法对每组图像进行特征点对配准，得到图像配准实验曲线如图 10所示。可以看出：当亮度增量为-100时，本文算法的召回率比传统AKAZE算法高约20个百分点；旋转变化时本文算法的召回率平均比传统AKAZE算法高15个百分点；高斯模糊时，随着平滑半径的增大，传统AKAZE算法和SIFT算法的召回率降幅较大，而本文算法召回率变化较平稳；尺度变化和翻转变化时，本文算法的召回率均高于传统AKAZE算法和SIFT算法；当图像变化较大时，本文算法的召回率与传统AKAZE算法和SIFT算法的召回率之间差异更大。由上述可知，本文所用的CNN描述符对图像各种变化适应性较强，适用于处理复杂变化图像对的匹配和识别等任务。

5.1.4 图像对配准时间对比

图像对配准时间对比实验采用6组实际拍摄的图像对，每组图像对经降采样处理后尺寸为1 280像素×720像素。将传统AKAZE算法、SIFT算法和本文算法描述单个特征点所用时间进行对比，结果如表 3所示。可以看出：本文算法的单个特征点描述平均时间略高于传统AKAZE算法和SIFT算法，这是因为本文算法构建非线性尺度空间和提取尺度空间中感兴趣图像块耗费了一定的时间。但由表 1和表 2可知，当图像对变化复杂时，本文算法的特征点对配准精度高于传统AKAZE算法和SIFT算法，鲁棒性更好。

5.2 RANSAC算法图像拼接

为比较传统RANSAC算法和本文改进RANSAC算法的性能，本文进行传统RANSAC算法和改进RANSAC算法拼接精度对比实验以及RANSAC算法运行时间对比实验，所用图像均为实际拍摄图像。

5.2.1 拼接精度对比

当特征点过于集中时，传统RANSAC算法得到的全局变换模型参数局部性过高，造成图像拼接精度较低。本文改进了RANSAC采样模式，预先对过于集中的特征点进行精简，使其分布更加均匀，提高算法运行速率和稳定性，同时设定迭代上限和嵌套阈值避免耗费过多时间。采用传统RANSAC算法和改进RANSAC算法所得图像最佳拼接缝和拼接结果对比情况如图 11所示。由于本文采用最佳缝合线对拼接缝左、右两侧图像进行拼接，因此本文中主要对比拼接缝处的图像拼接精度。由图 11可以看出，与改进RANSAC算法相比，传统RANSAC算法在拼接缝处出现明显的偏差，拼接精度更低，这和其RANSAC采样的特征点分布过于集中造成变换模型参数局部性过高密切相关。由上述可知，本文算法的图像拼接精度比传统RANSAC算法更高。

5.2.2 运行时间对比

采用5.1.4节中实际拍摄的6组不同场景下的图像对，每组图像对经降采样处理后图像尺寸为1 280像素×720像素。将传统RANSAC算法和改进RANSAC算法的运行时间进行对比，将传统RANSAC算法迭代次数上限设置为200，结果如表 4所示。可以看出，在迭代次数上限与嵌套阈值相等的情况下，改进RANSAC算法运行时间较传统RANSAC算法缩短4.17 ms，这是因为改进RANSAC算法对特征点进行精简，减少过度密集的特征点，缩短去除错误变换模型的时间，同时使得特征点分布更均匀，提高图像拼接精度。由此可见，对循环迭代设定迭代次数上限和嵌套阈值可有效消除计算变换模型参数的冗余时间。

6 结束语

本文针对图像对在变化复杂时配准精度低的问题，在改进AKAZE特征与RANSAC算法的基础上，提出一种基于卷积神经网络的图像拼接算法。使用AKAZE算法提取图像特征点，通过CNN描述符生成特征点描述向量，优化RANSAC算法的特征点对采样方式，并通过设定迭代上限与嵌套阈值消除计算变换参数模型的冗余时间，从而避免特征点过于集中造成模型参数局部性过高。实验结果表明，和传统AKAZE算法相比，该算法计算时间更短且拼接精度更高。下一步将用多张图像代替图像对，以实现多图像精准拼接。