开放科学（资源服务）标志码（OSID）：

0 概述

图像分辨率是度量图像质量最为重要的指标之一，图像分辨率越高，能够观察到的细节越多^[1]。由于医学图像处理^[2]、遥感卫星侦察^[3]、视频监控应用^[4]及其他许多领域的实际需要，人们对图像质量的要求越来越高。然而，由于获取图像时的外部条件和图像系统的限制，在图像的成像、传输、存储过程中，会产生模糊、畸形和噪声等降质情况。通过改进光学技术和图像传感器来提升分辨率，需要花费较高的经济成本，而且图像质量的提高也存在极限^[1]。图像超分辨率重建通过对多幅具有互补信息的低分辨率图像进行处理，重构出一幅或多幅高分辨率图像^[5]，可以有效克服现有图像系统的固有分辨率限制，提升图像应用能力^[6]。

根据输入低分辨率图像的数量，超分辨率重建方法分为单幅超分辨率重建和多幅超分辨率重建两大类。多幅超分辨率重建技术由TSAI等^[7]于1984年提出，其利用多幅具有亚像素位移的图像提高空间分辨率的频率域。之后，一些学者在此基础上进行了改进和发展^[8-10]。目前，国内外学者已经构建了多个空域处理的框架^[11-13]，其中，基于最大后验估计（MAP）的方法引入正则化理论^[13-15]，能够有效、灵活地在解空间添加先验约束条件^[16]，成为当前研究的主流框架模型。然而，在很多实际应用中，利用有限数量的先验参数模型很难获得大量自然图像的各种特征，同时，由于缺乏足够数量的低分辨率退化图像，重建过程中所能够利用的帧间互补信息有限，多幅超分辨率重建技术存在缺少高频细节信息的缺点。

单幅超分辨率重建可以分为基于插值的方法^[17]、基于重建的方法^[18]和基于学习的方法^[19]。目前，基于学习的方法在单幅超分辨率重建的研究上取得了很大的成功，DONG等^[20]构建了三层卷积神经网络SRCNN，并构造一个端到端的重建网络，但这种浅层的深度网络结构，重建的结果完全依赖于学习的特征，缺乏高频细节。为获得更好的超分性能，KIM等^[21]在SRCNN的基础上，在CNN训练中加入了残差和递归结构，以便在单幅超分辨率重建中可以有效训练深层神经网络结构。针对基于学习超分辨率重建存在边缘信息丢失、易产生视觉伪影等问题，谢珍珠等^[22]提出基于边缘增强的深层网络结构用于图像的超分辨率重建。然而，这些方法的结果依赖于训练数据与测试数据的相似性，结果并不可信，而且仅使用外部先验可能会产生一些伪影。

综上所述，将多幅超分和单幅超分相结合是进一步提高超分辨率性能的有效途径^[23-24]。本文提出一种结合内外部梯度先验的图像超分辨率重建方法。集成深度学习方法的外部梯度先验和$ {\ell _0} $范数的内部梯度、亮度联合约束先验，利用大量外部数据训练深度卷积神经网络，学习低分-高分图像块之间的隐射关系，得到初始的高分辨率梯度图，作为外部梯度约束先验，同时构建$ {\ell _0} $范数的梯度与亮度联合约束作为重建方法的内部梯度约束先验，通过联合利用外部梯度先验和内部梯度先验的互补优势，减少重建结果中可能存在的噪声与伪影效果，增强重建图像的高频空间细节信息。

1 内外部梯度联合约束超分辨率模型

在超分辨率重建过程中，低分辨率观测图像可以看作是由高分辨率场景经过一系列的降质过程（包括几何运动、光学模糊、降采样以及附加噪声等）产生^[5]。现实环境中的低分辨率序列图像在获取过程中经历的模糊程度大致相同，可以得到如下图像观测模型：

$ {g_k} = \mathit{\boldsymbol{DB}}{\mathit{\boldsymbol{M}}_k}z + {n_k} $

(1)

其中：$ z $表示重建图像；$ {g}_{k} $表示输入的某一幅低分辨率图像（$ k $为图像编号，$ k=\mathrm{1, 2}, \cdots , m $）；M_k、B、D和$ {n}_{k} $分别表示几何运动矩阵、模糊矩阵、亚采样矩阵和附加噪声。当$ k=1 $时，此观测模型可以用于单幅超分辨率重建任务。

基于图像观测模型，由于低分辨率图像中包含的信息不足以求解高分辨率图像，超分辨率重建被证明是一个不适定反问题^[25]。而正则化项包含高分解的先验信息，可以补偿丢失的高频细节，因此，有必要在模型中引入特定的正则化项以获得稳定解。本文采用基于最大后验估计（MAP）的超分辨率重建方法，对上述病态问题进行有效的正则化约束，转化成如下能量泛函最优化问题，通过最小化目标函数来获得最优的高分图像：

$ \widehat{z}=\underset{z}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}\left\{\sum\limits _{k=1}^{m}{‖{g}_{k}-\mathit{\boldsymbol{D}}\mathit{\boldsymbol{B}}{\mathit{\boldsymbol{M}}}_{k}z‖}_{2}^{2}+\lambda U\left(z\right)\right\} $

(2)

其中：$ \sum\limits _{k=1}^{m}{‖{g}_{k}-\mathit{\boldsymbol{D}}\mathit{\boldsymbol{B}}{\mathit{\boldsymbol{M}}}_{k}z‖}_{2}^{2} $为数据一致性约束项，由图像噪声模型决定；$ U\left( \mathit{\boldsymbol{z}} \right) $是图像先验项，决定重建图像的性质以及求解过程的稳定性和唯一性；正则化参数$ \lambda $用来控制两项相对贡献量。

本文基于最大后验估计框架，提出一种结合内外部梯度先验的图像超分辨率重建方法。通过联合利用外部梯度先验和内部梯度先验的互补优势，借助高分梯度信息来重建高分辨率图像。模型表达式如式（3）所示：

$ \widehat{z}=\underset{z}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}\left\{\sum\limits _{k=1}^{m}{‖{g}_{k}-\mathit{\boldsymbol{D}}\mathit{\boldsymbol{B}}{\mathit{\boldsymbol{M}}}_{k}z‖}_{2}^{2}+\lambda {G}_{\mathrm{e}\mathrm{x}\mathrm{t}\mathrm{e}\mathrm{r}\mathrm{n}\mathrm{a}\mathrm{l}}(\nabla z)+\\ \;\;\;\;\;\beta {G}_{\mathrm{i}\mathrm{n}\mathrm{t}\mathrm{e}\mathrm{r}\mathrm{n}\mathrm{a}\mathrm{l}}(\nabla z)\right\} $

(3)

其中：$ {G}_{\mathrm{e}\mathrm{x}\mathrm{t}\mathrm{e}\mathrm{r}\mathrm{n}\mathrm{a}\mathrm{l}}(\nabla z) $为基于深度学习的外部梯度先验；$ {G}_{\mathrm{i}\mathrm{n}\mathrm{t}\mathrm{e}\mathrm{r}\mathrm{n}\mathrm{a}\mathrm{l}}(\nabla z) $为来自图像本身的梯度先验；$ \lambda $和$ \beta $是正则化参数。本文超分辨率重建主要分为如图 1所示的2个阶段：首先利用网络学习低分-高分图像块对之间的映射关系，通过输入网络的低分插值图来获得相应的高分图像，从而得到初步的高分梯度图，构造变分模型中的外部梯度约束先验；其次通过构造$ {\ell _0} $范数的梯度与亮度联合约束作为内部梯度约束先验。在重建模型中同时加入内外部梯度先验进行模型约束，减少重建结果中可能存在的噪声与伪影，以获得最优的超分辨率结果。

1.1 基于深度学习网络的外部梯度先验

梯度域在一定程度上有效地反映了自然图像的高频细节和边缘信息，对于外部梯度先验，可以用式（4）表示：

$ {G_{{\rm{external}}}}(\nabla z) = \lambda \left\| {\nabla z - \nabla {\mathit{\boldsymbol{z}}_e}} \right\|_2^2 $

(4)

其中：$ {z}_{e} $表示通过残差卷积神经网络得到的初步高分辨率图像；$ \nabla {\mathit{\boldsymbol{z}}_e} = ({\nabla _x}{z_e},{\nabla _y}{z_e}) $为理想高分辨率图像的梯度向量；$ {\nabla }_{x}{z}_{e} $为$ \nabla {z}_{e} $的水平分量；$ {\nabla }_{y}{z}_{e} $为$ \nabla {z}_{e} $的垂直分量。本文采用非线性深度神经网络学习低分样本与对应高分样本的映射关系，对于图像梯度的计算，需要分别从水平和垂直方向进行估算，所以得到的外部梯度先验为：

$ {G}_{\mathrm{e}\mathrm{x}\mathrm{t}\mathrm{e}\mathrm{r}\mathrm{n}\mathrm{a}\mathrm{l}}(\nabla z)={\lambda }_{1}{‖{\nabla }_{x}z-{\nabla }_{x}{z}_{e}‖}_{2}^{2}+{\lambda }_{2}{‖{\nabla }_{y}z-{\nabla }_{y}{z}_{e}‖}_{2}^{2} $

(5)

利用深度网络估计的初步高分辨率图像的梯度，分别在水平和垂直方向进行梯度约束，$ {\lambda }_{1} $和$ {\lambda }_{2} $分别表示水平和垂直方向外部梯度先验约束的参数。在本文中，采用基于深度递归残差网络（DRRN）方法^[26]，将多个残差单元堆积在一起，如图 2所示，在整体网络结构中，将全局残差学习和递归网络相结合，通过利用全局和局部相结合的残差学习结构降低训练深层网络的难度，同时加入递归学习结构用于在增加网络深度的同时控制模型参数规模。

在本文的深度递归残差网络中，使用291幅图像构造训练数据集，其中91幅图像来自YANG等^[27]提出的稀疏编码超分辨率重建方法，200幅图像来自BSD数据集^[28]。为丰富图像训练集，更好地提取图像特征，提高数据集的泛化能力，对291幅图像的训练数据集进行数据增强，主要包括图像的翻转和旋转，其中图像旋转的角度为$ 90°\mathrm{、}180°\mathrm{、}270° $，翻转方式为水平翻转。对于每个原始图像，在训练数据集中有7个额外增强版本，同时将训练图像分割为64×64大小的图像块，并考虑训练时间和存储复杂性，将图像分割的步长设置为17。在本文的DRRN网络结构模型中叠加25个局部残差单元块，用卷积层重建插值图和高分辨率图像之间的残差，通过大量的外部训练数据得到递归残差网络的模型参数。深度递归残差网络学习到的映射关系可以作为外部梯度先验的获取途径，利用网络学习低分-高分图像块之间的映射关系，在测试阶段利用学习的映射关系获得相应的高分图像，从而得到初步的高分梯度图，作为变分模型中的外部梯度约束先验。

1.2 联合先验约束的重建方法

在MAP图像超分辨率重建模型中，常用的先验模型有拉普拉斯先验、TV先验、马尔科夫随机场先验等，但由于亮度先验是基于独立像素而不是相邻像素的差值，在图像恢复中引入了严重的噪声和伪影，而梯度先验是基于相邻像素之间的差异，使得恢复后的图像具有较少的伪影^[29]。本文为有效保留纹理细节信息，提高重建图像质量，在多幅图像超分辨率重建中采用了亮度和梯度联合约束先验，构建的$ {\ell _0} $范数亮度与梯度联合约束先验模型如下：

$ {G}_{\mathrm{i}\mathrm{n}\mathrm{t}\mathrm{e}\mathrm{r}\mathrm{n}\mathrm{a}\mathrm{l}}(\nabla z)=\beta ({‖z‖}_{0}+{‖\nabla z‖}_{0}) $

(6)

利用光流估计方法^[30]获得运动位移参数$ m $，采用盲去模糊的方法^[29]进行模糊核$ k $估计，根据求得的运动位移$ m $和模糊核$ k $，构建对应的运动矩阵M和模糊矩阵B，因此，通过引入联合先验约束模型，令$ {W}_{k}=\mathit{\boldsymbol{D}}\mathit{\boldsymbol{B}}{\mathit{\boldsymbol{M}}}_{k} $，将式（4）和式（6）代入式（3），最终所需求解的能量泛函如下：

$ \widehat{z}=\underset{z}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}\left\{\begin{array}{l}\sum\limits _{k}^{K}{‖{g}_{k}-{W}_{k}z‖}_{2}^{2}+\lambda {‖\nabla z-\nabla {\mathit{\boldsymbol{z}}}_{e}‖}_{2}^{2}+\\ \beta ({‖z‖}_{0}+{‖\nabla z‖}_{0})\end{array}\right\} $

(7)

重建模型中存在$ {\ell _0} $范数的先验项，因此，通过交替方向乘子算法的凸集优化方法^[31]，添加辅助变量，将非线性优化转换为求解增广拉格朗日函数的问题。对于本文的重建模型，通过引入与$ z $和$ \nabla z $相对应的辅助变量$ u $和$ v $，目标函数可以改写为：

$ \begin{array}{l}\widehat{z}=\underset{z}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}\left\{\begin{array}{l}\sum\limits _{k}^{m}{‖{g}_{k}-{W}_{k}z‖}_{2}^{2}+\lambda {‖\nabla z-\nabla {\mathit{\boldsymbol{z}}}_{e}‖}_{2}^{2}+\\ \beta ({‖u‖}_{0}+{‖v‖}_{0})\end{array}\right\}         \\  \mathrm{s}.\mathrm{t}.      u=z, v=\nabla z\end{array} $

(8)

利用增广拉格朗日的方法，将式（8）转为无约束的优化问题：

$ \widehat{z}=\underset{z}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}\left\{\begin{array}{l}\sum\limits _{k}^{K}{‖{g}_{k}-{W}_{k}z‖}_{2}^{2}+\lambda {‖\nabla z-\nabla {\mathit{\boldsymbol{z}}}_{e}‖}_{2}^{2}+\\ \frac{\alpha }{2}{‖z-u‖}_{2}^{2}+\frac{\mu }{2}{‖\nabla z-v‖}_{2}^{2}+\\ \beta ({‖u‖}_{0}+{‖v‖}_{0})\end{array}\right\} $

(9)

其中：$ \alpha $和$ \mu $是惩罚函数的惩罚参数。固定$ z $、$ u $和$ v $ 3个变量中的2个来求解另一个，通过对这3个变量进行循环交替迭代求解，直到过程收敛。最后可以得到重建后的重建图像$ z $。

2 实验与结果分析

本文针对的实验对象是自然图像，将通过模拟实验来验证本文所采用方法对于自然图像信息重建的有效性，并分别用双三次内插法、自适应自回归（ASAR）方法^[32]、深度递归残差网络（DRRN）方法^[26]、亮度-梯度联合约束（L0RIG）方法^[33]和本文方法对实验图像进行重建实验，比较分析本文方法的重建效果。实验以多帧序列图像中的参考图像作为DRRN的输入图像，输出得到初步的高分辨率图像$ {z}_{e} $，从而得到联合重建模型中的外部梯度先验。将多帧序列图像输入到联合重建模型中，结合内外部梯度先验约束信息，重建得到一幅高分辨率图像作为最后的重建结果，重建模型如图 3所示。

2.1 模拟序列图像实验

实验中的图像如图 4所示。对于每一幅原高分辨率图像，根据式（1）的图像观测模型，可以得到4幅具有0.5个像素位移的模拟图像。模糊函数采用支持域为7×7、方差为1的高斯模糊；通过隔像素取平均的方法对降质图像进行降采样，采样因子设为2；最后每组图像得到4幅低分辨率图像，在实验中将使用这5组图像进行实验。为评估重建图像的质量，采用峰值信噪比（Peak Signal to Noise Ratio，PSNR）和结构相似性（Structure Similarity，SSIM）指数作为的评价标准，PSNR和SSIM值越大，表示重建结果越理想。

在模拟序列图像实验中，将本文联合重建方法与三次内插法、ASAR方法^[32]、DRRN方法^[26]、L0RIG方法^[33]处理的结果进行对比分析。以图 4中的图像作为模拟实验数据，图 5和图 6给出了不同超分辨率方法的重建结果，矩形显示了重建图像的放大区域，以比较不同方法的定性性能，表 1为定量评价指标PSNR和SSIM的结果。在视觉效果上，相比其他4种对比方法，本文方法能够提供更多的高频细节信息，有效减少噪声和伪影。而ASAR方法^[32]的重建结果性能最差，缺少对高频信息的恢复。DRRN方法^[26]的重建结果噪声去除性能最好，但有些边缘被过度平滑，在图 5（c）中，将Lean图像重建结果中选择的区域放大后的图像显示，DRRN方法^[26]由于振环伪影效应导致Lean图像的眼睛区域存在错误重建。L0RIG方法^[33]的结果中明显存在多处不理想的边缘伪影，虽然能够恢复一些丢失的细节，但不能抑制图像上的噪声。从图 5显示的放大区域可以清晰辨别内外梯度先验联合约束的方法，在超分辨率过程中对图像细节信息的恢复能力要远胜于其他几种超分辨率重建方法，能够获得更好的定量指标。

表 1给出了实验中具体的PSNR和SSIM评价指标结果，根据PSNR和SSIM两种客观评价指标，在对Monarch图像的实验中，ASAR方法^[32]的PSNR值为22.581 dB，DRRN方法^[26]的PSNR值为23.706 dB，L0RIG方法^[33]的PSNR值为24.037 dB，本文方法的PSNR值为25.763 dB。定量结果表明了本文方法有效提高了超分辨率重建性能，通过结合深度学习的外部梯度先验和$ {\ell _0} $范数的内部梯度、亮度联合约束先验，在保留低频内容的同时恢复高频细节，在噪声去除和边缘保护上能达到较好的平衡效果，并且在图像的细节信息恢复上性能更加显著。

2.2 真实序列图像实验

本文展示了两组真实实验，文本和磁盘的真实图像灰度序列是多维信号处理研究组（MDSP）基准数据集^[34]的一部分。在真实实验中，无法用PSNR和SSIM等指标定量地比较不同超分辨率方法的重建结果，本文采用主观评价的方法对图像质量进行评价。将序列图像的中间帧作为本次重构的参考图像帧，将图 7（a）和图 8（a）选为参考图像。图 7（b）和图 8（b）为双三次内插结果，图 7（c）和图 8（c）为ASAR方法^[32]重建结果，图 7（d）和图 8（d）为DRRN方法^[26]重建结果，图 7（e）和图 8（e）为L0RIG方法^[33]重建结果，图 7（f）和图 8（f）为本文方法重建结果。

为了更好地进行视觉比较，将图 7和图 8中部分方框区域分别进行放大显示，该方法还能较好地保留真实图像中的细节信息，表明超分辨图像具有较好的视觉质量。从对比结果可以看出，本文算法和亮度-梯度联合方法都能得到比三次卷积内插结果质量更好的高分辨率图像，同时，本文算法在视觉上明显优于ASAR方法^[32]和DRRN方法^[26]，重建结果有效的减少图像中存在的模糊和噪声，增强图像的细节信息，能更清晰地重建出图像上的文字等细节。

3 结束语

本文提出一种基于内外部梯度先验联合约束的图像超分辨率重建方法，利用深度学习的外部梯度先验和$ {\ell _0} $范数的内部梯度、亮度联合约束先验的互补优势，增强图像的先验信息，借助高分辨率的梯度信息重建超分辨率图像，从而增强重建结果的高频空间细节信息，抑制噪声与伪影。在模拟和真实序列图像上的实验结果表明，本文方法能够提高图像重建精度，减少模糊和噪声，增强图像中的细节信息。本文引入梯度结构并与利用内外部图像的先验信息相结合，增强重建图像的几何结构，下一步尝试将模型重建的结果作为神经网络结构的先验约束，以生成具有丰富纹理细节的重建图像。