0 概述

图像超分辨率（Super-Resolution，SR）重建由HARRIS等人于20世纪60年代提出，其按照重建时输入所需低分辨率（Low-Resolution，LR）图像数量可分为单幅重建和多幅重建。单幅图像超分辨率（Single Image Super-Resolution，SISR）重建问题是一个不适定的逆问题，旨在将LR图像通过一定的算法重建到视觉较好的高分辨率（High-Resolution，HR）图像上。

随着深度学习的快速发展以及高性能GPU的出现，以卷积神经网络（Convolutional Neural Networks，CNN）为代表的学习方法^[1-3]广泛应用于SR图像中，通过学习LR到HR的非线性映射构造HR图像。文献[1]将三层CNN引入SR图像中，并构建基于CNN的超分辨率重建（Super-Resolution using CNN，SRCNN）模型，该网络模型的3个卷积层分别表示特征提取、非线性映射和图像重建，其可直接学习LR图像与HR图像之间端到端的映射关系，取得相较传统方法显著的改进效果。文献[4]提出一种基于较深卷积网络的精准超分辨重建模型，其将网络深度增加到20层，并通过残差学习和自适应梯度裁剪来降低深度网络的训练难度。为控制模型的参数数量，文献[5]提出一种通过递归监督和跳过连接的深度递归卷积网络（Deep Recursive Convolutional Networks，DRCN），其相比SRCNN取得显著效果。在文献[6]提出残差网络（ResNet）后，很多研究人员将残差网络引入基于CNN的图像超分辨率方法中。文献[7]利用多层连接CNN实现低层次特征和高级特征的级联。文献[8]通过使用简化的残差块构建较宽网络EDSR和较深网络MDSR（大约有165层），EDSR和MDSR对超分辨重建图像性能的显著改进证明了网络深度对SR的重要性。文献[9]提出一种深度递归残差网络（Deep Recursive Residuals Network，DRRN），采用权重共享策略满足较深网络中巨大的参数需求。为提升图像超分辨效果，对网络进行加深和扩大操作已经成为一种设计趋势，但仅通过加深网络层数会引起计算量大、消耗内存多以及训练时间长等问题，不适用于移动和嵌入式视觉应用场景。然而，基于CNN的方法^[7-9]对各信道特征进行处理时，其在处理高频信息和低频信息时缺乏灵活性。

由于注意力机制在建模全局依赖关系与降低无关图像域特征信息方面表现出良好的性能^[10-12]，因此本文结合特征图注意力机制，提出一种图像超分辨率重建模型。该模型由特征提取块、基于多特征图注意力机制的信息提取块和重建块3个部分构成。利用特征提取块提取LR图像中的特征，通过信息提取块逐步提取残差信息，重建块使用学习到的信息生成HR图像输出。为更好地对特征图中的高低频信息进行处理，实现自适应地调整信道特征，在信息提取块中使用多特征图注意力机制来增强特征的表达能力。特征图注意力机制由一个全局平均池化（Global Average Pooling，GAP）层和两层全连接层构成的门控机制组成，GAP可屏蔽空间上的分布信息，更加关注通道间的相关性，两层全连接层构成的门控机制通过对各通道特征图信息进行融合，利用通道间的相关性获得特征图权重值来自适应调整信道特征，以更好地恢复图像细节。

1 本文网络构建

本文设计的网络由特征提取块、多个基于特征图注意力机制的信息提取块和重建块3个部分组成，具体结构如图 1所示。

1.1 特征提取块

特征提取块用于从原始LR图像中提取特征，本文设计的特征提取块由2个3×3的卷积构成，特征维度均为64。用I_LR和I_SR表示网络的输入和输出，特征提取过程可用式（1）表示：

$F_{0}=H_{\mathrm{FE}}\left(I_{\mathrm{LR}}\right)$

(1)

其中，H_FE表示提取特征的函数，F₀表示提取的特征和下一阶段网络的输入。

1.2 基于特征图注意力机制的信息提取块

信息提取块用于逐步提取残差信息，它由4个相同结构的特征图注意力机制的信息提取块组成。每个特征图注意力机制的信息提取块结构如图 2所示，其分为结合注意力的信息增强单元和压缩单元。该过程可用式（2）表示：

$F_{k}=H_{k}\left(F_{k-1}\right), k=1, 2, \cdots, n$

(2)

其中，H_k表示第k个信息提取函数，F_k-1和F_k分别表示第k个信息提取块的输入和输出。

1.2.1 特征图注意力机制

在图像的复原过程中，高频通道特征对HR的重建更为重要，因此本文通过引入注意力机制来更加关注该信道特征。想要实现对每个特征通道分配不同的关注资源，则需关注以下2个问题：1）LR空间中的信息具有丰富的低频分量和有价值的高频分量，低频部分更为平坦，而高频分量通常是充满边缘、纹理和其他细节的区域；2）卷积层中的每个滤波器只能接收局部感受野信息，因此卷积后的输出无法利用局部之外的上下文信息。

针对上述问题，本文通过使用GAP将空间上所有点的信息都平均为一个值，这样可以屏蔽掉空间上的分布信息，以更好地关注通道间的相关性，该通道统计有助于表达整个图像信息^[13]。如图 3所示，X=[x₁, x₂, ..., x_c, ..., x_C]作为输入，C个特征图大小为H×W，经过全局平均池化后的结果呈现C个特征图之间的全局信息z，第c个特征图的全局信息z_c计算方法如式（3）所示：

$z_{c}=H_{\mathrm{GAP}}\left(x_{c}\right)=\frac{1}{H \times W} \sum\limits_{i=1}^{H} \sum\limits_{j=1}^{W} x_{c}(i, j)$

(3)

其中，x_c(i, j)是第c个特征图x_c在位置(i, j)处的值，H_GAP表示全局平均池化功能函数。

为了从全局平均池化的结果z中学习到每个特征通道的特征权值，需要做到以下3点：

1）网络足够灵活，保证学习到的权值具有价值。

2）网络足够简单，不能增加网络的复杂性以致训练速度大幅降低。

3）网络要学习通道之间的非线性相互关系，激励重要的特征且抑制不重要的特征。

针对上述问题，本文设计两层全连接层构成门控机制，以融合各通道的特征图信息，门控单元S的计算方法可用式（4）表示：

$s=g\left(W_{2} \delta\left(W_{1} z\right)\right)$

(4)

其中：g和δ分别表示门控和ReLU函数，W₁乘以z表示一个全连接层操作，W₁的维度为C/r，r为缩放因子，文中取值为16，经过一个ReLU层后，输出的维度不变，再和W₂相乘，这也是一个全连接层的过程，W₂的维度为C，因此输出的维度为1×1×C；经过Sigmoid函数得到特征图的权重值，最后将获得的特征图权重值s用于重新调整输入x_c，具体如式（5）所示：

$\hat{x}_{c}=s_{c} \cdot x_{c}$

(5)

其中，s_c和x_c是第c个通道中的缩放因子和特征映射。这样通过特征图注意力机制可自适应调整通道特征，以增强网络的表征能力。

1.2.2 信息增强单元

信息增强单元是多个特征图注意力机制的信息提取块核心，其可以分为局部浅层网络和局部深层网络2个部分。每个部分均包含3个卷积层和3个注意力模块，卷积核大小都设置为3×3，且每个卷积层的特征图维度如图 2所示。局部浅层网络的3个卷积层的特征维度分别为48、32与64，局部深层网络的3个卷积层的特征维度分别为64、48与80，每个卷积层后面都有一个非线性激活单元LReLU。为增加filter之间的对角相关性并减少训练参数，其前后2个部分的中间卷积层均采用分组卷积的方式。考虑到深层网络的表达能力更强，本文将第3个注意力模块的特征图切分为2个部分，假定该模块的输入为F_k-1，则模块输出可表示为：

$P_{1}^{k}=C_{a}\left(F_{k-1}\right)$

(6)

其中，F_k-1是前一个信息提取块的输出，也是当前信息提取块的输入。C_a为链式卷积操作，P₁^k为第k个增强单元中前一部分卷积层的输出。由于本文的特征图注意力机制能自适应地调整通道特征，且不改变特征图维度大小，则P₁^k的维度为64，P₁^k中经过s=4进行切分后，维度为16的特征图和前一部分第一个卷积层的输入在通道维度上相连接，该部分可被看作是保留的局部浅层网络特征R^k，具体如式（7）所示：

$R^{k}=C\left(S\left(P_{1}^{k}, \frac{1}{s}\right), F_{k-1}\right)$

(7)

其中，C和S分别表示连接Concatenate操作和切片Slice操作。

将剩下的维度为48的特征图作为后续模块的输入，这主要是进一步增强浅层网络特征。相对于前一部分而言，该部分成为局部深层网络特征，具体如式（8）所示：

$P_{2}^{k}=C_{b}\left(S\left(P_{1}^{k}, 1-\frac{1}{s}\right)\right)$

(8)

其中，P₂^k，C_b分别为输出和后续模块的堆叠卷积操作。信息增强单元可用式（9）表示：

$\begin{aligned} P^{k}=& P_{2}^{k}+R^{k}=C_{b}\left(S\left(P_{1}^{k}, 1-\frac{1}{s}\right)\right)+\\ & C\left(S\left(P_{1}^{k}, \frac{1}{s}\right), F_{k-1}\right) \end{aligned}$

(9)

其中，P^k是增强单元的输出。局部深层网络特征P₂^k以及局部浅层网络特征和未处理特征相结合的R^k都被压缩单元所利用。

1.2.3 信息压缩单元

信息压缩单元主要是压缩信息增强单元中特征的冗余信息。本文采用一层1×1卷积层降维，并对增强单元中的特征信息进行融合。

1.3 重建块

重建块主要是利用上文卷积层学习到的信息，将LR图像重建成不同尺度的HR图像。通过比较反卷积层（也称为转置卷积）、最邻近上采样+卷积、亚像素卷积层ESPCN^[14]这3种可用的重建方法，结果发现ESPCN在计算复杂度和性能方面均优于其他2种方法。因此，本文网络可以用式（10）表示：

$I_{\mathrm{SR}}=H_{\mathrm{REC}}\left(H_{n}\left(F_{n-1}\right)\right)+U\left(I_{\mathrm{LR}}\right)$

(10)

其中，H_REC，U分别表示重建块和双三次插值运算，I_SR表示最终输出。

1.4 损失函数

优化网络的损失函数是整个网络模型的调度中心，目前在图像超分辨率重建中广泛使用的损失函数是均方误差（Mean Square Error，MSE）。它用来衡量预测的HR图像 $\hat{I}$和相应的真实图像I之间的差异，计算方法如式（11）所示：

$l_{\mathrm{MSE}}=\frac{1}{N} \sum\limits_{i=1}^{N}\left\|I_{i}-\hat{I}_{i}\right\|_{2}^{2}$

(11)

文献[8]通过实验证明MSE损失训练不是最好的选择，而平均绝对误差（Mean Absolute Error，MAE）是另一种常用的损失函数，其计算方法如式（12）所示：

$l_{\mathrm{MAE}}=\frac{1}{N} \sum\limits_{i=1}^{N}\left\|I_{i}-\hat{I}_{i}\right\|_{1}$

(12)

基于信息蒸馏网络快速准确的单幅图像超分辨率IDN^[15]已经证明MAE损失训练对图像超分辨有一定作用，因此本文先用MAE损失函数训练，再用MSE损失函数微调。

2 实验设置与结果分析

本文使用的平台是CentOS 7.4操作系统，双核Intel 2.2 GHz CPU 64 GB内存，Tesla V100 GPU，32 GB内存和4 TB硬盘，并在基于GPU版本的Tensorflow1.13深度学习框架下训练本文模型。本文采用文献[16]提出的方法初始化权重，偏差设置为0，并采用Adam^[17]对网络进行优化，设置批量数大小为16，初始学习率为2e-4，每迭代训练2 000次学习率降为原来的一半，总共迭代10 000次。

2.1 数据集

实验选择用于图像超分辨率的标准数据集DIV2K^[18]为研究对象，该数据集是新发布的用于图像复原任务的高质量图像数据集，每张图像具有2K的分辨率。DIV2K数据集包含800张训练图像、100张验证图像和100张测试图像，但是测试数据集目前尚未发布，因此本文采用Set5^[19]、BSD100^[20]、Urban100^[21]和Manga109^[22]4个广泛使用的基准测试数据集进行模型性能评估。在这些数据集中，Set5和BSD100包含自然场景，图片个数分别是5和100，Urban100包含100张具有挑战性的城市场景图像，其中包含不同频段的细节，Manga109是由日本专业漫画家绘制的109幅漫画组成。

2.2 数据集预处理

针对实际工程应用构建出有效训练集是目前图像复原中普遍存在的问题，当前主流的数据预处理方式有双三次插值算法和最邻近算法2种。本文使用双三次插值算法生成训练LR/HR图像对，且为了和基于GAN的网络进行对比实验，本文使用最邻近算法进行预处理，2种不同方式的预处理对基于特征图注意力机制的超分辨重建都有一定的效果。

为了充分利用训练数据，本文采用以下3种方式对数据进行增强：1）将图片旋转90°、180°和270°；2）将图片水平翻转；3）以0.9、0.8、0.7和0.6的因子缩小图像。

2.3 实验结果分析

为了探究注意力机制对本文网络的影响，对本文网络与移除了注意力机制的超分辨网络（SR-Net）在放大4倍后的DIV2K验证集上的峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）进行对比，结果如图 4所示。从图 4可以看出，2个网络都收敛很快，但本文网络的PSNR比SR-Net网络高出约0.15 dB。

将本文模型与Bicubic、SRCNN、VDSR、DRRN、IDN、SR-Net模型在Set5数据集上进行重建对比，结果如表 1与图 5所示。从表 1可以看出，虽然SR-Net的PSNR值比IDN低0.2 dB，但是本文模型的PSNR值比IDN模型高0.32 dB，且图 5（i）的轮廓比图 5（g）更加清晰，更符合原始图像5（b）的细节，说明本文提出的基于特征图注意力机制的图像超分辨网络可以增强特征的表达能力，能够恢复出更多的高频细节信息。

将本文提出的基于特征图注意力机制的超分辨重建网络与SRCNN、VDSR、DRCN、DRRN、IDN超分辨率模型进行定性和定量对比。表 2给出了分别放大2倍、3倍与4倍这3种不同尺度下，不同的图像超分辨模型利用图像的PSNR和结构相似度（Structural Similarity，SSIM）这2种广泛使用的图像质量评估指标的定量对比结果，其中，最优结果加粗表示。从表 2的数据可以看出，本文模型在Set5^[19]、BSD100^[20]、Urban100^[21]和Manga109^[22]数据集上的PSNR与SSIM多数都超过了其他超分辨率模型，虽然2倍放大尺度下在Set5上的结果略低于IDN模型，但在其他数据集上的结果都优于IDN。随着放大倍数的增大，图片重建的难度也会随之增大，在放大倍数为4的情况下，本文模型相比SRCNN模型在Manga109数据集上PSNR提升了2.66 dB，与本文模型PSNR值相比差距最小的是IDN模型，在B100数据集上比本文模型PSNR值低0.1 dB。

从图 6可知，多数重建模型沿水平线出现模糊伪影，图 6（d）和图 6（f）重建出的线条较模糊，而图 6（g）的重建效果比前两者好，但窗户玻璃的边缘轮廓不清晰，且线条细节恢复不够，而本文模型重建出的图 6（h）能重建出更多的细节，且线条和边缘轮廓更清晰。当缩放因子较大时，超分辨重建效果较差在很大程度上是由高频信息不足导致的，而本文模型利用特征图注意力机制能从LR空间中获得更多有用的特征并产生较好的效果。

由于人像图片中眼睛部分细节较多，因此本文对超分辨后的图像右眼部分进行放大对比。实验分别采用本文模型、Bicubic、VDSR、DRRN和IDN对实际图片进行超分辨重建，结果如图 7所示。从图 7可以看出：相较于原始图像7（a）而言，图 7（d）DRRN模型重建的高分辨图像视觉效果较差；图 7（c）和图 7（e）重建出的高分辨图像在视觉上有所提升，但放大后的图片边缘轮廓仍然模糊；本文模型重建出的高分辨图 7（f）不仅在视觉上效果最佳，且放大后的眼睛部分具有较为锐利的边缘和比较清晰的纹理细度。因此，本文模型重建后的效果在视觉上优于其他模型，实用性更强。

基于对抗网络的图像复原是比较常见的，实验对本文模型与SRGAN^[23]进行对比实验，结果如表 3所示。从表 3可以看出，相比Bicubic模型与SRGAN模型，本文模型的PSNR更高。从图 8网络重建效果对比图可知，SRGAN模型构建生成的图效果比本文模型好，该结果是通过10个人对比观察重建效果图主观感觉得出，其中6个人认为中间SRGAN模型生成的图片8（b）和8（e）效果更好，3个人认为本文模型生成的图 8（c）和图 8（f）更好，1个人认为2个模型效果相当。

文献[24]提出的图像超分辨重建的图像质量评价方法PSNR/SSIM不能客观反映图像的主观效果，而图像超分辨重建的图像质量评价方法平均主观意见分（Mean Opinion Score，MOS）需要大量的人力成本且不能复现。因此，提出更加精确的图像质量评价方法十分必要。但是在新的评价方法提出之前，本文沿用主流的PSNR/SSIM图像质量评价方法对模型进行评估，在该评估体系下，本文模型不仅在客观定量评价指标上有所提高，且能重建出更多符合原始图像的细节信息，这说明特征图注意力机制在图像超分辨重建中具有重要的作用。

3 结束语

本文设计一种基于特征图注意力机制的图像超分辨率重建网络模型，对彩色图像进行不同尺度的超分辨重建。该模型通过特征提取块从原始LR图像中提取特征，再由多个基于特征图注意力机制的信息提取块自适应地调整特征通道信息，以增强特征的表达能力，有效恢复出更多轮廓纹理等细节信息。实验结果表明，本文模型可有效提升图像超分辨率重建效果。下一步将对基于CNN和生成性对抗网络构建的模型重建效果进行分析与研究，实现更为精确的图像质量评估。