开放科学(资源服务)标志码(OSID)：

0 概述

单张图像超分辨率（Single Image Super-Resolution，SISR）重建将一个低分辨率（Low Resolution，LR）图像映射到一个高分辨率（High Resolution，HR）图像，已广泛应用于安保系统^[1]、智能监控系统^[2]、医学图像增强^[3]等领域。由于一个特定的低分辨率图像可能对应多个高分辨率图像，因此SISR是一个高度病态的过程。研究人员提出基于插值^[4]、基于重构^[5]，以及基于学习^[6-7]的SISR方法，其中基于卷积神经网络（Convolutional Neural Network，CNN）的SISR方法因其强大的表征能力而具有优异的重建性能。

深度学习已经成为计算机视觉领域的重要工具，通过构建端到端的卷积神经网络来学习低分辨率到高分辨率之间的映射关系。DONG等将超分辨率重建任务和深度学习相结合，提出只包含3层卷积层的超分辨率重建网络SRCNN^[8]，具有较优的重建效果。为提高网络模型的映射能力，KIM等根据残差学习原理，提出更深的网络VDSR^[9]和DRCN^[10]。TAI等在DRRN^[11]中引入递归残差块，降低网络的训练难度并通过递归块减少网络参数。这些方法都是通过插值将低分辨率图像放大到与高分辨率图像相同的尺寸，进而提取特征，导致网络的训练时间延长。针对该问题，SHI等提出ESPCN^[12]，在网络末端通过亚像素卷积将初始低分辨率图像放大到与高分辨率图像一致的尺寸。后续很多网络模型结合亚像素卷积的优点，重建效果都得到了一定程度的提升。LIM等考虑到BN层对超分辨率重建效果的影响，利用残差块堆叠出EDSR网络^[13]，并去掉相应的BN层。ZHANG等在RCAN^[14]中引入SE^[15]模块，在每个残差块中加入SE模块，使网络在传递信息的过程中不断被修正，从而提高模型的性能指标。为降低计算成本，在超分辨率重建任务中，轻量级和高效模型的构建越来越受到研究人员的关注。AHN等在残差网络的基础上，结合级联机制通过局部和全局来集成多个层的特征，设计一个适用于移动场景的轻量级网络CARN^[16]，导致重建后的指标降低。之后，MUQEET等提出MAFFSRN^[17]并引入多注意力模块来提高性能。ZHAO等在通道聚合网络（Path Aggregation Network，PAN）^[18]中引入像素注意力，使得模型在加入较少参数量的同时提升重建指标。文献[19]设计一种基于蝴蝶结构的网络LatticeNet以自适应组合残差块，取得了较优的重建效果。轻量级超分辨率重建网络能够平衡峰值信噪比（Peak Signal to Noise Ratio，PSNR）与参数量之间的关系。

本文提出一种轻量化动态自适应层叠网络（Dynamic Adaptive Cascade Network，DACN）。通过双路残差的学习方式提取图像的纹理细节并过滤冗余信息，增强信息交互性，获得更丰富的信息。通过纵向并行地共享双路残差块（Dual Residual Block，DRB）中的部分卷积参数，利用可学习参数调整共享卷积的权重，在减少参数量的同时，使得卷积参数更加契合原始特征与目标特征的非线性映射关系，提高网络对纹理细节的提取性能。

1 动态自适应层叠网络 1.1 网络结构

DACN的架构如图 1所示。DACN由N个动态自适应层叠模块（Dynamic Adaptive Cascade Block，DACB）通过残差连接相连构成，并通过一个全局跳跃连接保留原始特征，将不同的卷积块串接后加上1×1卷积层，获得中高频信息，从而改善图像重建效果。DACB由M个DRB和M-1个动态自适应模块（Dynamic Adaptive Block，DAB）层叠组成。

DACN主要由$ N $个DACB通过残差连接方式级联组成，低分辨率图像先通过$ 3\times 3 $的卷积提取浅层特征，令$ x $表示网络的输入，浅层特征的计算过程如式（1）所示：

$ {F}_{0}={f}_{s}\left(x\right) $

(1)

其中：$ {f}_{s} $表示$ 3\times 3 $的卷积操作。通过DACB提取图像的深层特征，深层特征的计算过程如式（2）所示：

$ {F}_{1}=\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{c}\mathrm{a}\mathrm{t}\left({f}_{d}^{1}\right({F}_{0}), {F}_{0}) $

(2)

其中：$ {f}_{d}^{1} $表示第一个DACB，将浅层特征与DACB得到的特征进行合并，并将其作为下一层的输入，保证信息在传播过程中不会丢失。之后，特征以同样的方式通过$ N-1 $个$ 1\times 1 $的卷积和DACB，第$ i $层的输出如式（3）所示：

$ {F}_{i}=\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{c}\mathrm{a}\mathrm{t}\left({f}_{d}^{i}\right({f}_{t}^{i-1}\left({F}_{i-1}\right)), {F}_{i-1}) $

(3)

其中：$ {f}_{t}^{i} $和$ {f}_{d}^{i} $分别表示第$ i $个$ 1\times 1 $卷积操作和DACB。得到的$ {F}_{n} $在保留信息的同时，通过模块强大的非线性映射能力提取丰富的纹理细节，最后采用一个$ 1\times 1 $的卷积来实现特征转化，为后续图像的重建做铺垫。提取到的深层特征表示如式（4）所示：

$ {F}_{f}={f}_{t}^{n}\left({F}_{n}\right) $

(4)

其中：$ {f}_{t}^{n} $表示最后的$ 1\times 1 $卷积操作。

1.1.1 动态自适应层叠模块

动态自适应层叠模块目的是有效地提取重要的纹理细节，同时过滤掉无用的特征。动态自适应层叠模块主要包括DRB和DAB。

根据残差网络的思想，DACB选择以层叠的方式将DRB和DAB联合，通过每次的叠加使得初始特征与更新后的特征进行交互，增强网络的非线性映射能力。DACB每次通过DAB的特征增强后，将$ 1\times 1 $卷积层作为过渡层，以便后续更有效地提取特征。令DACB的输入为$ {F}_{0} $，DACB的信息流传递如式（5）~式（7）所示：

$ {F}_{1}={h}_{1}\left({f}_{c}^{1}\right({F}_{0}\left)\right) $

(5)

$ {F}_{j}={h}_{j}\left({f}_{c}^{j}\right({f}_{r}^{j-1}({F}_{j-2}+{F}_{j-1})\left)\right) $

(6)

$ y=\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{c}\mathrm{a}\mathrm{t}({F}_{1}, {F}_{2}, \cdots , {F}_{m}) $

(7)

其中：$ {f}_{c}^{j} $表示第$ j $个$ 1\times 1 $卷积操作；$ {f}_{r}^{j-1} $表示第$ j-1 $个动态自适应模块；$ {h}_{j} $表示第$ j $个双路残差块，最后将层叠的结果合并作为DACB的输出$ y $。

1）双路残差块，采用双路并行的方式提取特征。本文考虑到加入过多的普通卷积使得参数量显著提升，DRB的上路通过深度可分离卷积提取低频特征。相比对应的卷积，深度可分离卷积不仅具有较多的计算量以及较少的参数量，同时能更好地进行维度变化。假设DRB的输入为$ x $，DRB的上路信息传递如式（8）所示：

$ {x}_{1}={f}_{\mathrm{d}\mathrm{w}}^{2}\mu {f}_{\mathrm{d}\mathrm{w}}^{1}\left(x\right) $

(8)

其中：$ \mu $表示LReLU激活函数；$ {f}_{\mathrm{d}\mathrm{w}} $表示深度可分离卷积。通过一个像素注意力来修改特征权重，将像素注意力生成的三维矩阵作为注意力特征。像素注意力通过$ 1\times 1 $卷积层和Sigmoid函数得到注意力图，然后将注意图与输入特征相乘，如式（9）所示：

$ {y}_{1}={x}_{1}\times \sigma \left({f}_{1}\right({x}_{1}\left)\right) $

(9)

其中：$ \sigma $表示Sigmoid激活函数；$ {f}_{1} $表示$ 1\times 1 $卷积。DRB的下路由两个残差块组成，主要目的是通过串行方式提取高频特征，得到丰富的纹理信息，如式（10）所示：

$ {y}_{2}={f}_{r}\left(x\right) $

(10)

其中：$ {f}_{r} $表示下路两个残差块。最后将低频特征和高频特征合并，如式（11）所示：

$ y=\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{c}\mathrm{a}\mathrm{t}({y}_{1}, {y}_{2}) $

(11)

其中：$ y $表示DRB的输出，通过这种学习方式使得DRB在提取高频特征的同时保留一些必需的低频信息。

2）动态自适应模块，通常情况下，网络越深参数量越多，可学习到的内容也就越多，最终得到的结果也会更理想。而轻量化网络因其参数量较少，通常对模型的设计要求较高，需要充分且合理地利用卷积核来提取丰富的特征。因此，本文基于动态卷积核^[20]的思想，设计动态自适应模块，并与双路残差块联合工作，在网络参数量减少的同时进一步增强特征的提取能力。动态自适应模块结构如图 2所示，利用注意力机制得到每个卷积核所需要的权重，该注意力机制与通道注意力类似，不同点在于最后通过Softmax函数将权重值控制在0和1之间，且权重值总和为1。

动态自适应模块的注意力机制以非线性方式叠加卷积核，使得模型的表征能力得到显著提升。利用上层DRB的下路4个卷积核和2个新的卷积核作为动态卷积核的子卷积，每个卷积核与权重值相乘再相加，使得模块在提取特征时可以自适应地选择卷积核的参数。DRB中的下路卷积核通过串行方式来逐步提取特征，此时卷积核已经有了“横向”提取特征的特征参数，经过DAB的并行处理，使得原本拥有“横向”特征参数的卷积核学习到“纵向”的特征参数，有效地提升了卷积核的利用率。由于动态自适应模块的输入是DAB的输出与初始特征的加和，因此在DRB中引入两个新的卷积核作为子卷积核，以动态校准获取到的特征，在参数量小幅增加的同时使得模块具有指导DAB共享卷积块的作用。假设$ x $为DAB的输入特征，首先通过全局平均池化对$ x $进行压缩操作，得到通道级的全局特征，如式（12）所示：

$ u={F}_{sq}\left(x\right)=\frac{1}{H\times W}\sum \limits_{i=1}^{H}\sum \limits_{j=1}^{W}x(i, j) $

(12)

然后对全局特征进行Excitation操作，通过2个全连接层学习各个通道间的关系，第1个对得到的全局描述特征进行压缩降维，第2个再将其恢复成原始维度。Excitation操作过程如式（13）所示：

$ {w}_{1}, {w}_{2}, \cdots , {w}_{6}=\sigma \left({v}_{2}\mathrm{R}\mathrm{e}\mathrm{L}\mathrm{U}\right({v}_{1}u\left)\right) $

(13)

其中：$ \sigma $表示Softmax函数；$ {v}_{1}\mathrm{、}{v}_{2} $表示2个全连接层；$ {w}_{1}, {w}_{2}, \cdots , {w}_{6} $表示经Softmax后得到的权重结果，且$ {w}_{1}+{w}_{2}+\cdots +{w}_{6}=1 $。利用双路残差块中的下路共享卷积核和2个新的卷积核与权重相乘，如式（14）所示：

$ y=\mathrm{R}\mathrm{e}\mathrm{L}\mathrm{U}\left(\right({w}_{1}{c}_{d}^{1}+{w}_{2}{c}_{d}^{2}+\cdots +{w}_{6}{c}_{n}^{2}\left)x\right) $

(14)

其中：$ {c}_{d}^{i} $表示DRB中下路的第$ i $个共享卷积核；$ {c}_{n}^{i} $表示第$ i $个新卷积核。动态自适应模块的引入使得模型可以根据不同的输入以自学习的方式自动调整卷积核的参数，增强网络的重建能力。

1.1.2 重建模块

本文考虑到普通的上采样会引入一些无用信息，影响重建效果，采用亚像素卷积将图像上采样至目标尺寸，再通过一个$ 3\times 3 $卷积对重建结果进行微调。假设$ {F}_{f} $为深层特征，将其与浅层特征$ {F}_{0} $相加并送入到重建模块得到最终结果。重建模块信息流如式（15）所示：

$ y=\phi ({F}_{f}+{F}_{0}) $

(15)

其中：$ y $表示最终生成的SR图像；$ \phi $表示重建模块，包括亚像素卷积和$ 3\times 3 $的卷积操作。

1.2 损失函数

本文考虑到L1损失函数的收敛速度比L2快，选择L1函数作为损失函数，如式（16）所示：

$ L\left(\theta \right)=\frac{1}{N}\sum \limits_{i=1}^{N}{‖H\left({I}_{\mathrm{L}\mathrm{R}}^{i}\right)-{I}_{\mathrm{H}\mathrm{R}}^{i}‖}_{1} $

(16)

其中：$ N $表示训练集中图像的总数；$ \theta $表示需要优化求解的模型参数集；$ {I}_{\mathrm{L}\mathrm{R}}^{i} $和$ {I}_{\mathrm{H}\mathrm{R}}^{i} $表示第$ i $个低分辨率图像和高分辨率图像；$ H $表示本文所提出的DACN。

2 实验结果与分析 2.1 数据集与度量标准

在训练阶段，本文使用DIV2K数据集，该数据集是广泛应用于超分辨率重建的训练集。图像通过水平随机翻转和旋转90°、180°、270°进行数据增强。在测试阶段，本文使用Set5^[21]、Set14^[22]、BSD100^[23]、Manga109^[24]基准数据集，为了与之前的工作保持一致，在YCbCr颜色空间的Y通道上使用PSNR和结构相似性（SSIM）来评价SR结果。

在本文提出的DACN网络中，未说明的卷积核大小都是$ 3\times 3 $。DACN包括3个DACB，每个DACB包含3个双路残差块。LIM和WANG等提出BN不仅消耗大量的计算资源，而且在超分辨率重建任务中会限制网络参数的自由变化范围，因此模型未采用BN层。本文模型使用ADAM优化器进行训练，其中$ {\beta }_{1}=0.9, {\beta }_{2}=0.999, є={10}^{-8} $。学习率初始化为$ 1\times {10}^{-4} $，每经过200轮学习率下降1/2。因此，本文模型在训练过程中将batch-size设置为8。DACN模型用Pytorch框架来实现，并在NVIDIA 2080Ti GPU上进行训练。

2.2 消融实验

为验证模块的有效性，本文对动态自适应层叠网络进行消融实验。在Set5、Set14、BSD100数据集上，当放大因子为4时，不同模型的PSNR对比如表 1所示，ORB表示单路残差模块。

2.2.1 双路残差模块的有效性

现有网络利用残差块提取图像特征，忽略了深度可分离卷积可以大幅减少模型参数量的能力。从表 1可以看出：当模型仅利用ORB进行学习时，即表中的DACN+ORB，其在Set5数据集上的PSNR为32.14 dB；当模型利用DRB进行学习时，在Set5数据集上DACN+DRB模型的PSNR为32.22 dB，同时参数量相比DACN+DRB模型仅增加1×10⁵左右，说明提出的DRB在增加少量参数的同时可以充分挖掘图像的细节特征，增强网络的重建能力。

2.2.2 动态自适应模块的有效性

DACN+DAB为加入动态卷积核的网络模型，即动态卷积核的子卷积没有共享DRB的下路卷积，在Set5数据集上的PSNR指标提升到32.27 dB。由此可以看出：动态自适应模块利用可学习参数调整卷积的权重，使得卷积参数更加契合原始特征与目标特征的非线性映射关系，增强网络对纹理细节的提取性能，同时，参数量也会大幅增加。因此，本文提出的动态自适应层叠网络结合DRB中的共享卷积，利用卷积核减少参数的同时，使得DRB中的卷积可以学习到不同角度的细节特征，有效地提升了网络的重建性能。

在Set5数据集上，当放大因子为4时，参数$ N $对PSNR、参数量、计算量的影响如图 3所示。从图 3可以看出，PSNR最初随着参数$ N $的增加上升幅度较大，当参数$ N=4 $时，上升幅度逐渐减慢，当参数$ N\ge 4 $时，参数$ N $的增加所带来的参数量和计算量都会大幅增多，不符合轻量化标准，并且PSNR变化不大。为了使得模型性能与重建质量实现最佳平衡，DACN选择参数$ N=3 $，即包含3个DACB。

2.3 对比实验

在Set5数据集上，当放大因子为4时，不同网络的PSNR与参数量、计算量之间的关系如图 4所示，圆形标注的是其他网络，正方形标注的是本文DACN网络。DACN在参数量和计算量较小的情况下，PSNR指标较大，在性能与质量上达到了平衡。

本文将DACN与其他超分辨率重建网络进行对比，包括SRCNN、VDSR、LapSRN^[25]、MemNet^[26]、CARN、PAN、RFDN^[27]。所有网络分别在放大因子为2、3、4的情况下进行评估。本文均使用峰值信噪比（PSNR）和结构相似性（SSIM）作为指标。表 2所示为不同超分辨率网络模型在不同放大因子下峰值信噪比与结构相似性对比。加粗的数据为重建效果最优的数据，加下划线的数据为次优。从表 2可以看出，本文提出的DACN在基准数据集上的重建效果较优，参数量也较为理想。

当放大因子为4时，在Urban100和BSD100数据集上，不同网络的可视化结果对比如图 5所示。从图 5可以看出，本文网络DACN在恢复图像纹理细节上有较大优势。对于重构Urban100数据集中图像时，虽然PAN和RFDN在一定程度上恢复了部分纹理信息，但生成的部分线条有不同程度的弯曲。相比CARN、PAN、RFDN等网络，本文所提的DACN网络恢复的图案线条更加符合原图的纹理。

3 结束语

本文提出基于动态自适应层叠模块的轻量化网络，在双路残差块中利用深度可分离卷积减少参数量，同时引入像素注意力机制使网络精确地提取图像细节信息，将双路残差块的一部分卷积参数与动态自适应模块共享，不仅从不同角度提取特征，还可以根据不同的输入以自学习的方式自动调整卷积核的参数，有效提升重建图像的质量。实验结果表明，相比VDSR、CARN、PAN等网络，本文网络具有较优的图像重建性能且参数量较少，在可视化图像中生成的纹理更接近原始图像的纹理线条。后续考虑将剪枝算法融入到动态自适应层叠网络中，进一步减少网络参数量，提高图像重建能力。