«上一篇 下一篇»
  计算机工程  2021, Vol. 47 Issue (5): 221-228  DOI: 10.19678/j.issn.1000-3428.0056980
0

引用本文  

强保华, 庞远超, 杨明浩, 等. 基于可嵌入式网络结构的图像超分辨率重建方法[J]. 计算机工程, 2021, 47(5), 221-228. DOI: 10.19678/j.issn.1000-3428.0056980.
QIANG Baohua, PANG Yuanchao, YANG Minghao, et al. Image Super-Resolution Reconstruction Method Based on Embeddable Network Structure[J]. Computer Engineering, 2021, 47(5), 221-228. DOI: 10.19678/j.issn.1000-3428.0056980.

基金项目

国家自然科学基金(61762025);国家自然科学基金青年基金(61601389);广西重点研发计划(桂科AB17195053, 桂科AB18126053);广西自然科学基金(2017GXNSFAA198226);桂林科技发展计划(20180107-4)

通信作者

曾坤(通信作者), 讲师、博士; 郑虹(通信作者), 讲师、博士

作者简介

强保华(1972-), 男, 教授、博士, 主研方向为图像处理、大数据分析;
庞远超, 硕士研究生;
杨明浩, 副研究员、博士;
谢武, 副教授、博士;
莫烨, 硕士

文章历史

收稿日期:2019-12-20
修回日期:2020-02-14
基于可嵌入式网络结构的图像超分辨率重建方法
强保华1,2 , 庞远超1,2 , 杨明浩1 , 曾坤4 , 郑虹1 , 谢武2,3 , 莫烨1,2     
1. 桂林电子科技大学 广西图像图形与智能处理重点实验室, 广西 桂林 541004;
2. 桂林电子科技大学 广西可信软件重点实验室, 广西 桂林 541004;
3. 桂林电子科技大学 广西云计算与大数据协同创新中心, 广西 桂林 541004;
4. 闽江大学 福建省信息处理与智能控制重点实验室, 福州 350108
摘要:针对卷积神经网络中的图像超分辨率重建模型训练不稳定与收敛速度较慢等问题,提出一种可嵌入式并行网络框架(EPNF),用于单幅图像超分辨率重建任务。将现有的图像超分辨率网络模型作为EPNF框架的深层结构部分嵌入到该框架中,能够以较小参数代价加快所嵌入的超分辨率模型的收敛速度,在一定程度上提高模型的准确率。在EPNF网络结构的基础上,提出一种新的超分辨率重建方法EPNF_DCSR,采用稠密跳跃连接构造高分辨率(HR)图像的高频成分,并使用单层卷积构造HR图像的低频成分,合成一幅HR输出图像。实验结果表明,与当前主流的图像超分辨率算法相比,EPNF_DCSR具有更好的图像生成效果。
关键词卷积神经网络    上采样    并行网络    跳跃连接    图像超分辨率    
Image Super-Resolution Reconstruction Method Based on Embeddable Network Structure
QIANG Baohua1,2 , PANG Yuanchao1,2 , YANG Minghao1 , ZENG Kun4 , ZHENG Hong1 , XIE Wu2,3 , MO Ye1,2     
1. Guangxi Key Laboratory of Image Graphics and Intelligent Processing, Guilin University of Electronic Technology, Guilin, Guangxi 541004, China;
2. Guangxi Key Laboratory of Trusted Software, Guilin University of Electronic Technology, Guilin, Guangxi 541004, China;
3. Guangxi Cloud Computing and Big Data Collaborative Innovation Center, Guilin University of Electronic Technology, Guilin, Guangxi 541004, China;
4. Fujian Provincial Key Laboratory of Information Processing and Intelligent Control, Minjiang University, Fuzhou 350108, China
Abstract: The existing Super-Resolution(SR) image reconstruction models based on Convolutional Neural Networks(CNN) have multiple deficiencies, such as instable model training process and low convergence speed.To address the problem, this paper proposes an Embeddable Parallel Network Framework(EPNF) for the super-resolution reconstruction of a single image.The existing network models for super-resolution image reconstruction can be embedded into EPNF as the deep structure part of the framework, improving their convergence speed and accuracy by taking a small loss of parameters.On the basis of EPNF, this paper also proposes a novel super-resolution image reconstruction method, EPNF_DCSR.The method uses the dense jump connections to restore the high-frequency details of high-resolution images, and a single-layer convolution to restore low-frequency details.Finally a high-resolution image is output.Experimental results show that EPNF_DCSR has better image reconstruction performance than the existing mainstream image reconstruction algorithms.
Key words: Convolutional Neural Networks(CNN)    upsampling    parallel network    skip connection    image Super-Resolution(SR)    
0 概述

图像超分辨率(Super-Resolution,SR)重建任务是由一幅或多幅低分辨(Low-Resolution,LR)图像重建出一幅具有高质量的高分辨率(High-Resolution,HR)输出图像。图像超分辨率重建是目前提高图像分辨率的主要手段,被广泛应用于视觉成像、监控设备、卫星图像和医学影像等领域,也可作为许多图像算法的前置输入部分。

图像超分辨率重建最早的研究工作是由TSAI和HUANG在1984年进行的,他们提出了在频域内提高图像分辨率的方法,这为推动超分辨率重建算法的研究具有重要作用。之后,很多相关的研究成果也陆续被提出来,图像超分辨率重建算法得到了快速的发展,但随着图像重建的放大倍数越来越高,在传统方法下重建的图像质量效果不是很理想,满足不了人们的要求。近年来,基于深度学习的超分辨率重建方法成为超分辨率算法研究中的热点。SRCNN[1]是首个使用卷积神经网络(Convolutional Neural Networks,CNN)结构的超分辨率算法,运用三层网络结构能够获得比其他超分辨率重建算法更好的重建效果,这说明CNN结构可以用于端到端的训练方式来建立一个从LR到HR的映射图。在此基础上,更多的基于深度学习的超分辨率重建算法得到快速发展,超分辨率网络也由相对较浅的SRCNN、FSRCNN[2]和ESPCN[3]网络逐步发展为较深的VDSR[4]、SRGAN [5]和EDSR [6]网络。深度学习逐步领先于早期的插值、邻域嵌入和稀疏编码等方法,确定了其在超分辨率重建领域的领先地位,并获得了较大的成就。

随着人们对图像超分辨率重建任务的要求的增加,比如放大倍数的增大,使得采用模型的深度越来越深,这带来了参数剧增、模型的稳定性不足和难以收敛等问题。研究者针对上述问题对算法进行了改进。如在EDSR中,通过移除Residual block中的BN(Batch Normalization,BN)层,并添加层间的放大因子来降低模型整体参数的数量,加快模型的收敛速度,这使得EDSR得以扩展到了更深的深度。SRDenseNet[7]借鉴DenseNet[8]中稠密跳跃连接思想,将不同层提取出的特征信息直接作为后续层的输入部分,同时间接压缩块之间的特征映射数量,提高模型收敛速度。而EEDS[9]尝试从另一个角度解决这些问题,提出一个深层和浅层子网络同步工作的算法,可以使得深层子网络部分的超分辨率网络模型更加容易收敛,并且可以达到更好的重建效果。之后,WDSR[10]也采用了类似的深层和浅层子网络并行工作的框架,通过提高ReLU层间的特征映射数量和压缩Residual block层间的特征映射数量来提高模型的性能与收敛速度。

本文研究深层和浅层子网络结构的可嵌入性,设计一种可嵌入式的并行网络结构框架(Embeddable Parallel Network Framework,EPNF)。EPNF可用于提升当前图像超分辨率重建算法的性能,而其他超分辨率网络模型作为框架的深层结构部分嵌入到EPNF中与浅层结构并行工作,此外,在EPNF框架的基础上,构建一种EPNF_DCSR网络模型。

1 相关工作 1.1 深度特征提取

超分辨率重建任务需要获取图像的高层和浅层特征,然后对图像进行重建。而提取高层特征的最好方法是使用更深层次的网络结构,因此重建图像的卷积神经网络,向更深层次的网络结构发展。从LeNet[11]最初的5层到AlexNet[12]的8层,再到VGGNet[13],都使得网络越来越深。但是网络越深,计算开销会越大。2014年,Google提出了Inception结构[14],在层数增加的同时参数数量变少,大幅提高了网络的性能。随着神经网络越来越深,人们在实验中发现不是越深的网络效果就越好,当网络到达一定深度之后会产生梯度消失的现象,这会导致模型的退化,从而影响网络的性能。2015年,ResNet[15]引入了跳跃连接结构来防止梯度消失的问题,并且加速了神经网络的训练,模型的准确率也有了很大的提升。2017年,DenseNet运用稠密连接的思想,把每一层的特征连接起来,进一步减轻了梯度消失问题。在图像超分辨率任务中,跳跃连接具有更深层次的意义。由于图像超分辨率本质上是一个图像重建任务,网络需要提取图像的高层和低层特征,使得超分辨率重建模型更加容易产生梯度消失,因此目前主流的超分辨率重建算法都运用了跳跃连接的思想。

1.2 基于CNN的单幅图像超分辨率

为解决超分辨率重建问题,早期方法使用频域法和空域法进行插值,但是这种传统算法的模型表达能力非常有限,之后人们引入由学习模型获得的先验知识,以得到图像的高频细节,获得了较好的图像重建效果。SRCNN是将深度学习首先使用在超分辨率重建任务上的模型,其仅使用三层卷积就获得了当时最先进的图像重建质量;ESPCN提出了子像素卷积,直接在低分辨率图像尺寸上提取特征,计算得到高分辨率图像;VDSR引入了残差结构,加深了网络结构,并且使网络的收敛速度加快,它还将不同倍数的图像混合在一起训练,解决了用一个模型生成不同倍数的超分辨率图像的问题;DRRN[16]提出了递归残差模块,构造了更深层的网络,获得了更好的生成效果;SRDenseNet利用DenseNet的稠密块思想,将每一层的特征都输入到之后的所有层,使所有层的特征都串联起来,得到的重建网络性能有了进一步提升;SRGAN运用生成对抗网络的思想来解决超分辨率重建的问题,发现用均方差作为损失函数生成图像容易丢失高频细节,因此采用感知损失和对抗损失作为损失函数,从而重建出了更为逼真的图像;EDSR算法去掉了SRGAN中多余的BN层,并且用L1范式作为网络的损失函数,得到了更好的生成结果。

目前许多超分辨率重建算法都是由图像分类网络进行改进而来。图像分类网络中的卷积神经网络主要承担高层特征的提取任务,并通过分类层对图像进行分类,而图像超分辨率网络中卷积神经网络不仅要提取图形的高层特征,也要提取低层特征,并最终通过上采样对图像进行重建。

1.3 上采样

上采样结构主要承担超分辨网络的放大任务。早期的超分辨率网络SRCNN、VDSR直接使用bicubic[17]对LR图像进行放大作为输入,但这被证明是十分低效的。因为直接使用放大后的图像作为输入,将会为重建网络带来成倍的计算开销。FSRCNN以原始LR图像作为输入,在网络末端添加反卷积层,在不损失精度的情况下减少了网络的参数,加快了模型的运行速度。因此,当前算法大多采用了网络末端的上采样结构作为放大层。然而,上采样使用反卷积在后来被证明会产生棋盘伪像[18],严重影响网络的性能,而用子像素卷积进行上采样操作不但不会产生棋盘伪像,还会加快网络的运行速度。

2 模型结构

本节描述所提出的模型EPNF_DCSR,模型结构如图 1所示。

Download:
图 1 EPNF_DCSR模型架构 Fig. 1 Architecture of EPNF_DCSR model
2.1 架构总体描述

EPNF_DCSR由重建图像主体部分的EPNF框架和重建图像细节部分的深层嵌入结构组成。其中,EPNF是一个通用型的网络框架,可以和其他传统的端到端结构的网络模型相结合,从而获得比原模型更好的性能。改进后的模型仅需要花费极少的参数代价,即可提高模型的稳定性,使模型更加容易收敛。

2.2 EPNF框架结构

超分辨率重建任务需要重建出放大尺寸的原图,即需要高级特征也需要低级特征。在SRDenseNet中,把输入图像与提取到的深层特征进行短接,这样可以同时使用图像的高级特征和低级特征进行重建,而且有助于网络传递信息,使其易于训练,但是这种短接的方式相当于把输入原图当成低级特征与高级特征进行融合,影响最终的重建效果。为此,本文提出EPNF框架,该框架的浅层结构与深层结构分别提取图像的底层特征和高层特征,再把特征映射放大为输出图像的尺寸,最后将特征映射相加生成HR图像,这种深浅层特征分开提取的设计思路可以有效提取并且利用输入图像的底层特征,使得网络更容易传递信息,使其易于训练。

EPNF框架结构见图 1(a),输入图像经过一个5×5的单层卷积提取图像底层特征,然后经过上采样将特征映射尺寸放大成与输出图像尺寸一致,最后与深层嵌入结构的输入相加。在上采样层的选择上,反卷积层虽然也可以作为模型的上采样层放大特征映射,但最新研究表示,使用反卷积作为上采样容易产生棋盘伪像,因此,本文使用子像素卷积作为模型的上采样结构。浅层结构的单层卷积使用零填充方法控制生成的特征映射与原图尺寸一致,再通过子像素卷积层把特征映射放大成HR图像大小。而深层嵌入结构的结果,可以看成是对HR图像的高频成分输出。深浅层网络结构并行的工作方式,使得框架能够在付出很小参数代价的条件下,加快所嵌入的超分辨率模型的收敛速度,并在一定程度上提高了模型的准确率。

深层、浅层结构的输出结果相加产生最终重建的结果,所以要求两种网络子结构的输出尺寸和HR图像的尺寸一致。EPNF的卷积层中使用零填充方法控制生成的特征映射与原图尺寸一致,再通过子像素卷积层把特征映射放大成HR图像大小。深层嵌入结构也使用同样的放大方法把特征映射放大成HR图像大小。EPNF框架的浅层和深层嵌入结构具有各自的独立性,只要输出尺寸相同然后相加,就可以完成超分辨重建任务。

此外,本文对EPNF框架进行可视化分析,将训练好的EPNF_DCSR模型用图像进行测试,并且将其结果可视化,结果如图 2所示。

Download:
图 2 HR图像减去浅层结构生成的高频细节特征 Fig. 2 HR image minus high-frequency detail features generated by shallow structure

图 2可以看出,将HR图像减去EPNF提取图像的底层特征生成的图,得到HR图像高频的细节特征,与可视化深层嵌入结构生成的图很相似,从而可以得出训练好的模型的EPNF框架能生成HR图像的低频图。可视化模型的另外一个优点是:在与EPNF框架和深层嵌入结构生成的特征相加时,可以根据可视化结果添加权重以适应不同的应用场景。

2.3 深层嵌入结构

许多超分辨率重建算法的特征提取模块都是由图像分类网络进行改进得到。在DenseNet中,Dense block通过稠密跳跃连接使层与层之间短接,确保块间最大的信息流通,能进行特征重用,使网络易于训练。但从中可以发现,在图像超分辨领域中,使用Dense block的SRDenseNet和同期使用了Residual block作为基础层结构的EDSR[14]相比,SRDenseNet网络虽然更深,但在评价指标上却逊色于EDSR[14],这主要是因为Dense block的入口通道数突变导致的。

在Dense block结构中,第i层接收前面所有层的特征来作为它的输入,如式(1)所示:

$ {X_i} = {\rm{concat}}\left( {\left[ {{X_1}, {X_2}, \cdots , {X_{i - 1}}} \right]} \right) $ (1)

其中,$\left[ {{X_1}, {X_2}, \cdots , {X_{i - 1}}} \right]$表示在前面的卷积层$1, 2, \cdots , i - 1$中输出的特征,这会导致Dense block内的卷积输出特征的通道数成倍增长,最后Dense block输出特征的通道数非常大。特征输入到下一个Dense block之前需要经过卷积处理,把特征的通道数压缩到非常小,这样的通道数突变会导致特征损失严重。本文的深层网络结构将稠密跳跃连接使用在了块之间,这样既能继承DenseNet的优点,又能避免因为特征的通道数突变而造成特征损失。

深层结构使用删除了shortcut connection之后的Residual block作为基础块结构,并称这样的块结构为Basic bock,如图 3所示。Residual block的原理是块的输入和块的输出短路连接在一起,连接方式是通过元素级相加,所以块的输出通道数需要与输入通道数一致。DenseNet每个层都会与前面所有层在通道维度上连接在一起并作为下一层的输入。在深层结构中,稠密跳跃连接不是使用在块内,而是使用在块间,如果稠密跳跃连接和shortcut connection同时存在,则shortcut connection会使每个块的输出通道等于输出通道,叠加之后会造成通道数成指数增长,网络参数也会成指数增长,而且shortcut connection主要是为了防止模型过拟合,稠密跳跃连接也能达到防止过拟合的效果,所以将Residual block中的shortcut connection删除,而用Basic bock代替。

Download:
图 3 Basic bock示意图 Fig. 3 Schematic diagram of Basic bock

深层结构如图 1(b)所示,输入图像首先经过一个3×3的卷积,然后经过块间使用稠密跳跃连接的16个Basic bock的结构,最后是3×3卷积和sub-pixel convolutional上采样结构。Basic bock中的卷积层都使用3×3的卷积,在第2个卷积层中,使用64个卷积核生成通道数为64的特征映射。

更深的模型意味着更好的非线性表达能力,在没有产生模型退化的条件下,越深的模型性能会越好。本文深层结构的参数量主要在16个Basic bock中,并且Basic bock相比于当前流行的超分辨率算法中的基础块结构要简单得多,可以在有限的计算资源下构建一个更深的模型,而且通过EPNF框架的浅层结构和深层嵌入结构分别提取图像的浅层特征和深层特征,能使模型不容易产生退化。另外,在块间使用稠密跳跃连接,既能解决卷积通道数骤然变小损失特征信息的问题,又能增加特征重用,并且能很好地抑制过拟合问题的产生。

3 实验结果与分析 3.1 实验设置

本文实验选择Ubuntu 16.04操作系统,训练使用一张NVIDIA Tesla P100显卡。

实验采用DIV2K数据集[19]。该数据集是用于图像恢复任务的一个高质量数据集,由800张训练图像、100张验证图像和100张测试图像组成。其中,训练集图像编号为0001~0800,验证集图像编号为0801~0900。DIV2K数据集最初被用于NTIRE比赛,数据集内的测试图像的原图并没公开发布。因此,在评估各组模型的过程中,使用的测试图像是DIV2K编号为0801~0900的验证图像。此外,除了DIV2K数据集外,还使用了Set5 [20]、Set14 [21]、B100 [22]和Urban100[23]等不同数据集验证各个模型的性能。

本文评估模型的客观性能指标采用峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)。实验先将图像转换为YCbCr色域,然后使用PSNR值对Y通道进行评估。

3.2 实验参数

在训练过程中,将尺寸为96×96的LR图像块作为输入,并使用与其对应的96r×96r的HR图像块作为目标图像,其中r为放大因子。另外,使用均方误差(Mean Squared Error,MSE)作为模型的损失函数,并采用Adam优化器优化所有的网络。其中,Adam优化器的初始参数使用默认值:${\beta _1} = 0.9$${\beta _2} = 0.999$$\varepsilon = {10^{ - 8}}$。Batch size的大小设置为16。

3.3 实验方案

第1组实验主要用于验证单层卷积是否可以有效提取低级特征。本文分别使用Bicubic、单层CNN将VDSR嵌入新框架,对所得到的EPNF_VDSR模型进行实验。实验分别比较了不同卷积核大小对基于可嵌入式并行网络框架的影响。训练集为DIV2K(0001~0800),测试集为DIV2K(0801~0900)。单层CNN使用$H \times W \times c$大小的LR图像作为输入,输出为$H \times W \times {r^2}c$,其中,H为LR图像的高,W为图像的宽,c为图像的通道数。最后经由子像素卷积层重建为$rH \times rW \times c$大小的HR图像,其中放大因子$r = 2$

第2组实验主要用于验证EPNF框架的性能。实验分别对比了两组不同的模型在DIV2K训练集上的模型收敛时间和训练效果,每组分为原模型(VDSR,EDSR)以及和EPNF相结合的改进之后的新模型(EPNF_VDSR,EPNF_EDSR),放大因子$r = 2$。这些改良模型在对图像细节实行修复时,均使用大小为$H \times W \times c$的LR图像作为输入,输出维度为$2 \times 2 \times c$,并经子像素混洗层放大为$2H \times 2W \times c$的HR图像。

第3组实验是用EPNF_DCSR和当前主流模型的性能对比。实验分别对比了传统算法Bicubic、A+[24]以及基础深度学习超分辨率算法模型SRCNN、VDSR,最后比较了SRDenseNet算法和最新的冠军算法WDSR。其中,SRDenseNet算法尚无以DIV2K数据集为训练样本的版本,因此本文对其进行了复现。由于SRDenseNet原模型为×4放大模型,通过尾部的两层反卷积层达到放大效果,因此复现×2模型使用一层反卷积达到放大效果,复现×3模型不使用反卷积层转而使用子像素卷积放大3倍达到复现效果。实验结果中×4模型的重建结果在基准数据集上的评价指标均高于对比方法中的结果,因此完成了复现。由于WDSR中只使用了16层Residual block和通道数为64的块内特征映射。为了公平起见,本文模型只使用了稠密跳跃连接的16个Basic block作为基础层结构,并且块内特征映射的通道数也为64,使模型保持相同量级的参数规模进行比较。

3.4 实验结果

对于第1组实验,实验结果如表 1所示。通过实验可以发现,即使是单层CNN结构也具备较强的重建能力。对比Bicubic算法模型,单层CNN结构可以通过简单的训练后获得更高的性能,具备可学习能力的单层CNN结构也更为灵活。

下载CSV 表 1 采用单层CNN重建的评估结果 Table 1 Evaluation results with single-layer CNN reconstruction  

单层卷积的卷积核越大,感受野也越大,提取到的浅层特征用于后续的相加效果就越好。从表 1可以看出,如果仅仅采用单层卷积进行重建,当卷积核大于7×7时,进一步提升卷积核的大小将不会再带来重建效果上的明显提升。而采用EPNF框架进行图像重建,将网络模型嵌入EPNF框架之后,单层卷积的卷积核为5×5时,进一步提升卷积核的大小将不会带来模型效果上的明显提升。考虑到卷积核增大的同时会带来模型参数和计算量的提升,因此对于基于EPNF框架的重建模型,本文统一采用的卷积核大小为5×5。

对于第2组实验,网络的收敛曲线如图 4所示,最终的训练结果如表 2所示,其中,训练集为DIV2K,放大倍数为2,粗体为最优值。

Download:
图 4 两种算法的EPNF性能曲线 Fig. 4 EPNF performance curves of the two algorithm
下载CSV 表 2 两种模型及其嵌入EPNF模型的平均PSNR Table 2 Average PSNR of the two models and its embeddable EPNF model  

表 2可以看出,在与EDSR的对比实验中,由于EDSR出于性能上的考虑,移除了普通残差块内用于加快收敛及提高模型稳定性的批标准化层,在训练过程中表现为更欠缺稳定性。在使用嵌入式并行结构后,改进后的EPNF_EDSR模型表现出了极强的收敛性能。同时,在VDSR的对比实验中,由于VDSR只使用了简单的堆叠式CNN结构和全局残差连接,在训练过程中表现为模型退化问题严重,在运用嵌入式并行结构后,改进后的EPNF_VDSR带来了性能上的突破。这意味着主体修复结构可以适用于不同类型的超分辨率网络,并一定程度上为其带来效率以及性能上的提升。从实验结果可以看出,与原模型相比,和EPNF相结合的改进后的新模型在收敛速度上更具优势,且训练中的数值波动更小,并且一定程度上提高了模型的准确率。

对于第3组实验,各模型的性能对比结果如表 3所示(粗体为最优值)。第3组实验用本文模型EPNF_DCSR和当前主流的模型做对比,EPNF_DCSR模型的实验结果达到了当前较高的水准。与WDSR对比,本文的网络并没有使用额外的层与更宽的通道,而是运用了全局的稠密跳跃连接提高了每层的输入特征数量。这使得本文模型在保持较小的层间特征流动的情况下,加强了层内的特征交互。图 5为EPNF_DCSR模型与其他模型的对比结果,可以看出,本文模型能够更准确地重建出图像的边缘细节信息。

下载CSV 表 3 不同模型在多个数据集上的平均PSNR Table 3 Average PSNR of different models on multiple datasets  
Download:
图 5 不同模型生成效果对比 Fig. 5 Comparison of generation effect between different models
4 结束语

本文研究了基于嵌入式的深层结构和浅层结构并行工作的SR框架EPNF,将该模型框架与基于深度学习的图像超分辨率网络相结合,使得改进的网络模型在具有相同级别的参数和复杂度的条件下更加稳定,训练更容易收敛,且测试的准确率更高。在此基础上提出了一种基于EPNF框架的图像超分辨率算法EPNF_DCSR。实验结果表明,该算法在多个数据集中具有较高的准确率。下一步将以小尺寸图像作为输入验证模型的生成效果,并将模型应用到小目标识别领域。

参考文献
[1]
DONG C, LOY C C, HE K, et al. Image super-resolution using deep convolutional networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(2): 295-307. DOI:10.1109/TPAMI.2015.2439281
[2]
DONG C, LOY C C, TANG X. Accelerating the super-resolution convolutional neural network[C]//Proceedings of European Conference on Computer Vision. Berlin, Germany: Springer, 2016: 391-407.
[3]
SHI W Z, CABALLERO J, HUSZÁR F, et al. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network[EB/OL]. [2019-11-10]. https://arxiv.org/abs/1609.05158.
[4]
KIM J, LEE J K, LEE K M. Accurate image super-resolution using very deep convolutional networks[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Washington D.C., USA: IEEE Press, 2016: 1646-1654.
[5]
LEDIG C, THEIS L, HUSZAR F, et al. Photo-realistic single image super-resolution using a generative adversarial network[EB/OL]. [2019-11-10]. https://arxiv.org/abs/1609.04802.
[6]
LIM B, SON S, KIM H, et al. Enhanced deep residual networks for single image super-resolution[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Washington D.C., USA: IEEE Press, 2017: 312-124.
[7]
TONG Tong, LI Gen, LIU Xiejie, et al. Image super-resolution using dense skip connections[C]//Proceedings of IEEE International Conference on Computer Vision. [S. 1. ]: IEEE Computer Society, 2017: 4809-4817.
[8]
HUANG G, LIU Z, WEINBERGER K Q, et al. Densely connected convolutional networks[EB/OL]. [2019-11-10]. https://arxiv.org/abs/1608.06993.
[9]
WANG Yifan, WANG Liujun, WANG Hongyu, et al. End-to-end image super-resolution via deep and shallow convolutional networks[EB/OL]. [2019-11-10]. https://arxiv.org/abs/1607.07680.
[10]
YU Jiahui, FAN Yichneg, YANG Jianchao, et al. Wide activation for efficient and accurate image super-resolution[EB/OL]. [2019-11-10]. https://arxiv.org/abs/1808.08718.
[11]
LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324. DOI:10.1109/5.726791
[12]
KRIZHEVSKY A, SUTSKEVER I, HINTON G. ImageNet classification with deep convolutional neural networks[C]//Proceedings of NIPS'12. Cambrigde, USA: MIT Press, 2012: 369-378.
[13]
SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[EB/OL]. [2019-11-10]. https://arxiv.org/abs/.
[14]
SZEGEDY C, LIU W, JIA Y, et al. Going deeper with convolutions[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Washington D.C., USA: IEEE Press, 2015: 458-467.
[15]
HE Kaiming, ZHANG Xiangyu, REN Shaoqing, et al. Deep residual learning for image recognition[EB/OL]. [2019-11-10]. https://arxiv.org/abs/1512.03385.
[16]
TAI Ying, YANG Jian, LIU Xiaoming. Image super-resolution via deep recursive residual network[C]//Proceedings of IEEE Computer Vision and Pattern Recognition. Washington D.C., USA: IEEE Press, 2017: 356-368.
[17]
DODGSON N A. Quadratic interpolation for image resampling[J]. IEEE Transactions on Image Processing, 1997, 6(9): 1322-1326.
[18]
ODENA A, DUMOULIN V, OLAH C. Deconvolution and checkerboard artifacts[EB/OL]. [2019-11-10]. https://distill.pub/2016/deconv-checkerboard/.
[19]
LUGMAYR A, DANELLJAN M, TIMOFTE R, et al. NTIRE 2020 challenge on real-world image super-resolution: methods and results[EB/OL]. [2019-11-10]. https://arxiv.org/abs/2005.01996.
[20]
BEVILACQUA M, ROUMY A, GUILLEMOT C, et al. Low-complexity single-image super-resolution based on nonnegative neighbor embedding[C]//Proceedings of IEEE BMVC'12. Washington D.C., USA: IEEE Press, 2012: 456-468.
[21]
ZEYDE R, ELAD M, PROTTER M. On single image scale-up using sparse-representations[C]//Proceedings of IEEE International Conference on Curves and Surfaces. Washington D.C., USA: IEEE Press, 2010: 243-258.
[22]
MARTIN D, FOWLKES C, TAL D, et al. A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics[C]//Proceedings of IEEE ICCV'01. Washington D.C., USA: IEEE Press, 2001: 1125-1136.
[23]
HUNAG J B, SINGH A, AHUJA N. Single image super-resolution from transformed self-exemplars[C]//Proceedings of CVPR'15. Washington D.C., USA: IEEE Press, 2015: 335-348.
[24]
TIMOFTE R, DE SMET V, VAN GOOL L. A+: adjusted anchored neighborhood regression for fast super-resolution[C]//Proceedings of International Conference on Computer Vision. Berlin, Germany: Springer, 2014: 111-126.