«上一篇 下一篇»
  计算机工程  2022, Vol. 48 Issue (12): 218-223, 231  DOI: 10.19678/j.issn.1000-3428.0064162
0

引用本文  

黄山, 贾俊. 基于改进循环生成式对抗网络的图像去雾方法[J]. 计算机工程, 2022, 48(12), 218-223, 231. DOI: 10.19678/j.issn.1000-3428.0064162.
HUANG Shan, JIA Jun. Image Defogging Method Based on Improved Cycle-Consistent Adversarial Network[J]. Computer Engineering, 2022, 48(12), 218-223, 231. DOI: 10.19678/j.issn.1000-3428.0064162.

基金项目

教育部产学合作协同育人项目(202002109040)

作者简介

黄山(1969—),男,教授,主研方向为智能交通图像识别;
贾俊,硕士研究生

文章历史

收稿日期:2022-03-14
修回日期:2022-04-21
基于改进循环生成式对抗网络的图像去雾方法
黄山 , 贾俊     
四川大学 电气工程学院, 成都 610065
摘要:针对现有图像去雾方法存在的颜色失真、细节丢失以及去雾效果不自然等问题,提出一种改进的循环生成式对抗网络用于图像去雾。通过添加多尺度鉴别器作为判别器来改进原始网络结构,增强判别能力,引导网络产生更精细自然的无雾图像。同时重新设计损失函数,使用最小二乘代替交叉熵作为对抗损失,引入循环感知损失,结合原始循环一致性损失组成新的复合损失函数,提高图像颜色与细节恢复的质量。在D-HAZY和SOTS数据集上的实验结果表明:该方法能够生成较为自然的无雾图像,其主观效果和客观指标均优于对比方法,具有更好的去雾能力;与原始循环生成式对抗网络相比,峰值信噪比从19.052 dB提高至23.128 dB,结构相似性指数从0.787提高至0.867。与DehazeNet、AOD-Net与GCANet等主流去雾方法相比,峰值信噪比和结构相似性指数比排名第二的方法分别提升7.1%和4.3%。
关键词图像去雾    循环生成式对抗网络    多尺度鉴别器    对抗损失    循环感知损失    
Image Defogging Method Based on Improved Cycle-Consistent Adversarial Network
HUANG Shan , JIA Jun     
College of Electrical Engineering, Sichuan University, Chengdu 610065, China
Abstract: Aiming at the problems of color distortion, loss of detail, and unnatural defogging effects in the existing image defogging methods, an image defogging method based on improved Cycle-consistent Adversarial Network(CycleGAN) is proposed.This method improves the original network structure and enhances the discrimination ability by adding a multi-scale discriminator to guide the network to produce a finer and more natural fog-free image.Meanwhile, the loss function is redesigned, the least squares method is used to replace the cross-entropy as the counter loss, and the cyclic perception loss is introduced.Combined with the original cyclic consistency loss, a new composite loss function is constructed to improve the quality of the image color and detail restoration.Experimental results on D-HAZY and SOTS datasets show that the proposed method can generate more natural fog-free images, and its subjective effect and objective index are better than those of other methods and has better defogging ability.Compared with the original CycleGAN, the Peak Signal to Noise Ratio(PSNR) of the method is improved from 19.052 dB to 23.128 dB and the Structure Similarity Index(SSIM) is improved from 0.787 to 0.867.Compared with mainstream defogging methods such as DehazeNet, AOD-Net and GCANet, the PSNR and SSIM of this method are approximately 7.1% and 4.3% higher than those of the second-ranking algorithm, respectively.
Key words: image defogging    Cycle-consistent Adversarial Network(CycleGAN)    multi-scale discriminator    adversarial loss    cyclic perceptual loss    

开放科学(资源服务)标志码(OSID):

0 概述

受雾霾天气的影响,电子设备采集到的图像往往存在颜色偏移、对比度低、场景模糊等问题[1],这对图像特征相关的目标识别[2]、视频监控[3]、自动驾驶[4]等领域有着重要影响。因此,图像去雾技术具有广泛的研究意义和重要的社会意义[5]

近年来,为提高带雾图像的质量,众多学者对图像去雾技术进行了研究与分析,提出了许多去雾方法,这些去雾方法根据原理的不同主要分为三类:第一类是基于图像增强的去雾方法,第二类是基于物理模型的去雾方法,第三类是基于深度学习的去雾方法[6]。基于图像增强的去雾方法主要通过增强图像中场景的对比度、亮度以及色彩饱和度,使得图像更加清晰[7],此类方法的典型算法有直方图均衡化[8]、Retinex算法[9]、同态滤波[10]和小波变换[11]等。文献[12]通过HSV颜色模型与自适应直方图均衡化算法提高图像的整体对比度,重构出无雾图像。文献[13]提出一种单幅图像去雾方法,以色彩恒常理论为基础,使用增强调整因子来增强图像中的颜色信息。基于物理模型的去雾方法主要通过数学模型来模拟雾图降质的过程,再将图像逐渐清晰化,此类方法包括暗通道先验算法以及基于偏微分方程的算法[14]。文献[15]提出的暗通道先验理论通过假设先验估计出模型的未知量,再逆向地复原出无雾图像,由于该算法无须利用辅助设备或者额外信息对模型进行约束,因此后续出现了大量文献[16-18]这类以暗通道先验作为基础的改进算法。文献[19]通过变分得到图像的偏微分方程,结合大气散射模型与梯度算子得到图像之间的关系,对图像进行局部修正,还原场景的分辨率与真实色彩。随着深度学习在计算机视觉研究中取得了较为明显的进展,不少学者开展了基于深度学习的去雾研究。文献[20]将门控上下文聚合网络用于图像去雾中,在不需要套用先验知识的情况下建立了GCANet网络获取无雾图像。文献[21]对大气退化模型进行了全新的估计,利用卷积神经网络深层结构建立了DehazeNet模型用于图像去雾,取得了较好的效果。文献[22]设计了一种多合一除雾网络AOD-Net,通过卷积神经网络从单个带雾图像直接获取到无雾图像。文献[23]在神经网络中融入了注意力机制来提取图像中的特征信息,从而获取到拥有更多有用信息的目标图像。

目前的去雾算法虽然取得了一定的去雾效果,但是依然存在一些不足:基于图像增强的去雾算法能够对图像中的环境起到突出的作用,但是去雾时容易丢失图像的细节信息;基于物理模型的去雾算法考虑了雾化降低图像质量的根本因素,但是这类方法在去雾过程中加入的先验信息难以获取,算法复杂度较高;基于深度学习的去雾算法利用神经网络的学习能力,能够实现端到端去雾,但是深度学习模型大多需要成对数据集进行训练[24],并且算法恢复出的无雾图像存在不同程度的颜色失真与信息丢失。

针对上述问题,本文提出一种基于生成式对抗网络(Generative Adversarial Network,GAN)的去雾方法。首先采用循环一致性生成式对抗网络作为模型基础,在不需要成对数据集的情况下产生无雾图像;然后使用多尺度鉴别器对判别网络进行搭建,提高网络的判别能力和图像生成能力;最后通过最小二乘和循环感知损失,加强对网络模型的约束,提高图像质量。

1 基础知识 1.1 生成式对抗网络

文献[25]提出的生成式对抗网络是一种深度生成的神经网络模型,如图 1所示,其由生成器和判别器两个功能模块组成。生成器接收随机噪声z,从真实样本中获取数据分布映射到新的数据空间,尝试生成能够欺骗判别器的虚假样本Gx[26]。判别器的输入包括两个部分,分别是生成器生成的数据Gx)和真实数据x,判别器需要尽可能去判别输入的样本是生成器生成的样本还是真实样本,若判别输入为真实样本,则输出1,反之则为0。生成器和判别器两者不断进行对抗和优化,直到生成器生成的样本能够以假乱真,判别器判别错误的概率达到最小。

Download:
图 1 生成式对抗网络结构 Fig. 1 Structure of generative adversarial network

GAN的训练过程可以视为生成器和判别器互相博弈的过程,训练时会先固定生成器G,更新判别器D的参数,然后再固定判别器D,更新生成器G的参数,两个模型交替迭代,最终达到最优解。生成器和判别器之间存在的对抗关系表示如下:

$ \begin{array}{l}\underset{G}{\mathrm{m}\mathrm{i}\mathrm{n}}\underset{D}{\mathrm{m}\mathrm{a}\mathrm{x}}V(D, G)=\\ {E}_{x~{p}_{\mathrm{d}\mathrm{a}\mathrm{t}\mathrm{a}}\left(x\right)}\left[\mathrm{l}\mathrm{g}D\right(x\left)\right]+{E}_{z~{P}_{z}(z)}\left[\mathrm{l}\mathrm{g}\right(1-D\left(G\right(z\left)\right)\left)\right]\end{array} $ (1)

在训练判别器时,为了最大程度降低判别模型D判别错误的概率,需要极大化判别模型:当判别器的输入为真实样本x时,希望Dx)能够趋近于1;当输入为虚假样本Gz)时,希望DGz))趋近于0,即1-DGz))趋近于1。而对于生成模型G则需要极小化,生成器的输入只有随机噪声z,此时希望DGz))能够趋近于1,即1-DGz))趋近于0,生成样本Gz)被判别器判别为真的概率值为1。只有当Pz=Pdata时,生成器学会真实样本Pdata的分布,判别器的准确率稳定为1/2,此时该模型得到全局最优解。

1.2 循环生成式对抗网络

文献[27]提出的循环生成式对抗网络(Cycle-consistent Adversarial Network,CycleGAN)是一种在GAN基础上提出的无监督生成式对抗网络,通过对传统GAN的镜像对称得到具有两个生成器和两个判别器的网络结构。得益于这种循环网络结构,CycleGAN模型可以在不需要成对图像数据集的情况下,让两个域的图片相互转换,原理如图 2所示。其中:XY分别为原域X和目标域YGF分别为进行XY映射的生成器与进行YX映射的生成器;DXDY为对应的判别器。GX域的图像转换为Y域的图像Gx),再由判别器DY判断图像为真或者假。同理,FX域的图像转换为Y域的图像Fy),再由判别器DX判断图像为真或者假。

Download:
图 2 CycleGAN网络结构 Fig. 2 Network structure of CycleGAN

生成器G生成图像Gx),然后由判别器DY来判断Gx)是否为真实图像,这一过程就是一个标准的单向GAN模型训练过程,故CycleGAN的对抗损失函数与GAN一致,GDY的对抗损失函数表示如下:

$ \begin{array}{l}{L}_{\mathrm{G}\mathrm{A}\mathrm{N}}(G\text{,}{D}_{Y}, X, Y)=\\ {E}_{y~{p}_{\mathrm{d}\mathrm{a}\mathrm{t}\mathrm{a}}\left(y\right)}\left[\mathrm{l}\mathrm{g}{D}_{Y}\right(y\left)\right]+{E}_{x~{p}_{\mathrm{d}\mathrm{a}\mathrm{t}\mathrm{a}}\left(x\right)}\left[\mathrm{l}\mathrm{g}\right(1-{D}_{Y}(G{\left(x\right)\left)\right)]}_{}\end{array} $ (2)

同理,FDX的对抗损失函数表示如下:

$ \begin{array}{l}{L}_{\mathrm{G}\mathrm{A}\mathrm{N}}(F\text{,}{D}_{X}, Y, X)=\\ {E}_{x~{p}_{\mathrm{d}\mathrm{a}\mathrm{t}\mathrm{a}}\left(x\right)}\left[\mathrm{l}\mathrm{g}{D}_{X}\right(x\left)\right]+{E}_{y~{p}_{\mathrm{d}\mathrm{a}\mathrm{t}\mathrm{a}}\left(y\right)}\left[\mathrm{l}\mathrm{g}\right(1-{D}_{X}(F\left(y\right)\left)\right)]\end{array} $ (3)

生成器G将图像x转换为Gx),再由F转换为FGx))后,为了尽可能地保证图像在经过两次网络之后还能保持一致,即试图使FGx))≈x以及GFy))≈y,需要计算原始图像与FGx))之间的损失。循环一致损失由原始图像与映射图像的L1范数计算得到,其函数表达式如下:

$ \begin{array}{l}{L}_{\mathrm{c}\mathrm{y}\mathrm{c}}(G\text{,}F)=\\ {E}_{x~{p}_{\mathrm{d}\mathrm{a}\mathrm{t}\mathrm{a}}\left(x\right)}\left[\mathrm{ }\right|\left|F\right(G\left(x\right))-x|{|}_{1}]+{E}_{y~{p}_{\mathrm{d}\mathrm{a}\mathrm{t}\mathrm{a}}\left(y\right)}[\mathrm{ }\left|\right|G\left(F\right(y\left)\right)-y\left|{|}_{1}\right]\\ \end{array} $ (4)

CycleGAN的损失函数由以上三个部分组成,其总目标函数表示如下:

$ \begin{array}{l}L(G\text{,}F, {D}_{X}, {D}_{Y})=\\ {L}_{\mathrm{G}\mathrm{A}\mathrm{N}}(G\text{,}{D}_{Y}, X, Y)+{L}_{\mathrm{G}\mathrm{A}\mathrm{N}}(F\text{,}{D}_{X}, Y, X)+\lambda {L}_{\mathrm{c}\mathrm{y}\mathrm{c}}(G, F)\end{array} $ (5)

其中:LGAN为对抗损失;Lcyc为循环一致性损失;$ \lambda $为循环一致性损失的权重系数。

2 本文方法

根据现有图像去雾方法和生成式对抗网络原理,结合CycleGAN无需成对数据的特点,本文以CycleGAN作为基础网络对模型进行改进,引入多尺度鉴别器并设计新的损失函数,解决现有图像去雾方法信息失真和去雾效果不自然等问题。

2.1 多尺度鉴别器

在生成式对抗网络中,判别器作为模型的重要网络结构,主要目标是判别出真实和虚假样本并提供反馈机制,优化生成器的性能[28]。在一般情况下,判别器将输入的图像进行分层卷积,不断地对图像进行压缩,然后获得与图像特征相对应的特征矢量,最后以一个概率值作为输出来判断图像的来源。这种传统单一的判别方法存在缺陷,即只能惩罚一定块规模的图像,然后对整张图像进行卷积,并且与生成网络配合,最后输出平均化的结果,无法反映出图像的整体结构。为更好地学习图像的局部与全局特征,本文利用多尺度鉴别器对真实图像与生成图像进行下采样,分别在多个尺度上对图像进行区分。多尺度鉴别器工作原理如图 3所示。

Download:
图 3 多尺度鉴别器工作原理 Fig. 3 Working principle of multi-scale discriminator

本文所使用的多尺度鉴别器的网络结构如图 4所示(彩色效果见《计算机工程》官网HTML版),其由两个结构完全相同的判别器组成,判别器D1和判别器D2都包括了7个卷积层,每个卷积层的卷积核尺寸均为3×3,全连接层为1 024,左上方的图像是由生成器产生的图像,无须对该图像进行任何处理,将其直接输入到第一个判别器D1中,随后再执行2倍下采样操作,将缩小后的图像作为判别器D2的输入。在网络模型中引入多尺度鉴别器后,网络会将原来尺寸的图像和缩小两倍尺寸的图像分别输入到两个判别器中,这两个判别器具有不同大小的感受野,当输入的图像尺寸较小时,判别器拥有较大的感受野,会更加关注图像的结构,而当输入的图像尺寸较大时则会更加关注图像的细节信息。通过这种方式可以提高判别器对样本图像细节与整体的鉴别能力,监督引导生成器生成更加真实的图像。

Download:
图 4 多尺度鉴别器网络结构 Fig. 4 Network structure of multi-scale discriminator
2.2 改进的复合损失函数 2.2.1 对抗损失

原始CycleGAN采用Sigmoid交叉熵损失函数作为对抗损失,这就导致了无论生成器生成的图像质量如何,判别器对生成器产生的图像都只进行一次判别,无法保证除雾后图像的质量。因此,本文将原本的Sigmoid交叉熵损失改进为最小二乘损失。以最小二乘作为对抗损失函数时,判别器在对图像进行判别之后,会将图像再次放回到决策边界[29],从而提高无雾图像的质量。生成器G与判别器DY的损失函数如下:

$ \begin{array}{l}{L}_{\mathrm{G}\mathrm{A}\mathrm{N}}(G\text{,}{D}_{Y}, X, Y)=\\ {E}_{y~{p}_{\mathrm{d}\mathrm{a}\mathrm{t}\mathrm{a}}\left(y\right)}\left[\right({D}_{Y}{\left(y\right)-1)}^{2}]+{E}_{x~{p}_{\mathrm{d}\mathrm{a}\mathrm{t}\mathrm{a}}\left(x\right)}[\left({D}_{Y}\right(G{\left(x\right)\left)\right)}^{2}]\end{array} $ (6)

生成器F与判别器DX的损失函数如下:

$ \begin{array}{l}{L}_{\mathrm{G}\mathrm{A}\mathrm{N}}(F\text{,}{D}_{X}, Y, X)=\\ {E}_{x~{p}_{\mathrm{d}\mathrm{a}\mathrm{t}\mathrm{a}}\left(x\right)}\left[\right({D}_{X}{\left(x\right)-1)}^{2}]+{E}_{y~{p}_{\mathrm{d}\mathrm{a}\mathrm{t}\mathrm{a}}\left(y\right)}[\left({D}_{X}\right(F{\left(y\right)\left)\right)}^{2}]\end{array} $ (7)
2.2.2 循环感知损失

虽然CycleGAN在执行图像转换任务的过程中,通过使用循环一致性损失对输入图像与循环重建的图像进行约束,除去了图像的一部分噪声,但是仍然存在部分残留,无法完全还原图像的细节信息,而VGG网络有着较深的网络结构,相比一般鉴别器可以提取更加丰富的细节与高级特征,其视觉表现更好。因此,本文引入循环感知损失来确保图像之间的结构相似性,进一步提升生成图像的质量。循环感知损失函数表达式如下:

$ {L}_{\mathrm{p}\mathrm{e}\mathrm{r}\mathrm{c}\mathrm{e}\mathrm{p}\mathrm{t}\mathrm{u}\mathrm{a}\mathrm{l}}=\left|\right|\phi \left(F\right(G\left(x\right)\left)\right)-\phi \left(x\right)\mathrm{ }|{|}_{2}+|\left|\phi \right(G\left(F\right(y\left)\right))-\phi (y\left)\mathrm{ }\right|{|}_{2} $ (8)

其中:xy分别为带雾图像和无雾图像;φ()为特征提取器函数;|| ||2为L2范数。

经过上述改进之后,最终的复合损失函数如下:

$ \begin{array}{l}{L}_{\mathrm{G}\mathrm{A}\mathrm{N}}(G\text{,}F, {D}_{X}, {D}_{Y})=\\ {L}_{\mathrm{G}\mathrm{A}\mathrm{N}}(G\text{,}{D}_{Y}, X, Y)+{L}_{\mathrm{G}\mathrm{A}\mathrm{N}}(F\text{,}{D}_{X}, Y, X)+\\ {\lambda }_{1}{L}_{\mathrm{c}\mathrm{y}\mathrm{c}}(G, F)+{\lambda }_{2}{L}_{\mathrm{p}\mathrm{e}\mathrm{r}\mathrm{c}\mathrm{e}\mathrm{p}\mathrm{t}\mathrm{u}\mathrm{a}\mathrm{l}}(G, F)\end{array} $ (9)

其中:LGAN为改进后的对抗损失;Lcyc为循环一致性损失;Lperceptual为循环感知损失;$ \lambda $1为循环一致性损失的权重系数;$ \lambda $2为循环感知损失的权重系数。

3 实验结果与分析 3.1 实验数据集

本文选用D-HAZY数据集[30]与SOTS数据集[31]作为实验合成数据集,两者都是常用于图像去雾领域的公开数据集,其中D-HAZY数据集作为训练集,SOTS数据集作为测试集。为使实验数据符合本文网络训练图像的要求,首先将所有图像调整为256×256像素,然后将训练集数据分为A组与B组,A组中存放有雾图像,B组中存放无雾图像。

3.2 实验设置

实验环境配置:CPU为Intel® Celeron® N2940 @ 1.83 GHz,内存为16 GB,GPU为Nvidia GeForce RTX 2080 Ti。本文深度学习的框架为Pytorch 1.10.0,解释器为Python 3.8,Cuda版本为11.3。

实验流程参数设置如下:学习速率初始化为2×10-3;采用小批量的方式训练模型batch-size为1;迭代次数为200次;num_workers为4;不对原始网络权重系数λ1进行修改,故λ1为10;权重系数λ2根据经验设置为0.5,并且在每个epoch开始时对数据进行重新打乱。

3.3 实验结果

为验证本文方法的有效性,使用基于图像增强的Fan算法、经典的DCP算法,以及基于深度学习的GCANet、DehazeNet与AOD-Net作为对比算法,在SOTS数据集上进行去雾效果比较,从主观评价和客观评价两个角度对实验结果进行分析。

3.3.1 主观评价

不同算法的去雾结果对比如图 5所示(彩色效果见《计算机工程》官网HTML版),从中可以看出:经Fan算法去雾后的图像颜色发生严重偏移,纹理以及边缘信息存在大量丢失,整体去雾效果最差;基于物理模型去雾的DCP算法效果优于Fan算法,但是由于该算法过于依赖颜色信息,容易出现图像整体清晰度低而局部色彩饱和度偏高的情况;GCANet算法去雾能力不足,去雾后的图像出现了颜色异常;与DehazeNet算法相比,显然AOD-Net算法去雾后的图像视觉效果更好,但是也存在部分雾气残留以及细节丢失等不足;与前面4种方法相比,本文算法得到的去雾图像具有更明亮的颜色和更清晰的边缘与细节信息,与原始无雾图像最为接近。

Download:
图 5 不同算法的去雾结果 Fig. 5 Defogging results of different algorithms
3.3.2 客观评价

通常来说,人眼的视觉特性会导致人眼对不同图像同一区域的感知结果易受邻近图像的影响,不同个体评价图像时也会受到个体主观意识的影响,因此,评价图像质量不能仅靠主观评估,对图像质量进行量化尤为重要。本文采用峰值信噪比(Peak Signal to Noise Ratio,PSNR)[32]和结构相似性指数(Structure Similarity Index,SSIM)[33]作为结果图像的评估指标。

PSNR用于对图像像素点间的误差进行衡量,计算公式如式(10)所示,其中$ {M}_{\mathrm{M}\mathrm{S}\mathrm{E}} $为图像之间的均方误差,$ {M}_{\mathrm{M}\mathrm{A}{\mathrm{X}}_{1}}^{} $为图像最大像素值。PSNR值越大,图像受噪声影响越小,图像质量越好。

$ {P}_{\mathrm{P}\mathrm{S}\mathrm{N}\mathrm{R}}=10\times \mathrm{l}\mathrm{g}\left(\frac{{M}_{\mathrm{M}\mathrm{A}{\mathrm{X}}_{1}}^{2}}{{M}_{\mathrm{M}\mathrm{S}\mathrm{E}}}\right) $ (10)

SSIM用于对图像之间的相似度进行度量,计算公式如式(11)所示,其中L为图像的亮度比较,C为图像的对比度比较,S为图像的结构比较。SSIM值越大,代表图像保留了越多细节信息。

$ {S}_{\mathrm{S}\mathrm{S}\mathrm{I}\mathrm{M}}=L(X, Y)\times C(X, Y)\times S(X, Y) $ (11)

不同算法去雾后的PSNR与SSIM平均值如表 1所示。从中可以看出:Fan算法与GCANet的PSNR和SSIM值都较低;DCP算法的PSNR与SSIM值略高于DehazeNet算法,具有更好的图像重建能力;AOD-Net算法的PSNR值虽然高于其他算法,但是SSIM值反而降低了;相比之下,经过本文算法去雾后的图像SSIM和PSNR值都高于对比算法,其中PSNR值与对比算法中的最佳值相比提高了7.1%,SSIM值提高了4.3%。由此可见,本文算法能够更好地保留图像的场景结构和细节信息,结果图像与原始无雾图像的像素级差异更小,能够获得更好的去雾效果。

下载CSV 表 1 不同算法的客观指标 Table 1 Objective index of different algorithms
3.4 消融实验

为进一步证明本文算法引入的多尺度鉴别器和复合损失函数的有效性,本文对算法进行剥离,增加了有无改进部分的对比实验。实验的对比模型主要包括原始循环生成式对抗网络模型Model-1、仅增加多尺度鉴别器的网络模型Model-2以及仅采用改进复合损失函数的网络模型Model-3,并分别对拆解的模型进行测试。

图 6为消融实验结果(彩色效果见《计算机工程》官网HTML版)。从中可以看出:不进行任何修改的原始CycleGAN网络能够在一定程度上去除雾霾,但是将去雾后的图像与原始无雾图像相比较后不难发现:原始CycleGAN网络处理后的图像颜色发生了扭曲,细节恢复能力不足,亮度过渡区域也较为生硬,去雾效果不自然;引入多尺度鉴别器的网络模型与采用改进复合损失函数的模型生成的图像均比原始网络更好,生成的图像更加接近原始无雾图像,视觉上更加自然。

Download:
图 6 消融实验结果 Fig. 6 Results of ablation experiment

上述各个模型去雾后的图像质量指标如表 2所示,可以直观地从表中看出,经改进部分的模型去雾后图像的PSNR值和SSIM值均比未改进的原始模型高,其中,Model-2的PSNR值比Model-1提高了18.8%,Model-3的SSIM值比Model-1提高了9.1%。

下载CSV 表 2 消融实验结果的客观指标 Table 2 Objective index of ablation experimental results

多尺度鉴别器能够通过不同大小的感受野获取到更多的图像特征信息,加上判别器和生成器相互配合,在提高判别网络能力的同时也会优化生成网络,从图 6表 2可以看出,与原始网络相比,引入多尺度鉴别器的网络模型生成的图像无论是视觉感观还是客观指标均优于原始网络,能够更好地保留图像的细节信息,改善亮度转换区域过渡不自然的问题,生成的图像更加贴近原始无雾图像。改进的复合损失函数能够利用多个隐藏层作为特征提取器来提取特征,并且按照样本和决策边界的距离对样本图像做出惩罚,从而提高图像的质量,从实验结果中可以看出,采用改进复合损失函数的网络恢复后的图像信息丢失更少,能够较好地改善图像细节信息缺失和颜色失真的问题,去雾效果比原始网络更好。由此可见,本文对于CycleGAN的改进能够促进网络优化,对图像去雾起到有利的作用。

4 结束语

本文设计一种基于改进CycleGAN的图像去雾方法。以CycleGAN作为基础网络模型,采用多尺度鉴别器代替单个鉴别器提高生成图像的质量,使得生成的图像更接近真实无雾图像,同时引入最小二乘和循环感知损失对映射空间进行约束,改善去雾图像颜色扭曲和细节丢失等问题。实验结果表明,相比传统去雾方法,本文方法在图像去雾方面效果更优,并且具有更好的视觉效果。后续将对模型做进一步优化,提高其在低照度情况下的去雾性能。

参考文献
[1]
SINGH D, KUMAR V. Defogging of road images using gain coefficient-based trilateral filter[J]. Journal of Electronic Imaging, 2018, 27(1): 013004.
[2]
HUANG Z L, DUMITRU C O, PAN Z X, et al. Classification of large-scale high-resolution SAR images with deep transfer learning[J]. IEEE Geoscience and Remote Sensing Letters, 2021, 18(1): 107-111. DOI:10.1109/LGRS.2020.2965558
[3]
LIU X, ZHAO D, XU L, et al. A distributed video management cloud platform using Hadoop[J]. IEEE Access, 2015, 3: 2637-2643. DOI:10.1109/ACCESS.2015.2507788
[4]
CHOI S, LE T, NGUYEN Q, et al. Toward self-driving bicycles using state-of-the-art deep reinforcement learning algorithms[J]. Symmetry, 2019, 11(2): 290. DOI:10.3390/sym11020290
[5]
王道累, 张天宇. 图像去雾算法的综述及分析[J]. 图学学报, 2020, 41(6): 861-870.
WANG D L, ZHANG T Y. Review and analysis of image defogging algorithm[J]. Journal of Graphics, 2020, 41(6): 861-870. (in Chinese)
[6]
JU M Y, DING C, ZHANG D Y, et al. Gamma-correction-based visibility restoration for single hazy images[J]. IEEE Signal Processing Letters, 2018, 25(7): 1084-1088. DOI:10.1109/LSP.2018.2839580
[7]
LIANG W, LONG J, LI K C, et al. A fast defogging image recognition algorithm based on bilateral hybrid filtering[J]. ACM Transactions on Multimedia Computing, Communications, and Applications, 2021, 17(2): 42.
[8]
SENGUPTA D, BISWAS A, GUPTA P. Non-linear weight adjustment in adaptive Gamma correction for image contrast enhancement[J]. Multimedia Tools and Applications, 2021, 80(3): 3835-3862. DOI:10.1007/s11042-020-09583-1
[9]
TANG Q F, YANG J, HE X J, et al. Nighttime image dehazing based on Retinex and dark channel prior using Taylor series expansion[J]. Computer Vision and Image Understanding, 2021, 202: 103086. DOI:10.1016/j.cviu.2020.103086
[10]
LIANG J, JU H J, REN L Y, et al. Generalized polarimetric dehazing method based on low-pass filtering in frequency domain[J]. Sensors, 2020, 20(6): 1729. DOI:10.3390/s20061729
[11]
CHEN Z X, OU B N. Visibility detection algorithm of single fog image based on the ratio of wavelength residual energy[J]. Mathematical Problems in Engineering, 2021, 2021: 1-13.
[12]
THANH L T, THANH D N H, HUE N M, et al. Single image dehazing based on adaptive histogram equalization and linearization of Gamma correction[C]//Proceedings of the 25th Asia-Pacific Conference on Communications. Washington D.C., USA: IEEE Press, 2019: 36-40.
[13]
FAN T H, LI C L, MA X, et al. An improved single image defogging method based on Retinex[C]//Proceedings of the 2nd International Conference on Image, Vision and Computing. Washington D.C., USA: IEEE Press, 2017: 410-413.
[14]
ZHANG B W, WANG M L, SHEN X B. Image haze removal algorithm based on nonsubsampled contourlet transform[J]. IEEE Access, 2021, 9: 21708-21720. DOI:10.1109/ACCESS.2021.3056406
[15]
HE K M, SUN J, TANG X O. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(12): 2341-2353. DOI:10.1109/TPAMI.2010.168
[16]
JIANG Z Y, SUN X D, WANG X C. Image defogging algorithm based on sky region segmentation and dark channel prior[J]. Journal of Systems Science and Information, 2020, 8(5): 476-486. DOI:10.21078/JSSI-2020-476-11
[17]
PAN Y P, CHEN Z X, LI X M, et al. Single-image dehazing via dark channel prior and adaptive threshold[J]. International Journal of Image and Graphics, 2021, 21(4): 2150053. DOI:10.1142/S0219467821500534
[18]
WANG F P, WANG W X. Road extraction using modified dark channel prior and neighborhood FCM in foggy aerial images[J]. Multimedia Tools and Applications, 2019, 78(1): 947-964. DOI:10.1007/s11042-018-5962-0
[19]
薛文丹, 赵凤群. 涉及景深的雾天图像增强的偏微分方程模型[J]. 计算机工程与应用, 2017, 53(19): 192-197.
XUE W D, ZHAO F Q. Partial differential equation model involving depth of scene for hazy image enhancement[J]. Computer Engineering and Applications, 2017, 53(19): 192-197. (in Chinese) DOI:10.3778/j.issn.1002-8331.1611-0236
[20]
CHEN D D, HE M M, FAN Q N, et al. Gated context aggregation network for image dehazing and deraining[C]//Proceedings of IEEE Winter Conference on Applications of Computer Vision. Washington D.C., USA: IEEE Press, 2019: 1375-1383.
[21]
CAI B L, XU X M, JIA K, et al. DehazeNet: an end-to-end system for single image haze removal[J]. IEEE Transactions on Image Processing, 2016, 25(11): 5187-5198. DOI:10.1109/TIP.2016.2598681
[22]
LI B Y, PENG X L, WANG Z Y, et al. AOD-net: all-in-one dehazing network[C]//Proceedings of IEEE International Conference on Computer Vision. Washington D.C., USA: IEEE Press, 2017: 4780-4788.
[23]
QIN X, WANG Z L, BAI Y C, et al. FFA-net: feature fusion attention network for single image dehazing[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2020, 34(7): 11908-11915. DOI:10.1609/aaai.v34i07.6865
[24]
WANG B, NIU B, ZHAO P, et al. Review of single image defogging[J]. International Journal of Sensor Networks, 2021, 35(2): 111-120. DOI:10.1504/IJSNET.2021.113630
[25]
GOODFELLOW I, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial nets[C]//Proceedings of Annual Conference on Neural Information Processing Systems. Berlin, Germany: Springer, 2014: 2672-2680.
[26]
LEE M, SEOK J. Controllable generative adversarial network[J]. IEEE Access, 2019, 7: 28158-28169. DOI:10.1109/ACCESS.2019.2899108
[27]
ZHU J Y, PARK T, ISOLA P, et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[C]//Proceedings of IEEE International Conference on Computer Vision. Washington D.C., USA: IEEE Press, 2017: 2242-2251.
[28]
CRESWELL A, WHITE T, DUMOULIN V, et al. Generative adversarial networks: an overview[J]. IEEE Signal Processing Magazine, 2018, 35(1): 53-65. DOI:10.1109/MSP.2017.2765202
[29]
MAO X D, LI Q, XIE H R, et al. Least Squares generative adversarial networks[C]//Proceedings of IEEE International Conference on Computer Vision. Washington D.C., USA: IEEE Press, 2017: 2813-2821.
[30]
ANCUTI C, ANCUTI C O, DE VLEESCHOUWER C. D-HAZY: a dataset to evaluate quantitatively dehazing algorithms[C]//Proceedings of IEEE International Conference on Image Processing. Washington D.C., USA: IEEE Press, 2016: 2226-2230.
[31]
YUAN F, HUANG H. Image haze removal via reference retrieval and scene prior[J]. IEEE Transactions on Image Processing, 2018, 27(9): 4395-4409. DOI:10.1109/TIP.2018.2837900
[32]
HUYNH-THU Q, GHANBARI M. Scope of validity of PSNR in image/video quality assessment[J]. Electronics Letters, 2008, 44(13): 800. DOI:10.1049/el:20080522
[33]
WANG Z, BOVIK A C, SHEIKH H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612. DOI:10.1109/TIP.2003.819861