2022, Vol. 48
, 开放科学（资源服务）标志码（OSID）：
摄像机在成像过程中，光线会受到空气中雾霾和水雾粒子散射与吸收作用的影响，导致图像细节缺失、色彩暗淡、亮度降低。这些降质的图像严重制约了目标检测、目标跟踪、自动驾驶等领域的发展。因此，近年来图像去雾算法逐渐成为计算机视觉中的热点研究问题。
目前，通常使用大气散射模型[1]描述雾天图像的退化过程，但是大气散射模型是一个典型的不适定方程，即只有在透射图和大气光值先验信息的基础上才能够求解。
为解决这一问题，大量图像去雾算法被提出，主要包括基于先验信息的图像去雾算法和基于深度学习的图像去雾算法。基于先验信息的图像去雾算法采用观察到的统计规律提取相关特征，以此来估计大气光和透射图，进而通过大气散射模型反演出清晰图像。基于深度学习的图像去雾算法不再估计大气散射模型的中间参数，而是通过网络学习雾霾相关特征，直接恢复出最终的无雾图像。上述两类图像去雾算法均有一定的去雾效果，但基于先验信息的图像去雾算法需要人为设定先验知识来约束模型进行求解，存在一定误差和局限性。基于深度学习的图像去雾算法需要成对的有雾图像和相对应的无雾图像进行训练，算法仅在合成有雾图像时的去雾效果较好[2]。
本文提出一种基于双尺度特征融合的图像去雾网络，采用堆叠残差密集块（Residual Dense Block，RDB）加强图像局部特征的提取，通过堆叠包含空间注意机制的特征提取块提取图像的全局特征，优化去雾图像的细节。为有效结合图像的局部特征和全局特征，采用通道注意力机制对局部特征图和全局特征图进行通道加权，并通过卷积操作进行特征融合。此外，考虑到网络深度的增加容易导致浅层信息丢失，本文通过门控网络进一步融合3层不同深度的融合特征图。
1 相关工作基于先验信息的经典图像去雾算法包括暗通道先验（Dark Channel Prior，DCP）理论、颜色衰减先验（Color Attenuation Prior，CAP）理论、非局部去雾（Non-Local Dehaizng，NLD）[3]理论、雾颜色线先验（haze Color-Line Prior，CLP）理论等，后续陆续有研究人员在这些算法的基础上提出新的改进。文献[4]提出一种基于逆通道与改进引导滤波的暗通道去雾算法，通过利用蓝色光的逆通道得到雾天图像的暗通道图，引入自适应引导滤波计算透射率，最后得到无雾图像。文献[5]提出一种结合暗通道和Retinex理论的图像去雾算法，该算法采用四分加权算法准确估计大气光值，结合多尺度Retinex方法进行图像去雾。文献[6]提出一种基于光幕约束和分段调整的去雾算法，从大气光幕基本条件出发进行图像去雾。文献[7]提出一种结合暗亮通道先验的远近景融合去雾算法。文献[8]提出一种基于雾浓度分布与自适应衰减的图像去雾算法。尽管基于先验信息的图像去雾算法具有较好的去雾效果，但由于单方面的假设并不适用于复杂多变的实际场景，因此该类算法容易过度增强图像，导致图像出现光晕、色偏等现象。例如，暗通道先验会过度增强图像的天空区域或类似于大气光的白色物体。
为解决这一问题，REN等[9]提出基于多尺度卷积神经网络的图像去雾算法，该算法将大卷积核估计的粗略透射图与小卷积核提取的精细透射图进行通道融合，有效提升透射图估计的准确度。CAI等[10]构建一种DehazeNet网络，该网络采用3×3、5×5、7×7共3个卷积核的并行卷积来提取雾霾特征，并利用最大输出单元（Maxout）和双边线性修正单元优化透射图的估计准确度。然而，上述2种算法仍然采用传统方法估计大气光值，导致图像去雾结果并不稳定。为此，LI等[11]提出AODNet网络，通过对大气散射模型进行线性变换，将大气光和透射图 2个参数变换为1个中间参数，从而减小2次参数估计的误差累积。ZHANG等[12]将大气散射模型嵌入到网络中，通过网络学习的方式同时估计透射图与大气光，提高估计的准确度。上述图像去雾网络虽然取得了相对较好的去雾效果，但仍依赖于传统的大气散射模型，而大气散射模型只是一个简化的数学模型，它假定了光线衰减速率与颜色通道相互独立，导致网络容易陷入局部最优解[13]。
文献[14]提出一种基于条件生成对抗网络的图像去雾方法，该方法通过设计密集块结构能够更加充分地提取图像特征，减少去雾色差较大的问题。文献[15]提出一种结合卷积神经网络与动态环境光的图像去雾方法，使用动态环境光代替全局大气光，对透射率估计网络的透射率进行平滑滤波来进行去雾。文献[16]提出一种基于内容特征和风格特征融合的单幅图像去雾网络，该方法通过对图像内容和图像风格进行提取并融合，在进行图像去雾的同时较好地保留了图像的原始色彩。REN等[17]提出GFN网络，通过门控网络有效结合白平衡、对比度增强和伽玛矫正衍生图像，从而直接得到最终的无雾图像。QU等[18]提出EPDN图像去雾网络，该网络通过生成器与多尺度判别器的对抗训练生成初步的去雾结果，然后利用增强模块优化去雾图像的颜色与细节信息。但这2种方法容易过度去雾导致色彩过饱和。不同的是，LIU等[19]通过搭建1个深度的多尺度去雾网络来最大程度地提取雾霾特征，并利用学习到的参数将不同尺度的特征图有效融合。该算法的缺陷在于没有区别对待局部特征和全局特征，使恢复的图像容易丢失细节并存在残余雾霾。此外，DONG等[20]提出MSBDN去雾网络，利用反投影的方式加强不相邻编码层间的信息流动，在合成数据集中取得了较好的结果。但MSBDN去雾网络泛化能力差，在真实场景中不能有效去雾。因此，SHAO等[21]通过搭建一个循环的网络来弥补合成数据和真实雾霾图像的差别，提高模型在真实场景中的去雾效果，虽然该方法具有较好的泛化能力，但是去雾后的图像对比度较低。
2 双尺度特征提取与融合本文基于CNN设计一个基于双尺度特征融合的单幅图像去雾网络，该网络不依赖于大气散射模型，而是直接从有雾图像恢复出无雾图像。本文所提图像去雾网络结构如图 1所示，主要包括双尺度特征提取与特征融合2部分。在特征提取模块中，通过5个残差密集块（RDB1~RDB5）提取图像的局部特征，残差结构加强了局部特征在网络深度上的流动，同时在梯度反向传播时能有效防止梯度爆炸。此外，本文网络通过5个包含空间注意机制的特征提取块（FEB1~FEB5）提取图像的全局特征，从而使网络能有效去除不均匀的雾霾。在特征融合模块中，通过2次下采样和3次上采样操作将图像局部特征和全局特征统一到一个尺度上进行特征融合，在此基础上采用门控网络自适应地融合3层不同深度的融合特征图，并通过1×1的卷积层实现特征图到无雾图像之间的非线性映射。
|
Download:
|
| 图 1 本文图像去雾网络结构 Fig. 1 Structure of image dehazing network in this paper | |
如图 1所示，为有效提取图像的局部特征，本文堆叠了5个残差密集块RDB。残差密集块结合了残差结构和稠密结构的优势，其中：残差结构能够确保反向传播时梯度的流动，促进网络的收敛；而稠密结构将之前每一次的卷积结果通道叠加到之后的卷积输入中，能够有效防止浅层信息在传播过程中的丢失。先前研究表明，浅层卷积层能有效提取图像的边缘和纹理信息，而纹理信息在传播到深层卷积层时容易丢失，从而造成去雾图像的对比度不高。为此，本文设计了如图 2所示的残差密集块结构，以有效结合浅层和深层的局部特征。本文设计的残差密集块由5个卷积层组成，其中：前4个卷积层卷积核大小为3×3，步长为1，激活函数为ReLU函数；最后1个卷积层卷积核大小为1×1，步长也为1，但无激活函数。
|
Download:
|
| 图 2 残差密集块 Fig. 2 Residual dense block | |
图像的全局特征主要包括颜色特征和亮度特征，颜色特征和亮度特征是基于像素点的属性，影响最终去雾图像的视觉效果。此外，雾霾多数是成片连续的，也可以近似为全局特征。因此，全局特征对提高最终去雾图像的质量具有至关重要的作用。
为有效提取图像的全局特征，本文通过下采样将输入图像的尺寸缩减1/2，即图像大小从512×512缩小到256×256，通道数从16扩大到32，以增大卷积的感受野。同时，设计了如图 3所示的特征提取块来增强图像全局特征的表征。该特征提取块包括2个残差结构，能够有效防止网络训练时发生梯度爆炸。
|
Download:
|
| 图 3 特征提取块 Fig. 3 Feature extraction block | |
在图 3中，第1层卷积初步提取图像的特征，其卷积核大小为3×3，步长为1，激活函数为ReLU函数；第2层卷积进一步增强这些特征，其卷积核大小和步长与第1层卷积相同但不用激活函数。随后，采用空间注意机制关注图像的重要区域（如浓雾区域）。空间注意机制通过一层卷积核为1×1、步长为1的卷积层提取特征信息，该卷积层的激活函数为ReLU函数。接着，利用另一个相同的卷积层增强特征，并通过Sigmoid激活函数形成特征图的权重图。最后，该权重图与输入空间注意机制前的特征图逐点相乘，从而使浓雾区域获得更多的权重。
2.2 特征融合为实现上述图像局部特征和全局特征的有效融合，本文令通道注意机制加权通道叠加后的特征图。考虑到网络越深感受野越大，容易使网络更加关注全局特征而导致局部信息丢失，本文进一步采用门控网络自适应结合FEB1、RDB3和RDB5之后的融合特征图。这些特征图包含丰富的颜色、纹理和边缘信息，可有效避免随着网络深度的增加而出现局部信息丢失问题。
2.2.1 全局特征提取考虑到不同特征图之间的重要性差异，本文首先采用通道注意机制融合2.1节提取的图像局部特征和全局特征。特征融合模块结构如图 4所示，其中：
|
Download:
|
| 图 4 特征融合模块 Fig. 4 Feature fusion module | |
以图 4（a）所示的上采样为例，首先通过1×1的卷积将全局特征图数量改变为16，然后利用上采样将全局特征图大小变为512×512，并通过通道叠加形成32张特征图（局部特征图和全局特征图各16张）。为区分这些特征图的重要程度，首先通过池化层将每一通道上的特征图尺寸进行归一化，形成通道向量。然后利用1×1的卷积层和ReLU激活函数进一步增强特征，再通过1×1的卷积层和Sigmoid激活函数生成通道维度的权重图，将通道权重图与输入的32张特征图在通道维度上逐点相乘，从而使重要的特征图获得更多的权重。最后，采用一个1×1的卷积层融合加权后的特征图，形成最终的16张特征图。
如图 4（b）所示，在下采样时，通过1×1卷积和下采样将局部特征变换到全局特征的尺度上。此时通道注意机制输入的通道数为64（局部特征图和全局特征图各32张），并利用1×1的卷积层输出最终的32张融合特征图，以确保这一尺度上的通道数不变。
2.2.2 门控网络特征融合为进一步实现图像局部特征和全局特征的有效融合，本文采用门控网络自适应融合基于通道注意机制获得多张特征图。门控网络是通过卷积操作学习特征图的权重，能使网络自动关注到重要的特征图，从而获得丰富的色彩与结构信息。门控网络在相同尺度的特征图融合过程中表现出良好的性能。例如，GFN网络将有雾图像预处理为3张衍生图像，通过编码结构进行特征提取，在解码过程中采用门控网络自动得到3张衍生图像的权重，降低了过度增强图像带来的负面影响。GCAN网络[22]通过平滑空洞卷积提取自动编码结构瓶颈层的语义特征，并利用门控网络自适应地结合不同深度的特征图，提高去雾图像的清晰度。
不同的是，本文通过门控网络结合通道注意机制生成的特征图融合了同一网络深度上的局部特征和全局特征，因此这些特征已经包含了较丰富的色彩与结构信息。但随着网络深度的增加，卷积核的感受野成倍数增加，网络会更加关注全局特征，导致结构、纹理信息的丢失，进而使去雾图像对比度下降。具体来说，首先将FEB1后通道融合的特征图进行卷积操作，使特征图的数量变为16，并利用上采样将特征图的大小改变为512×512，得到特征图
| $ \left({\alpha }_{\mathrm{l}}, {\alpha }_{m}, {\alpha }_{h}\right)=\mathrm{G}\mathrm{a}\mathrm{t}\mathrm{e}\left({F}_{\mathrm{l}}, {F}_{m}, {F}_{h}\right) $ | (1) |
| $ {F}_{f}={\alpha }_{1}\times {F}_{l}+{\alpha }_{m}\times {F}_{m}+{\alpha }_{h}\times {F}_{h} $ | (2) |
本文的门控网络由一个3×3的卷积层组成，其输入是
最后，通过一层卷积层和ReLU激活函数将门控网络融合后的特征图映射为最终的无雾图像。该卷积层的卷积核大小为3×3，步长为1，输入和输出通道数分别为16和3。
3 损失函数大量实验表明将感知损失函数和L1损失函数结合能有效训练网络，得到更加清晰自然的去雾图像。L1损失将去雾结果与清晰图像逐像素比较，能迅速将去雾结果的特征映射到清晰图像的特征分布中，达到初步的去雾效果。感知损失将去雾结果与清晰图像进行特征差异的比较，能够进一步恢复去雾图像的细节信息，优化最终的去雾结果。
因此，本文采用平滑L1损失函数和感知损失函数训练网络，总的损失函数表达式如式（3）所示：
| $ L={L}_{s}+\lambda {L}_{p} $ | (3) |
其中：
相比于L2损失函数（均方误差），L1损失函数（标准差误差）训练更加稳定，因此被广泛应用于超分辨率重建、图像去雾等图像恢复任务中。然而，L1损失函数在误差较小时梯度仍较大，导致模型的收敛速度受到影响。为实现上述2种损失函数的优势互补，本文采用平滑L1损失函数，平滑L1损失函数在误差小于1时采用均方误差形式，而其余情况均采用标准差误差形式，从而有效兼顾2种损失函数的优点，其表达式如式（4）和式（5）所示：
| $ {L}_{s}=\frac{1}{N}\sum\limits_{x=1}^{N}\sum\limits_{i=1}^{3}{F}_{s}\left[{J}_{i}{\left(x\right)}^{\mathrm{\Delta }}-{J}_{i}\left(x\right)\right] $ | (4) |
| $ {F}_{s}\left({e}_{i}\right)=\left\{\begin{array}{c}0.5{e}_{i}^{2}, \left|{e}_{i}\right| < 1\\ \left|{e}_{i}\right|-0.5, \mathrm{其}\mathrm{他}\end{array}\right. $ | (5) |
其中：
不同于L1和L2损失函数，感知损失函数没有将去雾结果与真实无雾图像进行逐像素比较，而是从预训练的深层卷积网络中提取中间特征图，进而量化去雾结果和真实无雾图像之间的视觉差异。在具体实施过程中，本文使用在ImageNet上预先训练的VGG16作为损失网络，并从前3个阶段（Conv1-2、Conv2-2和Conv3-3）的最后一层中提取特征图。本文采用的感知损失函数如式（6）所示：
| $ {L}_{p}=\sum\limits_{j=1}^{3}\frac{1}{{C}_{j}{H}_{j}{W}_{j}}{||{\varphi }_{j}\left({J}^{\mathrm{\Delta }}\right)-{\varphi }_{j}\left(J\right)||}_{2}^{2} , \;\; j=\mathrm{1, 2}, 3 $ | (6) |
其中：
本文采用雾天图像数据库RESIDE[23]中的室内训练集ITS和室外训练集OTS进行网络训练，其中ITS包含13 990张雾天图像与其对应的无雾图像，OTS包含313 950张雾天图像与其对应的无雾图像。在测试过程中，本文采用SOTS测试集（包含室内图像和室外图像各500张）和HAZERD数据集[24]验证网络在合成雾霾数据集中的去雾效果，并采用近年来图像去雾领域常用的真实雾霾图像进一步验证本文网络对真实雾天图像的去雾能力。本文选择图像去雾领域的多个经典网络进行比较，包括DCP、DCPDN、GFN、GridDehazeNet、EPDN和MSBDN网络。在比较过程中，采用峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和结构相似度（Structural Similarity，SSIM）定量评估网络在合成雾天图像上的去雾结果，该值越高，代表图像去雾效果越好。由于真实的雾天图像没有参考无雾天图像，本文采用定性的方法进行对比。
4.1 实验设置本文分别利用ITS和OTS数据集训练室内、室外图像去雾网络模型，在训练过程中，将所有图像的尺寸均调整为512×512。本文方法基于PyTroch框架实现，GPU选用NVIDIA GeForce RTX 2080 Ti。在训练过程中，采用ADAM优化器优化网络，衰减系数采用默认值，即
图 5所示为本文网络与其他对比网络在合成雾天图像SOTS上的对比实验结果（彩色效果见《计算机工程》官网HTML版本）。从图 5中可以看出，DCP网络所得到的去雾结果过度增强了图像的颜色，如图 5（b）第1、第2和第4幅图像的红色框区域，这是由于在白色物体和天空区域等没有暗通道的地方，DCP网络对透射图的估计不够精确。DCPDN网络虽能较好地去除雾霾，但是却过高估计了图像的亮度，如图 5（c）第1和第3幅图像的红色框区域，以及图 5（c）第2和第4幅图像中的绿色框区域，其原因在于DCPDN网络需要使用合成雾霾图像来模拟真实场景中的大气光和透射率，导致估计的参数不够准确，进而影响了去雾图像的视觉效果。相比之下，GFN、GridDehazeNet、EPDN、MSBDN网络以及本文网络这5种不依赖大气散射模型的网络具有更好的去雾效果。其中，EPDN网络虽然能有效去雾，但是过度增强了图像的颜色，如图 5（f）第1幅图像中的天空和第4幅图像中红框内的地面。GFN网络虽然能在去雾的同时较好地还原无雾图像的色彩和亮度，但是会导致图像部分区域存在暗影，如图 5（d）第3幅和第4幅图像中的红色框区域，而GridDehazeNet网络、MSBDN网络和本文网络的去雾结果与真实无雾图像最接近，均达到了较好的视觉效果。
|
Download:
|
| 图 5 不同网络在SOTS数据集下的去雾结果对比 Fig. 5 Comparison of dehazing results of different networks on SOTS datasets | |
图 6为本文网络与其他对比网络在合成雾天图像HAZERD数据集下的对比实验结果（彩色效果见《计算机工程》官网HTML版本）。从图 6可以看出，当使用训练的模型测试另一数据集的雾天图像时，其去雾图像的视觉效果普遍降低，特别是对天空等区域，对比网络无法恢复出天空的颜色。具体地，DCP网络的去雾结果颜色过度饱和，DCPDN网络去雾结果亮度异常，如图 6（c）第2幅图像中的房屋颜色所示。GFN网络和MSBDN网络的去雾结果有明显的残余雾霾，导致2幅图红框内的建筑模糊不清。相比之下，GridDehazeNet网络和EPDN网络处理后的图像与真实无雾图像更加接近，这是因为这2种方法从多尺度特征中恢复出无雾图像，能更好地保留原始图像的细节信息。但如图 6（e）和图 6（f）所示，GridDehazeNet和EPDN两种网络存在颜色失真的问题，如天空部分偏白（见红框区域）和建筑物颜色偏深（见绿色框区域）。从图 6（h）第1幅图像红框内的天空区域和第2幅图像绿框内的房屋颜色可以看出，本文网络颜色失真较小。综上可知，本文通过通道注意机制减小了过度增强特征图的权重，且门控网络自适应地结合了3个深度的特征图，增强了网络的泛化能力。
|
Download:
|
| 图 6 不同网络在HAZERD数据集下的去雾结果对比 Fig. 6 Comparison of dehazing results of different networks on HAZERD datasets | |
为进一步验证本文网络的有效性，选取PSNR、SSIM、模型参数量和浮点运算数（Floating Point Operations，FLOPs）4个指标对本文网络和对比网络的图像去雾效果进行量化对比，使用模型参数量和FLOPs衡量网络的复杂度，其中，DCP作为一种传统的图像去雾网络，其模型参数量和FLOPs在此不做比较，实验结果如表 1所示，表中加粗数字表示该组数据最大值。从表 1可以看出，本文网络在SOTS室内、室外数据集下的PSNR、SSIM指标均略高于MSBDN网络，并远超其他网络。其中在室内数据集的指标更高，峰值信噪比为33.04 dB，结构相似度为0.983。在HAZERD数据集下的对比实验中，本文网络的指标仍是最好，其PSNR、SSIM比GridDehazeNet网络分别高出1.33 dB和0.041，并且远高于其余5种网络。在网络复杂度方面，本文网络的模型参数量仅为0.34M，浮点运算数为16.06×109 frame/s，除传统图像去雾DCP网络外，本文网络的复杂度均低于其他网络，且在SOTS数据集下的对比实验中，本文网络的复杂度远低于MSBDN网络。在HARZED数据集下的对比实验中，本文网络的复杂度同样远低于GridDehazeNet网络。实验结果表明，本文网络在进行图像去雾时不仅能够有效恢复原始图像的结构、色彩和亮度，而且具有较低的复杂度和较好的泛化能力。这进一步验证了本文通过注意机制和门控网络融合局部和全局特征图，能够有效解决去雾过程中的色彩、亮度失真问题。
|
下载CSV 表 1 合成雾霾图像去雾指标对比 Table 1 Comparison of dehazing indicators for synthetic haze images |
若将基于合成雾霾图像训练的网络应用于真实雾霾图像的去雾过程中，容易存在去雾不彻底、颜色失真等问题，因此在真实雾图上的对比实验更能验证不同网络的有效性。基于此，本文选取近年来图像去雾领域常用的真实雾图进行对比实验，结果如图 7所示（彩色效果见《计算机工程》官网HTML版）。
|
Download:
|
| 图 7 真实雾天图像去雾结果对比 Fig. 7 Comparison of dehazing results of real haze images | |
从图 7可以看出，DCP、DCPDN和EPDN网络虽能取得较好的图像去雾效果，但均过度增强了图像，其中DCP网络的图像去雾结果颜色失真严重，如图 7（b）第2幅图像中的树林和第3幅图像中的天空区域。DCPDN网络的图像去雾结果亮度失真，使得图 7（c）的背景光均明显过亮。EPDN网络造成了严重的色偏，如图 7（f）第1和第3幅图像中的天空呈现异常的蓝色，且从图 7（f）第2幅图像中可以看出，树林里依旧存在成片的雾霾。相比于上述2种网络，GFN、GridDehazNet、MSBDN和本文网络的图像去雾结果更自然，但GFN网络虽具有一定的图像去雾效果，但仍存在残余雾霾，如图 7（d）第1幅图像中草堆上方的天空区域以及图 7（d）第2幅图像中的树林区域。GridDehazeNet网络在图 7（e）第1幅图像中的去雾效果较好，但是图像背景变暗，此外，该网络在图 7（e）第1幅图像中的去雾结果中仍存在成片的雾霾。更重要的是，MSBDN网络泛化能力差，并不能有效去除真实场景中的雾霾，如图 7（g）第1幅图像中的天空和第2幅图像中的树林区域。相比之下，本文网络能够更好地恢复原始图像的亮度与色彩（如如图 7（h）第1幅和第3幅图像中的天空颜色，以及第5幅图像中的绿色框放大部分），并且能较好地去除浓雾（图 7（h）第2幅图像中的树林）。此外，由于本文网络有效结合了局部特征和全局特征，因此可以提取更多图像信息，恢复出高对比度的图像（如图 7（h）第4幅图像中的绿色框放大部分）。
4.4 消融实验为验证本文所提网络中每个模块的有效性，设计以下消融实验：
1）仅提取有雾图像的局部特征（Local Feature，LF）；
2）提取有雾图像的局部特征和全局特征（Local Feature and Global Feature，LF+GF）；
3）提取有雾图像的局部特征和全局特征，并对提取的2种特征进行通道注意机制融合（Local Feature and Global Feature with Channel Attettion，LF+GF+CA）；
4）本文网络，即使用通道注意机制加权局部特征和全局特征，并通过门控网络融合3个不同深度的特征图（Local Feature and Global Feature with Channel Attettion and Gated Network，LF+GF+CA +GN）。
本文在SOTS室内测试集下进行了测试，该测试集包含500张合成雾天图像，其图像去雾对比结果如图 8所示（彩色效果见《计算工程》官网HTML版），平均PSNR和SSIM定量评估结果如表 2所示。从图 8绿色框内的红墙可以看出，LF去雾网络在图像去雾时错误估计了墙壁的颜色，这表明其缺乏全局特征，去雾结果的色彩恢复并不稳定。LF+GF去雾网络虽然结合了局部特征和全局特征，提取了更丰富的颜色和亮度信息，但由于没有采用注意机制有效结合两种特征，因此绿色框内的红墙颜色仍偏白。LF+GF+CA去雾网络虽然在图像去雾时有效避免了颜色失真，但绿色框内仍隐约存在白雾。相比之下，本文采用的LF+GF+CA+GN去雾网络得到的无雾图像效果最佳，墙壁颜色与清晰图像最为接近。从表 2的客观指标可以看出，本文采用的LF+GF+CA+GN去雾网络恢复的无雾图像指标最高。此外，本文方法结合全局特征和局部特征，以及采用通道注意机制，对图像去雾效果有较大的促进作用。
|
Download:
|
| 图 8 消融实验结果 Fig. 8 Results of ablation experiment | |
|
下载CSV 表 2 消融实验结果对比 Table 2 Comparison of results of ablation experiment |
本文提出一种基于双尺度特征融合的单幅图像去雾网络，通过残差密集块和包含空间注意机制的特征提取块分别提取图像的局部特征和全局特征。在此基础上，利用通道注意机制高效融合局部特征图和全局特征图，从而获得丰富的结构和色彩信息。此外，采用门控网络自适应结合不同深度的融合特征图，并由卷积层映射出最终的无雾图像。实验结果表明，与现有网络相比，本文网络对合成图像和真实图像均可取得理想的去雾效果，且不用依赖于大气散射模型，有效解决了现有网络去雾不彻底、因过度去雾而导致的色彩失真等问题。下一步将进行自适应图像域研究，将深度信息和先验信息相结合，进一步增强去雾网络对真实有雾图像的去雾能力。
| [1] |
蒲亨飞, 黄治勇. 图像去雾算法研究综述[J]. 软件工程, 2021, 24(5): 2-6. PU H F, HUANG Z Y. An overview of research on image dehazing algorithms[J]. Software Engineering, 2021, 24(5): 2-6. (in Chinese) |
| [2] |
王道累, 张天宇. 图像去雾算法的综述及分析[J]. 图学学报, 2020, 41(6): 861-870. WANG D L, ZHANG T Y. Review and analysis of image defogging algorithm[J]. Journal of Graphics, 2020, 41(6): 861-870. (in Chinese) |
| [3] |
BERMAN D, TREIBITZ T, AVIDAN S. Non-local image dehazing[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Washington D. C., USA: IEEE Press, 2016: 1674-1682.
|
| [4] |
陈子妍, 龙道银, 王霄, 等. 基于逆通道与改进引导滤波的暗通道去雾算法[J]. 计算机工程, 2021, 47(6): 245-252. CHEN Z Y, LONG D Y, WANG X, et al. Dark channel defogging algorithm based on inverse channel and improved guided filtering[J]. Computer Engineering, 2021, 47(6): 245-252. (in Chinese) |
| [5] |
丁洁, 陆安江, 彭熙舜. 结合暗通道和Retinex理论的图像去雾算法[J]. 激光杂志, 2021, 42(12): 102-107. DING J, LU A J, PENG X S. Image dehazing algorithm combining dark channel and Retinex theory[J]. Laser Journal, 2021, 42(12): 102-107. (in Chinese) |
| [6] |
杨燕, 梁小珍. 基于光幕约束和分段调整的去雾算法[J]. 光子学报, 2021, 50(5): 249-258. YANG Y, LIANG X Z. Dehazing algorithm based on atmospheric veil constraint and piecewise adjustment[J]. Acta Photonica Sinica, 2021, 50(5): 249-258. (in Chinese) |
| [7] |
高涛, 刘梦尼, 陈婷, 等. 结合暗亮通道先验的远近景融合去雾算法[J]. 西安交通大学学报, 2021, 55(10): 78-86. GAO T, LIU M N, CHEN T, et al. A far and near scene fusion defogging algorithm based on the prior of dark-light channel[J]. Journal of Xi'an Jiaotong University, 2021, 55(10): 78-86. (in Chinese) |
| [8] |
杨燕, 张金龙. 基于雾度分布与自适应衰减的图像去雾算法[J]. 激光与光电子学进展, 2021, 58(22): 210-219. YANG Y, ZHANG J L. Image dehazing algorithm based on haze distribution and adaptive attenuation[J]. Laser & Optoelectronics Progress, 2021, 58(22): 210-219. (in Chinese) |
| [9] |
REN W Q, LIU S, ZHANG H, et al. Single image dehazing via multi-scale convolutional neural networks[C]//Proceedings of European Conference on Computer Vision. Berlin, Germany: Springer, 2016: 154-169.
|
| [10] |
CAI B L, XU X M, JIA K, et al. DehazeNet: an end-to-end system for single image haze removal[J]. IEEE Transactions on Image Processing, 2016, 25(11): 5187-5198. |
| [11] |
LI B Y, PENG X L, WANG Z Y, et al. AOD-net: all-in-one dehazing network[C]//Proceedings of IEEE International Conference on Computer Vision. Washington D. C., USA: IEEE Press, 2017: 4780-4788.
|
| [12] |
ZHANG H, PATEL V M. Densely connected pyramid dehazing network[C]//Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington D. C., USA: IEEE Press, 2018: 3194-3203.
|
| [13] |
ZHANG H, SINDAGI V, PATEL V M. Multi-scale single image dehazing using perceptual pyramid deep network[C]//Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshop. Washington D. C., USA: IEEE Press, 2018: 1015-101509.
|
| [14] |
张婷, 赵杏, 陈文欣. 基于条件生成对抗网络的图像去雾方法[J]. 计算机应用, 2021, 41(S2): 248-253. ZHANG T, ZHAO X, CHEN W X. Image dehazing method based on conditional generative adversarial network[J]. Journal of Computer Applications, 2021, 41(S2): 248-253. (in Chinese) |
| [15] |
刘杰平, 杨业长, 陈敏园, 等. 结合卷积神经网络与动态环境光的图像去雾算法[J]. 光学学报, 2019, 39(11): 120-131. LIU J P, YANG Y Z, CHEN M Y, et al. Image dehazing algorithm based on convolutional neural network and dynamic ambient light[J]. Acta Optica Sinica, 2019, 39(11): 120-131. (in Chinese) |
| [16] |
杨爱萍, 刘瑾, 邢金娜, 等. 基于内容特征和风格特征融合的单幅图像去雾网络[J]. 自动化学报, 2020, 46(7): 1-9. YANG A P, LIU J, XING J N, et al. Content feature and style feature fusion network for single image dehazing[J]. Acta Automatica Sinica, 2020, 46(7): 1-9. (in Chinese) |
| [17] |
REN W Q, MA L, ZHANG J W, et al. Gated fusion network for single image dehazing[C]//Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington D. C., USA: IEEE Press, 2018: 3253-3261.
|
| [18] |
QU Y Y, CHEN Y Z, HUANG J Y, et al. Enhanced Pix2pix dehazing network[C]//Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington D. C., USA: IEEE Press, 2019: 8152-8160.
|
| [19] |
LIU X H, MA Y R, SHI Z H, et al. GridDehazeNet: attention-based multi-scale network for image dehazing[C]//Proceedings of IEEE/CVF International Conference on Computer Vision. Washington D. C., USA: IEEE Press, 2019: 7313-7322.
|
| [20] |
DONG H, PAN J S, XIANG L, et al. Multi-scale boosted dehazing network with dense feature fusion[C]//Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington D. C., USA: IEEE Press, 2020: 2154-2164.
|
| [21] |
SHAO Y J, LI L, REN W Q, et al. Domain adaptation for image dehazing[C]//Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington D. C., USA: IEEE Press, 2020: 2805-2814.
|
| [22] |
CHEN D D, HE M M, FAN Q N, et al. Gated context aggregation network for image dehazing and deraining[C]//Proceedings of IEEE Winter Conference on Applications of Computer Vision. Washington D. C., USA: IEEE Press, 2019: 1375-1383.
|
| [23] |
LI B Y, REN W Q, FU D P, et al. Benchmarking single-image dehazing and beyond[J]. IEEE Transactions on Image Processing, 2019, 28(1): 492-505. |
| [24] |
ZHANG Y F, DING L, SHARMA G. HazeRD: an outdoor scene dataset and benchmark for single image dehazing[C]//Proceedings of IEEE International Conference on Image Processing. Washington D. C., USA: IEEE Press, 2017: 3205-3209.
|