0 概述

闭路电视监控（CCTV）作为船舶交通管理（VTS）系统的重要组成部分，在海事监管中发挥着重要作用，但是在夜晚等低照度环境下，CCTV系统捕获的海上图像存在亮度和对比度低以及质量差的问题，这不仅会干扰监管部门对视频内容的分析解读，也会影响后续船舶目标检测^[1-2]等视觉任务的执行效果。因此，对CCTV系统在低照度环境下拍摄的图像进行增强具有重要的现实意义。

传统的低照度图像增强方法主要分为基于直方图均衡化（HE）的方法与基于Retinex理论的方法两类。HE方法^[3]通过对灰度图像进行拉伸，增加像素灰度值的动态范围，以达到增强图像整体对比度的效果。Retinex理论是一种由LAND^[4]提出的模拟人类视觉系统实现颜色恒常性的色彩理论，该理论认为一幅图像可以表示为光照分量图像和反射分量图像的乘积，只需消除光照对图像的影响即可改善低照度图像的视觉效果。目前，基于Retinex理论的方法主要有NPE^[5]、SRIE^[6]和LIME^[7]等，这些方法的共同点在于它们首先通过人工设计以及参数调整准确估算图像的光照分量，然后根据Retinex理论直接或间接地得到增强图像。

近年来，随着高性能GPU的发展，应用深度学习技术来解决传统的低级视觉问题显得更加方便可行。因此，为了避免复杂繁琐的人工设计以及参数优化问题，研究人员提出了一些基于深度学习的图像增强方法。文献[8]结合色彩模型变换和卷积神经网络的优势，将图像从RGB颜色空间变换到HSI空间并进行增强处理，以解决图像的色彩失真问题。基于Retinex理论的思想，文献[9-10]均设计端到端的卷积神经网络增强模型。为了同时处理颜色、亮度和噪声等多种因素，文献[11]提出一种根据计算的光照和噪声注意力图同时进行去噪和增强的多分支融合网络。生成对抗网络（GAN）自2014年由GOODFELLOW^[12]提出以来，得到了不同领域研究人员的广泛关注，且已被应用于低照度图像增强领域。文献[13]通过端到端的方式构建GAN，学习由手机拍摄的低质量图像到高质量DSLR图像的特征映射。文献[14]基于Retinex思想和GAN，提出一种用于低照度图像增强的混合监督网络结构。以上基于GAN网络模型的方法均需大量的成对图像以进行训练，当缺乏匹配对的训练数据时，它们的稳定性将会受到影响。为解决上述问题，文献[15]构建一种高效、无监督的EnlightenGAN网络，其可在大量不精确匹配的图像中进行模型训练并建立非匹配对关系。文献[16]建立一种通过改进两步GAN进行图像增强的非匹配对学习模型。尽管上述非监督学习的方式可以适应当前低照度图像增强领域数据集缺乏的场景，但是这种学习方式难以得到精确的图像增强结果。

本文建立一种局部生成对抗网络模型，以对水上低照度图像进行增强。在生成器中引入注意力网络估计低照度图像的光照分布情况，结合残差网络、金字塔扩张卷积（PDC）^[17]和特征融合模块进行强特征提取，并根据输入的光照分布图实现不同光照区域的自适应增强。设计一种可判别图像局部区域的局部判别器结构，以促使生成器生成更加真实的增强图像。

1 本文方法 1.1 训练流程

本文方法的目的在于提高水上低照度图像的可见度，其核心思想是利用大量图像训练一对通过相互对抗学习以不断优化各自网络参数的网络模型，即生成器G和判别器D。G的优化目标是生成与真实正常光照图像外观和结构更为接近的增强图像，即最小化增强图像与真实正常光照图像之间的差异，混淆D对图像真伪的判断。D的优化目标是更准确地判断增强图像与真实正常光照图像之间的真伪。D和G互斥的优化目标使得两者之间产生了相互对抗学习，在对抗的过程中，G的图像增强能力和D的真伪判别能力不断提高，使得增强图像与真实正常光照图像越来越相似，从而达到图像增强的效果。

本文方法的训练流程如图 1所示，首先选取一组低照度图像及其对应的正常光照图像，然后将低照度图像输入到G中经过一系列增强变换操作后得到增强图像，最后根据损失函数计算增强图像与真实正常光照图像之间的损失值，并将损失值反向传播反馈回G，更新优化G的网络参数，同时将增强图像与正常光照图像输入到D中进行真伪判别。D通过提取图像特征并根据图像之间的特征差异判断真伪，然后将真伪结果反馈给G，使得G进一步改善增强效果，并在下一轮迭代中缩小增强图像与正常光照图像之间的差异。D在促使G生成视觉效果更真实的增强图像的同时，进一步优化自身的判别能力。

1.2 网络模型设计

本文所提局部生成对抗网络模型结构包含生成器G和判别器D。生成器G主要由注意力网络、残差网络、PDC模块和特征融合模块4个部分组成，如图 2所示。

生成器G的4个模块具体如下：

1）注意力网络。注意力网络预测图像中光照分布的位置掩码，输出的光照分布图的像素点为0~1之间的概率值，原始低照度图像中越暗的区域所对应的光照分布图区域的像素值越接近1，否则越接近0，从而促使后续网络结构对图像中的不同光照区域进行不同程度的关注。与U-Net模型^[18]类似，本文的注意力网络由下采样的编码器、上采样的解码器和跳跃连接组成。下采样的编码器中包含卷积层和最大池化操作，特征图每经过一次池化操作，大小均变为输入特征图的1/2，这不仅能够保留原始图像的结构信息，还能加快模型训练和图像处理的速度。上采样的解码器包含反卷积层，用于复原图像尺寸。跳跃连接将编码器和解码器中相对应的卷积层和反卷积层的特征相连接，以缓解梯度消失问题，提高模型的特征提取能力。本文方法与文献[11]方法类似，均设计具有相同结构的注意力网络，通过该网络估计光照分布图以引导低照度图像增强。不同的是，本文不仅将估计到的光照分布图与输入图像进行简单拼接，还将光照分布图与最终的特征图逐元素相乘，再与原始图像逐元素相加以得到增强后的图像，从而简化学习目标并降低学习难度。

2）残差网络。与文献[19]提出的残差网络相比，本文残差网络删除了批处理归一化并将ReLU激活函数替换成Leaky ReLU函数，使用仅包含2个卷积层的残差块来减少模型参数并提取图像的深层特征。本文残差网络中的残差块结构如图 3所示。

3）PDC模块。由于空洞卷积可在不增加计算量的情况下扩大局部感受野，并能够利用更多的图像信息，因此本文在残差网络后加入PDC模块以进行多尺度空间特征的提取与学习，减少结构信息丢失。PDC模块中有4条并行路径，每条路径都包含一个空洞卷积和卷积核大小为1×1的卷积，在4条并行路径中，空洞卷积的空洞率分别为1、2、4和6。

4）特征融合模块。将残差网络提取的特征与PDC模块各个路径提取的特征进行拼接，然后采用4个卷积层融合上述拼接的特征，最后输出图像增强结果。

在通常情况下，不同亮度区域的信息丢失程度不同，因此，判别器需要对图像中的不同亮度区域进行不同程度的关注。本文判别器由卷积层和全连接层组成，从第5个卷积层中提取特征并计算这些特征与注意力网络产生的光照分布图之间的损失，通过学习光照分布图的方式来衡量第5层卷积所提取的特征，并将该层特征与下一层卷积所提取的特征进行逐元素相乘，最后经过2个卷积层和2个神经元数量分别为256和1的全连接层，将提取的特征进行汇总并输出判别结果。本文的判别器结构如图 4所示。

本文生成器和判别器的参数设置分别如表 1和表 2所示，各个卷积层的填充方式均为“SAME”，为了提高模型的非线性，除生成器的最后一个卷积以Sigmoid函数作为激活函数外，其余卷积层后都加入Leaky ReLU作为激活函数，Leaky ReLU的负值斜率设置为0.2。

1.3 损失函数设计

本文损失函数由生成损失函数L_G和判别损失函数L_D组成。由于生成器的目的在于生成与正常光照图像相似的增强图像，因此为了提高增强图像的整体感知质量，本文为生成器设计如下的损失函数：

$ {L}_{\mathrm{G}}={\omega }_{\mathrm{c}\mathrm{o}\mathrm{n}}{L}_{\mathrm{c}\mathrm{o}\mathrm{n}}+{\omega }_{\mathrm{c}\mathrm{o}\mathrm{l}}{L}_{\mathrm{c}\mathrm{o}\mathrm{l}}+{\omega }_{\mathrm{a}\mathrm{t}\mathrm{t}}{L}_{\mathrm{a}\mathrm{t}\mathrm{t}}+{\omega }_{\mathrm{a}\mathrm{d}\mathrm{v}}{L}_{\mathrm{a}\mathrm{d}\mathrm{v}} $

(1)

其中，L_att、L_con、L_col、L_adv分别表示注意力损失、内容损失、颜色损失、对抗损失，$ {\omega }_{\mathrm{a}\mathrm{t}\mathrm{t}} $、$ {\omega }_{\mathrm{c}\mathrm{o}\mathrm{n}} $、$ {\omega }_{\mathrm{c}\mathrm{o}\mathrm{l}} $、$ {\omega }_{\mathrm{a}\mathrm{d}\mathrm{v}} $分别表示对应的权重参数。各项损失具体如下：

1）注意力损失

为了更好地约束注意力网络以对光照分布进行建模，本文使用如下的损失函数作为注意力损失：

$ {L}_{\mathrm{a}\mathrm{t}\mathrm{t}}=\frac{1}{N}{‖{G}_{a}\left(I\right)-A‖}_{2}^{2} $

(2)

其中，I表示低照度图像，G_a（I）表示预测的光照分布图，N表示样本训练数目，A表示期望的注意力图，其通过式（3）计算得到：

$ A=\frac{\left|\mathrm{m}\mathrm{a}{\mathrm{x}}_{c}\left(I\right)-\mathrm{m}\mathrm{a}{\mathrm{x}}_{c}\left(\widehat{I}\right)\right|}{\mathrm{m}\mathrm{a}{\mathrm{x}}_{c}\left(\widehat{I}\right)} $

(3)

其中，$ \widehat{I} $表示正常光照图像，$ \mathrm{m}\mathrm{a}{\mathrm{x}}_{c}(\cdot ) $表示取图像RGB三通道上的像素最大值。

2）内容损失

本文利用在ImageNet数据集上预先训练过的VGG-16网络产生的特征图来计算内容损失，以测量增强图像与对应的正常光照图像之间的全局差异。令$ \varphi $表示VGG-16生成的特征图，G（I）为生成器输出的增强图像，则本文的内容损失定义为：

$ {L}_{\mathrm{c}\mathrm{o}\mathrm{n}}=\frac{1}{N}{‖\varphi \left(G\right(I\left)\right)-\varphi \left(\widehat{I}\right)‖}_{2}^{2} $

(4)

3）颜色损失

为了测量增强图像和正常光照图像之间的颜色差异，本文首先应用高斯模糊函数移除图像的局部细节信息，然后计算图像间的欧氏距离以定义如下的颜色损失^[14]：

$ {L}_{\mathrm{c}\mathrm{o}\mathrm{l}}={‖g\left(G\right(I\left)\right)-g\left(\widehat{I}\right)‖}_{2}^{2} $

(5)

其中，$ g $表示高斯模糊函数。

4）对抗损失

本文使用对抗损失督促生成器生成颜色、纹理和对比度等方面均较为自然的增强图像，对抗损失定义如下：

$ {L}_{\mathrm{a}\mathrm{d}\mathrm{v}}=\mathrm{l}\mathrm{o}{\mathrm{g}}_{a}(1-D(G\left(I\right)\left)\right) $

(6)

在本文中，训练判别器D的目的在于根据光照分布图判别增强图像和正常光照图像之间的不同光照区域，输出输入图像来自正常光照图像的概率，其取值范围在0~1之间。因此，本文判别损失函数L_D定义为：

$ {L}_{\mathrm{D}}=-\mathrm{l}\mathrm{o}{\mathrm{g}}_{a}\left(D\right(\widehat{I}\left)\right)-\mathrm{l}\mathrm{o}{\mathrm{g}}_{a}(1-D(G\left(I\right)\left)\right)+\gamma {L}_{\mathrm{m}\mathrm{a}\mathrm{p}} $

(7)

其中，$ \gamma $为权重参数，$ {L}_{\mathrm{m}\mathrm{a}\mathrm{p}} $表示判别器内卷积层提取的特征与光照分布图之间的损失，计算如下：

$ {L}_{\mathrm{m}\mathrm{a}\mathrm{p}}=\frac{1}{N}{‖D(G{\left(I\right))}_{5}-{G}_{\mathrm{a}}(I)‖}_{2}^{2}+\frac{1}{N}{‖D{\left(\widehat{I}\right)}_{5}-0‖}_{2}^{2} $

(8)

其中，$ D{(\cdot )}_{5} $表示判别器第5层卷积所提取的特征。

2 实验结果与分析 2.1 数据集

目前缺乏可用于网络训练的成对水上低照度图像数据集，且在水上动态环境下拍摄同一场景下的低照度图像及其对应的正常光照图像极其困难，因此，本文实验中将真实的图像对和合成的图像对组成模型训练的数据集。其中，真实的图像对来自文献[10]中已公开的LOL数据集，该数据集中的图像拍摄于室内，通过调节相机的曝光参数值来改变曝光度，从而获得不同场景和不同光照强度下的500对低照度图像及其对应的正常光照图像。

为提高训练数据集的样本多样性，本文在文献[20]公开的SeaShips数据集中挑选出200幅正常光照图像以合成低照度图像。首先将正常光照图像从RGB颜色空间转换到HSV颜色空间，然后将V通道图像V乘以一个小于1的常数得到合成的低照度V通道图像V_dark，$ {V}_{\mathrm{d}\mathrm{a}\mathrm{r}\mathrm{k}}=\sigma V $，其中，$ \sigma $服从（0，0.5）的均匀分布，最后保持H和S两通道不变，用V_dark图像替换V图像，并转换成RGB颜色空间，得到合成的低照度图像，部分图像如图 5所示。此外，由于图像的尺寸较大，因此本文在进行网络训练之前将训练图像随机裁剪成128像素×128像素的图像块，并且随机地对图像块进行上下和左右翻转。

2.2 实验条件及参数设置

实验所用的计算机操作系统为Ubuntu18.04，GPU配置为Nvidia GTX 2080ti，使用tensorflow深度学习框架实现网络模型并进行训练。在网络训练过程中，采用0.000 2的固定学习率，迭代次数为10⁴。本实验的生成器和判别器分别使用Adam优化器和Momentum优化器进行网络参数优化，采用小批量训练方式，batch size的大小为8，权重参数$ {\omega }_{\mathrm{a}\mathrm{t}\mathrm{t}} $、$ {\omega }_{\mathrm{c}\mathrm{o}\mathrm{n}} $、$ {\omega }_{\mathrm{c}\mathrm{o}\mathrm{l}} $、$ {\omega }_{\mathrm{a}\mathrm{d}\mathrm{v}} $、$ \gamma $的取值分别为1、2、11、0.01、0.05。

2.3 评价指标

为了客观评价本文方法的增强效果和网络性能，使用如下的无参考和全参考图像质量评价指标：

1）无参考图像质量评价指标。自然图像质量评估指标（NIQE）^[21]是一种完全无参考的图像质量分析器，其无需使用参考图像，仅根据图像的自然统计特征并利用目标图像的可测量偏差即可得到图像质量评价值。NIQE指标计算公式如下：

$ D\left( {{\mathit{\boldsymbol{v}}_1}, {\mathit{\boldsymbol{v}}_2}, {\mathit{\boldsymbol{ \boldsymbol{\varSigma} }}_1}, {\mathit{\boldsymbol{ \boldsymbol{\varSigma} }}_2}} \right) = \sqrt {{{\left( {{\mathit{\boldsymbol{v}}_1} - {\mathit{\boldsymbol{v}}_2}} \right)}^{\rm{T}}}{{\left( {\frac{{{\mathit{\boldsymbol{ \boldsymbol{\varSigma} }}_1} + {\mathit{\boldsymbol{ \boldsymbol{\varSigma} }}_2}}}{2}} \right)}^{ - 1}}\left( {{\mathit{\boldsymbol{v}}_1} - {\mathit{\boldsymbol{v}}_2}} \right)} $

(9)

其中，$ {\mathit{\boldsymbol{\nu }}}_{1} $、$ {\mathit{\boldsymbol{\nu }}}_{2} $和Σ₁、Σ₂分别表示自然图像和增强图像高斯分布模型的均值向量和协方差矩阵。在图像增强中，NIQE的数值越低表示图像的感知质量越高。

2）全参考图像质量评价指标。峰值信噪比（PSNR）和结构相似度（SSIM）是2种使用最广泛的全参考图像质量评价指标。PSNR是衡量图像失真或噪声水平的客观标准，其值越高表示图像中包含的噪声越少，图像的失真越小，即增强效果和图像质量越高。PSNR的计算公式如下：

$ \mathrm{P}\mathrm{S}\mathrm{N}\mathrm{R}=10\mathrm{l}\mathrm{g}\frac{255}{\sqrt{{\left|\widehat{I}-I\right|}^{2}}} $

(10)

SSIM用来衡量2幅图像之间的亮度、对比度和结构相似性，其取值范围为0~1，值越接近1说明2幅图像越相似。SSIM的计算公式如下：

$ \mathrm{S}\mathrm{S}\mathrm{I}\mathrm{M}(I, \widehat{I})=\frac{\left(2{\mu }_{I}{\mu }_{\widehat{I}}+{c}_{1}\right)\left(2{\sigma }_{I\widehat{I}}+{c}_{2}\right)}{\left({{\mu }_{I}}^{2}+{{\mu }_{\widehat{I}}}^{2}+{c}_{1}\right)\left({{\sigma }_{I}}^{2}+{{\sigma }_{\widehat{I}}}^{2}+{c}_{2}\right)} $

(11)

其中，$ {\mu }_{I} $和$ {\mu }_{\widehat{I}} $分别为增强图像$ I $和正常光照图像$ \widehat{I} $的灰度均值，$ {\sigma }_{I} $和$ {\sigma }_{\widehat{I}} $为方差，$ {\sigma }_{I\widehat{I}} $为$ I $和$ \widehat{I} $的协方差，$ {c}_{1} $和$ {c}_{2} $为值很小的常数，用来避免分母为0的情况。

2.4 结果分析

如图 6所示，在训练的过程中，本文网络模型的生成损失值和判别损失值随着迭代次数的增加而逐渐下降并趋于稳定，这表明本文方法具有较好的稳定性。

图 7所示为本文注意力网络估计的部分光照分布图，从图 7可以看出，本文的注意力网络能很好地区分低照度图像中各个区域的光照分布情况。

为了验证本文方法的有效性，在合成的低照度图像和真实的低照度图像上分别进行实验，将本文方法与HE方法^[3]、SRIE方法^[6]、LIME方法^[7]、RetinexNet方法^[10]、EFTL方法^[14]和LightenNet方法^[9]等进行对比与分析。

图 8~图 10所示分别为本文方法与其他对比方法在合成的海面、内河和港口低照度图像上的增强效果。从主观视觉效果上分析可知，SRIE方法和EFTL方法虽然可在一定程度上提升图像的亮度，但亮度提升不够充分，使得处理后图像的整体亮度依然较低；RetinexNet方法的增强效果不自然，颜色与正常光照图像相差较大；LightenNet方法处理的图像容易产生局部过曝光现象，并且存在色斑，容易导致图像细节丢失问题。相比之下，本文方法和LIME方法均能取得较好的视觉效果，但本文方法能对不同亮度的图像进行全局增强，具有更好的自适应能力。

除主观视觉对比外，本文通过PSNR和SSIM 2个客观指标对比各方法的去噪和结构保留能力，指标对比结果如表 3所示。从表 3可以看出，本文方法具有最优的PSNR值，SSIM值略低于LIME方法，即本文方法不仅能够大幅提升图像的对比度并更好地保留细节信息，还能在一定程度上抑制噪声，提高图像的整体质量。为了进一步验证本文方法的优越性，在真实的低照度图像上进行对比实验，主观上的视觉效果对比如图 11~图 13所示。通过直观视觉分析可知，本文方法与其他对比方法均能提高低照度图像的对比度和清晰度，但是，HE方法会导致严重的色偏和噪声放大现象，SRIE方法对于图像较暗区域的增强效果较差，LIME方法容易出现过度增强以及色彩失真现象，使得增强后的图像光照不自然，RetinexNet方法不能很好地还原图像的真实场景和细节信息，EFTL方法同样对图像中较暗区域没有很好地增强，而且存在一定程度的色偏，LightenNet方法处理后的图像会出现不规则的色斑，其对图像的增强效果有限。相比之下，本文方法无论是在场景还原还是细节处理方面，均具有较好的性能优势。除主观评价以外，本文还选用无参考图像质量评价指标NIQE对各个方法的实验结果进行进一步客观评价，各方法的NIQE评价指标结果如表 4所示，从表 4可以看出，本文方法的NIQE指标优于其他对比方法，表明其能取得更好的图像增强结果。

3 结束语

水上低照度图像存在图像质量差、目标细节不清晰等问题，为此，本文提出一种基于局部GAN的低照度图像增强方法。设计具有强特征提取能力和自适应增强的生成器模型以及能对图像局部区域进行区分的判别器模型，生成器和判别器模型通过相互对抗学习使各自达到更优的处理效果，从而提升图像亮度与质量。实验结果表明，在主观视觉效果与客观评价指标2个方面，本文方法均优于SRIE、LIME等对比方法。但是，本文方法目前仍无法满足水上视觉任务对实时性的要求，同时，受硬件和环境的影响，CCTV等监控系统捕获到的图像包含很多噪声，处理难度较大。因此，下一步将在提高处理效率和消除噪声2个方面展开研究。