开放科学(资源服务)标志码(OSID)：

0 概述

在浓雾、霾等恶劣天气条件下，受空气中悬浮粒子的影响，图像中的目标信息被严重遮挡，场景能见度相比晴朗天气大幅降低，对主观视觉效果和后续的处理应用都会产生很大的影响。因此，对雾天降质图像的清晰化处理具有重大的科研价值和广泛的应用前景。使用合适的图像去雾算法对雾霾天气中拍摄得到的降质图像进行处理，可以去除其中因后向散射产生的雾化背景，恢复出被掩盖的目标图像细节信息和色彩纹理信息，进而提高图像质量，便于后续处理。

近年来，众多研究者提出了许多雾天图像清晰化方法，这些方法大致分为两个方向：一是图像增强，二是图像复原。基于图像增强的常见算法主要有直方图均衡化^[1]、小波变换^[2]、偏微分方程^[3]、Retinex^[4-5]等，这些算法不考虑有雾场景下图像退化的物理模型，而是对图像整体或细节进行增强以改善视觉效果，从而实现图像去雾。基于图像复原的去雾方法本质上是基于散射介质成像模型，依据雾天图像降质的物理成因，描述图像降质与光在雾气中传输产生的散射效应之间的关系，逆向恢复出清晰的目标场景图像。典型的基于图像复原的去雾方法包括文献[6]提出的暗通道先验方法以及其他基于先验的算法^[7-9]，在很多场景下取得了良好的去雾效果。文献[10]基于中值滤波思想求出大气耗散函数，进而得到透射率，恢复出无雾图像。文献[11]利用改进的窗口大小计算出双透射率图，消除了雾图边缘处的光环状伪影，使得恢复图像中的景观更加真实自然。区别于传统的图像去雾方法，近年来随着计算机性能的提升，大量基于深度学习的新兴图像去雾方法被陆续提出。文献[12]提出一种神经网络模型用以估计透射率图，然后结合已知的先验信息计算出质量更好的清晰目标图像。文献[13]提出一种不以先验信息作为恢复约束的去雾网络，可以直接得到清晰的无雾图像。文献[14]提出一种轻型多导向双边学习的雾天图像清晰化方法，能够实现实时高分辨率图像的去雾。虽然上述方法可以在一定程度上实现常见有雾图像的清晰化，但是在浓雾场景中却难以取得较好的效果。

随着稀疏分解^[15]与压缩感知理论^[16]的提出，低秩矩阵分解在文本主题分析^[17]、图像去非均匀光照^[18]、压缩感知信号的分离重构^[19]等方面得到广泛的应用，然而在图像去雾中的应用仍然比较少。本文将低秩分解与像素置乱结合，提出一种针对浓雾场景的图像去雾方法。为解决直接低秩分解会产生水平和竖直条纹的问题，先对原始图像进行像素置乱，在去除场景相关性的同时保持雾化背景的低秩属性，再对置乱后的图像低秩分解，最后将高秩成分像素归位，获得去雾后的复原场景。

1 相关工作 1.1 低秩矩阵分解模型

自然场景中图像像素的相关性使得图像矩阵本身存在一定的低秩特性，根据文献[20]提出的低秩矩阵分解模型，原始图像矩阵D可以被分解为一个低秩矩阵L与一个稀疏矩阵S，该模型的求解过程可以表示为：

$ \begin{array}{l}\underset{\boldsymbol{L}, \boldsymbol{S}}{\mathrm{m}\mathrm{i}\mathrm{n}}\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}\left(\boldsymbol{L}\right)+\lambda {‖\boldsymbol{S}‖}_{0}\\ \mathrm{s}.\mathrm{t}.\boldsymbol{L}+\boldsymbol{S}=\boldsymbol{D}\end{array} $

(1)

其中：$ \mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}\left(\boldsymbol{L}\right) $代表低秩矩阵L的秩；$ {‖\boldsymbol{S}‖}_{0} $代表矩阵S的$ {l}_{0} $范数；$ \lambda $是控制低秩部分与稀疏部分比例的参数，取值范围是（0，1]。

式（1）中的最小化秩问题并不能直接求解，常用方法是将其转化为求解核范数的问题^[21]，变换后的表达式如下：

$ \begin{array}{l}\underset{\boldsymbol{L}, \boldsymbol{S}}{\mathrm{m}\mathrm{i}\mathrm{n}}{‖\boldsymbol{L}‖}_{\mathrm{*}}+\lambda {‖\boldsymbol{S}‖}_{1}\\ \mathrm{s}.\mathrm{t}.\boldsymbol{L}+\boldsymbol{S}=\boldsymbol{D}\end{array} $

(2)

其中：$ {‖\boldsymbol{L}‖}_{\mathrm{*}} $为矩阵L的核范数；$ {‖\boldsymbol{S}‖}_{1} $为矩阵S的$ {l}_{1} $范数。

通常使用增广拉格朗日乘子法（Augmented Lagrange Multiplier，ALM）作为式（2）的求解算法^[22]，ALM又可以进一步分为精确的拉格朗日乘子法（Exact ALM，EALM）和非精确的拉格朗日乘子法（Inexact ALM，IALM）。由于IALM在运算过程中只需要执行替代关系运算就可以得到低秩矩阵$ \boldsymbol{L} $和稀疏矩阵$ \boldsymbol{S} $，收敛速度比EALM算法更快^[23]，因此本文使用IALM作为低秩矩阵求解的算法。

1.2 散射介质成像模型

光在雾、霾等散射介质中传输时，受介质中微小杂质粒子的影响会产生散射效应，这种散射效应产生的杂散光被传感器接收后，会在目标物体表面形成一种雾化背景，降低拍摄所得图像的对比度，影响后续的图像处理。散射介质中成像的经典模型可以用下式描述：

$ E={E}_{\mathrm{d}}+{E}_{\mathrm{b}} $

(3)

其中：$ E $代表总辐射强度，对应雾天降质图像；$ {E}_{\mathrm{d}} $代表入射光，对应清晰目标场景；$ {E}_{\mathrm{b}} $代表散射光，对应雾化背景。提取并消除雾天降质图像中的雾化背景，提高图像的对比度和视觉效果，始终是主流的研究方向。

2 基于低秩分解结合像素置乱的图像去雾 2.1 低秩分解与图像去雾

结合前面提到的两个模型，将雾天降质图像看成两部分的叠加：一部分是具有低秩特性的雾化背景，另一部分是具有高秩特性的清晰目标场景。利用IALM算法进行优化求解，可实现目标场景与雾化背景的分离，最终得到清晰的目标场景图像。

直接应用IALM算法对雾天降质图像进行低秩分解的结果如图 1所示。由图 1可以看出，直接进行低秩分解能够在一定程度上去除雾图中分布较为均匀的雾化背景，但是也存在明显的缺陷，比如在分解结果中出现了位置不定的水平和竖直条纹，这主要是由于目标场景本身含有一定的低秩成分，对雾化背景的去除造成了干扰。

2.2 结合像素置乱的去雾方法

为消除低秩分解后出现的水平和竖直条纹，最大限度保留目标场景信息，本文提出一种基于低秩分解结合像素置乱的雾天图像去雾方法。

在雾天降质图像中，目标场景本身具有局部相关性和非局部相似性，从而含有一定程度的低秩成分，因此，在进行低秩分解的过程中，一部分目标场景会被当做雾化背景分离出去，进而导致低秩分解结果中出现竖直和水平条纹。本文考虑对原始雾天图像进行像素置乱，以破坏目标场景的局部相关性和非局部相似性，增加目标场景的秩，从而达到场景去相关的目的。同时，雾化背景因其全局缓变特性而仍保持低秩属性，这样在进行低秩分解时就可以最大限度地保留场景信息。最后，对低秩分解所得的高秩成分进行像素归位，即可获得去雾后的复原场景。

对图像的置乱操作需要达到增大图像秩的目的，因此，不能使用初等变换对图像置乱。本文采用抽取重放的置乱方法，对原始图像矩阵进行随机无规律打乱。像素置乱结合低秩分解的具体操作步骤如下：

步骤1    生成随机列向量R。设原始雾天图像矩阵D的大小为$ m\times n $，将$ 1\sim mn $共$ mn $个整数随机打乱，得到一个长度为$ mn $的列向量R。

步骤2    像素置乱。将矩阵D按列展开为一个列向量$ \boldsymbol{D}\mathrm{\text{'}} $，使$ \boldsymbol{D}\mathrm{\text{'}} $中的元素与列向量R中的元素一一对应，取R的元素值作为矩阵$ \boldsymbol{D}\mathrm{\text{'}} $打乱和复原的索引，即选取$ \boldsymbol{D}\mathrm{\text{'}} $中的第$ R\left[i\right] $个元素作为置乱后新矩阵Y的第$ i $个元素，得到置乱后的矩阵Y。

步骤3    低秩分解及像素归位。对置乱后的矩阵Y进行低秩分解，得到低秩矩阵L和稀疏矩阵S，遍历矩阵S，选取其中的第i个元素作为重建矩阵$ {\boldsymbol{S}}_{\mathrm{r}} $的第$ R\left[i\right] $个元素，所得的重建矩阵$ {\boldsymbol{S}}_{\mathrm{r}} $即为去雾后的清晰目标图像。

在实际操作中，先对原始雾天图像矩阵的R、G、B 3个通道分别进行像素置乱，再根据原始雾天图像的雾气浓度选择不同的参数$ \lambda $，使用IALM算法对3个通道分别进行低秩分解，最后将3个通道所得的去雾结果合并，即可得到无雾的彩色清晰目标图像。值得注意的是，由于低秩分解去雾本质上是将雾化背景作为低秩部分直接从原始雾图中去除，相较于其他算法，恢复后图像存在亮度降低的问题，因此本文对结果图像的亮度进行了调整。

结合像素置乱后的低秩分解去雾结果如图 2所示。对比图 1可以看出，像素置乱后的去雾结果与直接进行低秩分解所得结果相比有显著提升，其在有效去除雾化背景的同时，消除了原始雾图中目标物体局部结构信息对雾化背景估计造成的干扰，去除了直接低秩分解结果中的水平和竖直条纹，更完整地保留了图像的细节。

3 实验结果与分析

本文实验环境为Windows 10操作系统、AMD Ryzen5 4600H处理器、16 GB内存、使用Matlab R2019a的PC机。为验证本文所提方法的有效性，从RESIDE数据库^[24]、O-HAZE数据库^[25]以及网络中选取了不同场景下的浓雾霾天降质图像，使用文献[6, 11]图像复原去雾方法和文献[12, 14]深度学习去雾方法进行去雾测试实验，并与本文方法作定性与定量对比。为达到良好的去雾效果，本文实验中根据雾天降质图像的实际雾气浓度选取控制低秩部分与稀疏部分比例的参数$ \lambda $。

3.1 主观评价

图 3所示为各方法分别对消防员图、摩天轮图、环卫工人图和机场图这4幅真实雾天图像的去雾效果。由图 3可知：对于消防员图，其目标信息被浓雾严重遮挡，文献[12, 14]方法未能去除雾气，文献[6]方法的去雾结果出现大面积的过饱和现象，文献[11]虽然在一定程度上实现了去雾，但是消防员身体部分的去雾结果存在块状效应，而本文方法较为清晰地恢复出消防员及水枪的细节和色彩信息；对于摩天轮图，文献[12, 14]方法未能有效去雾，文献[6, 11]方法虽然在一定程度上去除了雾化背景，但是产生了严重的块状色偏现象，并未真实还原场景信息，而本文方法而效去除雾化背景，同时整体去雾结果更加清晰自然；对于环卫工人图，文献[12]方法的去雾效果不明显，文献[6, 11]方法虽然去除了场景中的雾气，但是产生了大面积的色偏现象，而本文方法能在去除场景中雾气的同时，更真实自然地还原图像的色彩信息；对于机场图，文献[6, 11]方法都产生了一定程度的色偏现象，文献[14]方法虽然去除了近景中的雾气，但在远景中产生了团状色斑，文献[12]方法和本文方法在未产生大面积颜色失真的同时，去除了图像中的雾气成分，但本文方法在全局雾气浓度不一致的情况下会出现一定的失真，比如去雾后摩天轮图中的座舱与机场图中的人物存在一定程度的失真，消防员图中有一圈黑色的环绕光晕。

图 4所示为各方法对游乐场图和滑梯图这2幅模拟雾天图像的去雾效果。由图 4可知：对于游乐园图，场景中的雾气浓度很高，文献[12, 14]方法未能有效去除雾气，文献[6, 11]方法虽然一定程度上去除了浓雾，但是所得图像颜色偏暗，且存在色偏现象，而本文方法能有效去除场景中的雾气且未产生色偏，去雾效果更好；对于滑梯图，文献[12, 14]方法未能去除雾气，文献[6, 11]方法的去雾结果存在很大的色偏，而本文方法的去雾结果真实自然，效果优于其他方法，但存在少量雾气残留。

3.2 客观评价

针对主观视觉评价易受评估者专业知识等主观因素影响、可靠性差的缺点，本文选取包括新增可见边缘比$ e $、可见边缘的梯度均值$ \stackrel{-}{r} $、过饱和程度$ \sigma $、峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）、结构相似性（Structural Similarity，SSIM）这5个评价指标对最终去雾结果进行对比。对于真实雾天图像，由于无法获取其对应的无雾图像作为对比，因此采用$ e $、$ \stackrel{-}{r} $、$ \sigma $指标对其去雾结果进行评价，$ e $值和$ \stackrel{-}{r} $值越大，$ \sigma $值越小，去雾后的图像恢复质量就越好。表 1为各方法对真实雾天图像的去雾结果。由表 1可知：文献[12, 14]方法的$ e $和$ \stackrel{-}{r} $值偏小，未能有效去除浓雾场景中的雾气；文献[6, 11]方法虽然新增可见边缘最多，但是去雾后的图像颜色失真过大，场景恢复不够真实自然；本文方法虽然在细节上有一定失真，但在浓雾场景下具有较大的$ e $、$ \stackrel{-}{r} $值，较好地实现了雾景分离。

对于模拟雾天图像，可以获得对应的无雾图像作为对比，因此，使用PSNR和SSIM比较各方法的去雾结果，这2个指标的值越大，去雾效果越理想。同时，本文比较了各个方法的去雾速度，以便从时间角度衡量各方法的性能。表 2为各方法对模拟雾天图像的去雾结果对比。

由表 2可知：在浓雾场景下，本文方法可以获得比其他方法更高的PSNR值和SSIM值，其中最佳PSNR值较文献[6]方法从18.42 dB提高到20.36 dB，且SSIM值均高于对比算法；虽然文献[14]方法在游乐园图中的PSNR值高于本文方法，但其所需去雾时间更长；本文方法的去雾速度相比其他方法提升了约70%。综合看来，本文方法在去除浓雾图像中的雾化背景上具有较好的表现。

4 结束语

本文提出一种基于低秩分解结合像素置乱的雾天图像去雾方法。将雾天降质图像看成低秩雾化背景和高秩目标场景的叠加，先对原始雾天图像进行像素置乱，再对置乱后的雾天图像进行低秩分解，最后将所得的高秩成分进行像素归位，得到去雾后的清晰目标图像。实验结果表明，该方法可以消除直接使用低秩分解进行图像去雾时产生的水平和竖直条纹，且恢复出的无雾图像真实自然，雾景分离效果更佳。本文仅以像素灰度值在图像中的整体分布情况作为去雾标准，未考虑雾天图像成像和退化机制，所提方法更适合浓雾及全局雾气相对均匀的场景。下一步将对此进行改进，提高算法在雾气浓度剧烈变化场景下的图像去雾质量。