0 概述

雾天采集的图像容易出现对比度低、饱和度低、视觉效果差等问题^[1], 这对道路监控、无人机航拍、智能驾驶以及遥感成像等户外图像采集系统获取清晰的图像造成了巨大的挑战^[2]。因此, 许多学者对图像去雾进行研究并取得了一定的成果。目前, 图像去雾的原理主要分为不基于去雾模型的图像增强算法和基于去雾模型的图像复原算法^[3]。传统的图像增强算法有直方图均衡化^[4]、锐度变化^[5]、小波变化^[6]等, 这些方法不考虑雾气形成的原理, 而是以增强图像的视觉效果为主。当直接使用这些方法进行图像去雾时, 在增强图像对比度的同时也有可能会造成图像信息丢失。基于物理模型的去雾算法根据雾气形成的原理建立模型, 然后反演出真实无雾的场景。文献[7-10]通过获得不同天气条件下的多幅图像来估计场景深度以恢复清晰图像。文献[11-12]通过预先获取场景的3D深度信息对图像进行去雾。文献[13]通过获取同一场景的不同偏振信息来复原图像。这些算法或需要获取多幅图像, 或依赖场景的深度信息, 在实际应用中无法实时进行图像去雾。

近年来基于先验信息的单幅图像去雾算法受到了广泛关注。文献[14]考虑到无雾图像比有雾图像具有更高对比度, 通过最大化图像局部对比度来复原清晰图像, 但该方法易导致图像失真。文献[15]通过假设透射率与物体表面投影在局部区域内不相关来估计透射率, 进而复原无雾场景, 但该方法对浓雾区域进行去雾效果不佳。文献[16]假设大气耗散函数在局部变化缓慢, 利用中值滤波估计大气耗散函数来实现去雾, 但该方法处理的图像在边缘处可能会出现光晕现象。

文献[17]通过对大量无雾自然图像进行统计, 提出暗通道先验去雾算法, 该方法对多数自然图像可以起到较好的去雾效果, 但是对于含有大面积亮白区域的图像容易出现失真现象。文献[18]通过对天空区域失真的原因进行分析, 提出容差因子来改进天空区域的透射率, 但是由于其参数设置相对固定, 需要根据输入图像的变化手动调整容差因子。

针对含有大面积亮白区域图像, 本文提出一种改进的图像去雾算法。通过四叉树分解获得准确的大气光值后, 利用自适应阈值分割的方法将图像分为亮白与非亮白两部分区域, 并根据图像的灰度分布重新计算图像的融合透射率。

1 暗通道先验理论 1.1 大气散射模型

大气散射模型将相机采集到的图像分为两部分:一部分是景物反射的光线经大气粒子衰减后到达相机的光线, 另一部分是环境中大气光散射后到达相机的光线, 计算公式如下:

$ I(x) = J(x) + A(1 - t(x)) $

(1)

其中, x是图像中像素点的坐标, I(x)是相机采集到的图像, A是大气光的强度, t(x)是图像的透射率, 随着景物到相机距离的增大而减小, J(x)是希望恢复的清晰无雾的自然图像。大气散射模型如图 1所示。

1.2 暗通道先验去雾算法

文献[17]通过对大量户外自然无雾图像进行观察统计, 提出一种暗原色先验理论。该理论认为图像中的像素点及其周围点在RGB三通道内会存在很低的亮度值, 并且接近于0。这些点称为图像的暗通道, 计算公式如下:

$ {J^{{\rm{datr}}}}(x) = \mathop {\min }\limits_{y \in \mathit{\Omega }(x)} \left( {\mathop {\min }\limits_{c \in \left\{ {{\rm{r}},{\rm{g}},{\rm{b}}} \right\}} {J^c}(y)} \right) \to 0 $

(2)

其中, Ω(x)是以x为中心的局部窗口, c是其中一个颜色通道, J^c(y)为该通道内的强度值, 而J^dark(x)为图像的暗通道。

假设大气光A已知, 并且在局部区域内图像透射率不变, 对式(1)的两边同时除以A并取暗通道可以得到:

$ \begin{array}{*{20}{c}} {\mathop {\min }\limits_{y \in \mathit{\Omega }(x)} \left( {\mathop {\min }\limits_{c \in \left\{ {{\rm{r}},{\rm{g}},{\rm{b}}} \right\}} \frac{{{I^c}(y)}}{{{A^c}}}} \right) = \mathop {\min }\limits_{y \in \mathit{\Omega }(x)} \left( {\mathop {\min }\limits_{c \in \left\{ {{\rm{r}},{\rm{g}},{\rm{b}}} \right\}} \frac{{{J^c}(y)}}{{{A^c}}}} \right) + }\\ {1 - \tilde t(x)} \end{array} $

(3)

根据暗通道先验理论, 式(3)可以变化为:

$ \tilde t(x) = 1 - \mathop {\min }\limits_{y \in \mathit{\Omega }(x)} \left( {\mathop {\min }\limits_{c \in \left\{ {{\rm{r}},{\rm{g}},{\rm{b}}} \right\}} \frac{{{I^c}(y)}}{{{A^c}}}} \right) $

(4)

其中, $\tilde {t}$(x)为粗略的透射率估计值。由于一般采集到的自然图像都包含一定的景深, 文献[17]引入一个系数ω(本文取ω=0.95)使图像更真实自然, 因此式(4)可以表达为:

$ \tilde t(x) = 1 - \omega \mathop {\min }\limits_{y \in \mathit{\Omega }(x)} \left( {\mathop {\min }\limits_{c \in \left\{ {{\rm{r}},{\rm{g}},{\rm{b}}} \right\}} \frac{{{I^c}(y)}}{{{A^c}}}} \right) $

(5)

文献[17]用软抠图的方法来精细化透射率, 但耗费大量的时间, 因此, 文献[19]采用引导滤波来代替软抠图。

在获得大气光和透射率的估计值后, 根据大气散射模型恢复真实无雾场景, 复原的J(x)为:

$ J(x) = \frac{{I(x) - A}}{{\max \left( {t(x),{t_0}} \right)}} + A $

(6)

其中, t₀是一个保护因子, 防止因为t(x)太小而导致图像复原出现失真, 根据文献[17], 本文取t₀=0.1。

文献[17]取原图中对应暗通道内前0.1%最大强度点的像素值为大气光值, 但是当图像中含有暗通道滤波无法腐蚀掉的亮白区域时, 有可能会导致大气光的估计值不准确, 且当图像中含有大面积亮白区域(如天空)时, 暗通道先验的假设在该区域内失效。实际上, 亮白区域的暗通道值并不是一个接近0的数值, 而暗通道算法在该部分估计的透射率要小于实际的透射率, 其计算公式为:

$ \tilde t(x) = 1 - \mathop {\min }\limits_{y \in \mathit{\Omega }(x)} \left( {\mathop {\min }\limits_c \frac{{{I^c}(y)}}{{{A^c}}}} \right) < \frac{{1 - \mathop {\min }\limits_{y \in \mathit{\Omega }(x)} \left( {\mathop {\min }\limits_c \frac{{{I^c}(y)}}{{{A^c}}}} \right)}}{{1 - \mathop {\min }\limits_{y \in \mathit{\Omega }(x)} \left( {\mathop {\min }\limits_c \frac{{J^c(y)}}{{{A^c}}}} \right)}} $

(7)

暗通道先验去雾处理含有天空的图片以及对应的透射率如图 2所示。其中, 图 2(c)为亮白区域透射率估计失准的示例, 由于该部分的透射率估计失准, 导致用暗通道先验去雾算法复原的图像在这部分区域出现失真如色块效应、光晕现象, 如图 2(b)框中部分所示。因此, 有必要针对含有大面积亮白区域的图像设计一套合理有效的去雾算法。

2 基于暗通道先验的改进去雾算法

为了克服上述问题, 本文提出了一种改进的基于暗通道先验的去雾算法。该算法主要通过提高大气光获取的准确度和重修正透射率来提升恢复无雾图像的效果, 主要分为以下步骤:

1) 获取大气光:基于四叉树分解方法获取天空区域更准确的大气光值, 提高算法的鲁棒性。

2) 融合透射率:针对图像的暗通道直方图分布, 自适应地获取图像的分割阈值, 并将图像分为亮白与非亮白区域两部分, 然后基于图像的灰度分布数据设置融合系数修正透射率。

3) 基于大气散射模型恢复无雾图像。

2.1 大气光估值获取

暗通道去雾算法取原图中对应暗通道内前0.1%最大强度点的像素值为大气光值, 可能会导致不合理的大气光选取。文献[20]提出用四叉树分解方法获取大气光的估计值, 其基本思想是将图像分为4个象限, 考察每个象限的属性, 若其中1个象限满足预先设置的属性P, 则继续将该象限分解为4个子象限, 循环操作直至最后的终止条件, 分解停止。四叉树分解的原理如图 3所示。

天空区域主要包括2种特征:一是强度较大, 二是局部区域平滑即标准差较小。本文基于这2种特征设置四叉树分解算法流程, 算法流程如下:将图像分为4个子块R_nⁱ, i∈{1, 2, 3, 4}分别代表左上角、右上角、左下角和右下角, n为分解的迭代次数。分别计算各个子块内的平均强度Mean(R_nⁱ)和标准差Std(R_nⁱ), 每个子块的得分定义为Score(R_nⁱ), 计算公式如下:

$ Score\left( {R_n^i} \right) = \mathit{Mean}\left( {R_n^i} \right) - \mathit{Std}\left( {R_n^i} \right) $

(8)

最高得分的子块将被继续分解为4个更小的子块, 并重复上述步骤, 直到满足预先设置的终止条件, 则分解停止。本文定义终止条件为当前子块的长宽方向像素值乘积小于200, 即当w_n×h_n < 200时, 迭代停止, 取此时得分最高区域R_n^high内强度平均值为大气光A, 计算公式如式(9)所示。此流程可以避免该区域内高亮白噪声带来的影响。

$ A = \frac{1}{{{w_n} \times {h_n}}}\sum\limits_{x \in R_n^{{\rm{high}}}} I (x) $

(9)

用暗通道算法估计的大气光值示例如图 4(a)所示, 而用四叉树分解法选取的大气光区域如图 4(b)方框区域所示。显然用四叉树分解法获得的大气光更加合理, 避开了前景区域内局部亮白物体的影响。

2.2 透射率融合

由于暗通道算法在明亮区域的先验失效, 因此本文通过图像的灰度分布数据重新融合亮白区域的透射率。对于一幅自然图像, 偏亮白区域的3个通道内像素值强度较大且相差不大, 而其他区域会有1个颜色通道内的值较低。基于此先验假设, 且由于图像的直方图分布能直观地反映图像的像素分布状况, 本文先将图像在3×3的窗口内取暗通道, 保证非亮白区域取相对小值且分布在直方图左侧, 同时避免将图像内块状的亮白区域腐蚀掉, 其结果将亮白区域和其他区域的强度尽量分布在直方图左右两侧, 方便后续对这两部分分别处理。经过3×3暗通道滤波后的图像用下式表示:

$ {I^{{\rm{dark}}}}(x) = \mathop {\min }\limits_{x \in \mathit{\Omega }(x)} \left( {\mathop {\min }\limits_{c \in \left\{ {{\rm{r}},{\rm{g}},{\rm{b}}} \right\}} {I^c}(x)} \right) $

(10)

本文选择了3张带有天空区域的图像进行灰度分布统计, 结果如图 5所示。可以直观地看到, 在直方图的右侧有一个很明显的尖峰模式, 如图 5中方框所示, 本文认为该尖峰模式即为亮白区域的模式。

将图像的亮白区域分割出来, 针对不同图像采取手动选取阈值的方法明显无法满足场景变化的需求。本文用自适应阈值选取的手段分离该尖峰模式, 将分割的阈值设置为T, 自适应选取阈值T的迭代流程如下:

1) 根据图像的直方图分布选取初始的分割阈值T¹。

2) 根据T¹将图像分为2个部分:强度大于T¹的所有像素的集合定义为G₁¹, 强度小于T¹的所有像素的集合定义为G₂¹。

3) 分别计算集合G₁¹内像素的平均强度m₁¹和G₂¹内像素的平均强度m₂¹。

4) 计算新的阈值:T²= $\frac{{1}}{{2}}$(m₁¹+m₂¹)。

5) 重复执行步骤2)~步骤4)直到|Tⁱ⁺¹－Tⁱ| < ΔT。其中, 右上角的系数i是迭代次数, ΔT是预先设置好的终止条件。

到达终止条件以后, 本文以分割阈值T将图像分为亮白区域与非亮白区域, 并采用暗通道算法估计非亮白区域的透射率值。而对于亮白区域, 由于块状的亮白区域整体平缓, 因此本文将此部分的透射率定义为一个常数t_bright。结合后的透射率计算公式为:

$ t(x) = \left\{ {\begin{array}{*{20}{l}} {{t_{{\rm{bright}}}},\quad I(x) \ge T}\\ {\tilde t(x),\quad I(x) < T} \end{array}} \right. $

(11)

将亮白区域的透射率定义为常数容易造成在两部分边缘结合处的强度突变, 导致视觉效果不够生动。因此, 本文采用一种融合透射率的方法使边缘过渡更加平滑。文献[21]提出根据图像的灰度分布区分图像受雾气影响程度的方法, 受此启发, 笔者认为:当雾气浓度越大时, 图像的整体平均强度越大, 边缘信息越不明显。根据上述步骤确定的图像分割阈值, 可以统计属于亮白区域的像素点, 本文定义图像内像素值小于T的总像素数量为S_T, 小于图像平均强度值的像素总数为S_Mean。当雾气浓度越高时, 图像整体强度越大, 则S_Mean越大, 本文定义融合系数为:

$ \rho = \frac{{{S_T}}}{{{S_{{\rm{Mean}}}}}} $

(12)

ρ能在一定程度上反映图像中雾气浓度的大小, 且由于边缘信息与雾气浓度有关, 即与ρ有关, 因此本文重新定义亮白区域透射率为:

$ {t_{{\rm{bright}}}} = \rho {t_{{\rm{bright}}}} + (1 - \rho )\tilde t(x) $

(13)

其中, $\tilde {t}$(x)是暗通道算法估计的透射率。若原图雾气较浓, 则S_Mean越大, ρ越小, 则用式(13)可以中和透射率在亮白区域与非亮白区域的突变过大; 若雾气较薄, 则ρ也较大, 不会对透射率的修复造成过大的影响。在对大量图片的测试中, 本文发现ρ基本分布在[0.6, 1], 偶尔会有部分图像出现ρ>1的情况。为了提高算法的鲁棒性, 使该融合因子ρ对于透射率的边缘都有融合效果, 本文对ρ设置上下边界防止溢出。设置最下边界值为ρ_min, 最大边界值为ρ_max, 则融合因子可以表达为:

$ \rho = \min \left( {\max \left( {\frac{{{S_T}}}{{{S_{{\rm{Mean}}}}}},{\rho _{\min }}} \right),{\rho _{\max }}} \right) $

(14)

本文统一设置ρ_min=0.6, ρ_max=0.9。

结合式(11)和式(13), 融合后的透射率可以表示为:

$ t(x) = \left\{ {\begin{array}{*{20}{l}} {\rho {t_{{\rm{bright }}}} + (1 - \rho )\tilde t(x),I(x) \ge T}\\ {\tilde t(x),I(x) < T} \end{array}} \right. $

(15)

亮白区域取值不同t_bright时的透射率如图 6所示。在实验中, 当t_bright取值过小时, 仍然会造成复原图像出现失真和偏色现象; 如果t_bright取值过大, 则会造成天空区域的整体色调与原图不一致。为了防止极端的取值造成图像失真, 本文设置t_bright为0.4。

获得初始的透射率以后, 直接复原图像会出现色块现象。文献[19]提出采用引导滤波来精细化透射率, 再根据式(6)复原出无雾图像。本文算法流程如图 7所示。

3 实验结果与分析

本文仿真实验采用Matlab2015a在处理器为Intel(R) Core(TM) i3-2350M CPU @2.3 GHz、内存为8 GB的联想笔记本电脑上运行, 实验图片素材来自百度和阅读其他文献时收集的经典雾天图片。本文算法对图像去雾处理的效果如图 8所示。其中, 图 8(a)为输入的有雾图像, 图 8(b)为用四叉树分解获得的大气光强, 图 8(c)为经过引导滤波后的融合透射率, 图 8(d)为输出的无雾图像。可以明显看出, 复原图像的天空区域平滑自然。

3.1 主观评价

为了验证本文算法的有效性, 本文选取文献[16-18]中的去雾算法进行对比。实验选取4组有天空区域的图像, 大小统一调整为600像素×400像素, 对比结果如图 9所示。从图 9可以看出, 文献[17]算法处理的4幅图像的天空区域均出现了不同程度的光晕现象, 这是由于暗通道算法在这部分区域透射率估计不准导致; 文献[16]算法利用中值滤波估计大气耗散函数来实现去雾, 在边缘处可能会出现白边现象, 比如“风景”“城市”这2幅图像的天空区域与非天空区域结合处就有不同程度的失真; 文献[18]算法(容差因子为50)可以在一定程度上缓解天空区域的失真现象, 但是将该容差因子应用在不同图像上时, 容易造成复原图像偏暗的现象, 比如“风景”“城市”这2幅图像虽然对比度提高了, 但是在非天空区域视觉效果暗淡; 本文算法有效地解决了天空区域色彩失真的问题, 视觉效果明亮自然, 图像交界景深突变处也平滑自然。

3.2 客观评价

由于主观评价容易因观察者不同而有不同的评价结论, 因此本文用客观评价指标来对比图 9实验的结果。本文用复原图像的信息熵和结构相似度来表征图像的复原质量。信息熵表征了一幅图像的丰富程度, 理论上来说, 信息熵越大, 图像越清晰。结构相似性是一种衡量2幅图像相似度的指标, 其数值越大则表明复原图象质量越好。4种不同算法去雾后图像的信息熵和结构相似度计算结果如表 1和表 2所示。

从表 1可以看出, 经本文算法复原后的图像信息熵都比原图高, 复原后图像的清晰度明显提升, 并且与其他3种算法相比, 在保证亮白区域不增加额外信息的情况下, 本文算法可以获得较好的复原效果。从表 2可以看出, 本文算法复原后的图像与原图均保持较高的结构相似度, 这得益于本文算法能获得更准确的大气光以及处理后更平缓的天空区域, 较好地抑制了天空区域可能出现的偏色效应。

为了更加客观地说明本文算法在亮白区域的有效性, 本文选择图 9中的亮白区域进行噪声平滑特性分析, 具体分析的区域, 在图 9中用方框标出。其中, “飞机”选择的区域为[20:160, 280:480], “风景”选择的范围为[20:160, 50:250], “机场”选择的范围为[20:160, 50:250], “城市”选择的范围为[1:101, 1:201], 选中区域转化为灰度图后其三维数据分布如图 10所示。

理论上, 如果不考虑额外噪声的影响, 亮白区域的强度值应该是比较相近且趋于平滑的, 从图 10中直观的可以看出文献[17]算法和文献[16]算法处理后的亮白区域出现了不同幅度的强度起伏, 文献[18]算法和本文算法在此区域整体平缓。本文选择计算分析区域的均方根误差(Root Mean Square Error, RMSE)和峰值信噪比(Peak Signal to Noise Ratio, PSNR)来客观表征亮白区域的复原效果结果如表 3和表 4所示。其中, RMSE越小, PSNR越大, 复原后的图像在亮白区域失真越小。

从表 3和表 4可以看出, 本文算法在分析亮白区域内的RMSE和PSNR指标均优于文献[17]算法和文献[16]算法, 但是需要说明的是, 文献[18]算法在分析亮白区域内的指标有异常表现, 主要是因为当亮白区域强度值大于容差系数时算法保持原强度值不变, 所以大部分强度较高的值不会在原图基础上发生改变, 因此导致该部分区域与原图保持高度的一致性, 如“城市”这张图处理后的考察部分RMSE为0, PSNR为无穷大, 从而单从指标上来看表现比较突出。

综合上述客观评价指标可知, 本文算法在复原含有亮白区域的图像时, 能保证良好的整体图像视觉效果, 同时也可避免亮白区域出现复原失真。

4 结束语

为克服图像去雾时亮白区域失真的问题, 本文通过四叉树分解获得准确的大气光估值, 基于对图像灰度分布的统计自适应获取图像分割阈值, 在此基础上提出一种融合透射率的图像去雾算法。主客观评价实验结果均表明, 针对含有块状亮白区域的图像, 在大气光和透射率估计上, 本文算法均能保持较高的鲁棒性, 复原出的图像细节突出, 视觉效果自然。本文研究可为低对比度情况下的图像识别、目标提取等后续处理工作提供参考。下一步将把本文算法应用于实时视频系统中进行图像处理。